Značka: pravidlá pre botov

Robots.txt riadi prístup crawlerov k častiam webu. Správna syntax, testovanie a bezpečnosť chránia server a usmernia indexáciu.