Značka: allow/disallow

Robots.txt riadi prístup crawlerov k častiam webu. Správna syntax, testovanie a bezpečnosť chránia server a usmernia indexáciu.