Značka: crawl-delay

Crawl delay: Oneskorovanie požiadaviek bota

6. decembra 2023

Crawl delay

14. októbra 2023

Robots.txt

29. mája 2023

Robots.txt: Súbor s pravidlami pre webové crawlery

1. februára 2023

Robots.txt a meta direktívy: Presné ladenie „crawl“ rozpočtu

21. januára 2021

Robots.txt a meta directives

29. júna 2020