Witam
Mam pytanie: zauważyłem, że w niektórych robots.txt pojawia się parametr Crawl-delay, np. Crawl-delay: 120. Nie jestem pewien, do czego on służy. Czy chodzi o to, że robot może sprawdzić kolejną podstronę serwisu dopiero po np. 120 sekundach?
Z góry dziękuję za odpowiedź i pozdrawiam.