Plik robots.txt

Co powinien zawierać ten plik do mojej strony http://www.azsawfkatowice.za.pl ?

By wszystko działało sprawnie a stronka była w wyszukiwarce google?

plik robots.txt nie jest konieczny do tego by

plik ten służy do nadawania ograniczeń botom indeksującym stronę …

np by nie indeksowały określonych folderów

bądź też by boty nie odwiedzały za często naszej strony gdyż generuje to nie potrzebny ruch jakże cenny przy ograniczonym transferze

można też np zabronić dostępu wybranym botom … np zezwalać by strona była indeksowana przez bota google a zabronić botowi onetu …

swoją drogą ciekawie wygląda robots.txt googla :stuck_out_tongue:

http://www.google.pl/robots.txt

bardziej dociekliwi doszukają się w nim nieznanych funkcji … np http://www.google.pl/movies?

http://www.google.pl/linux?

http://www.google.pl/news

coś nowego :stuck_out_tongue: