Co powinien zawierać ten plik do mojej strony http://www.azsawfkatowice.za.pl ?
By wszystko działało sprawnie a stronka była w wyszukiwarce google?
Co powinien zawierać ten plik do mojej strony http://www.azsawfkatowice.za.pl ?
By wszystko działało sprawnie a stronka była w wyszukiwarce google?
plik robots.txt nie jest konieczny do tego by
plik ten służy do nadawania ograniczeń botom indeksującym stronę …
np by nie indeksowały określonych folderów
bądź też by boty nie odwiedzały za często naszej strony gdyż generuje to nie potrzebny ruch jakże cenny przy ograniczonym transferze
można też np zabronić dostępu wybranym botom … np zezwalać by strona była indeksowana przez bota google a zabronić botowi onetu …
swoją drogą ciekawie wygląda robots.txt googla
http://www.google.pl/robots.txt
bardziej dociekliwi doszukają się w nim nieznanych funkcji … np http://www.google.pl/movies?
coś nowego