Niechciane indexowanie


(Irekxara) #1

witam :smiley:

mam pewna stronę w katalogu na serwerze nie chce aby tam trafił jakikolwiek robot , co zrobić co umiescic w danym katalogu aby "odpędzić" roboty wyszukiwarek ?


(Pavobe Reg) #2

Utwórz plik robots.txt w głównym katalogu i umieść w nim:

User-agent: *

Disallow: /katalog/

(Irekxara) #3

* zamienić na coś czy pozostawić


(floyd) #4

Powinno też wystarczyć dodać wpis w pliku strony:


(Pavobe Reg) #5

* oznacza, że komendy słucha się każdy bot indeksujący :).


(floyd) #6

Tak dobrze, to niestety nie jest, ale jeśli chodzi o najpoważniejsze firmy to tak.