witam 
mam pewna stronę w katalogu na serwerze nie chce aby tam trafił jakikolwiek robot , co zrobić co umiescic w danym katalogu aby “odpędzić” roboty wyszukiwarek ?
Utwórz plik robots.txt w głównym katalogu i umieść w nim:
User-agent: *
Disallow: /katalog/* zamienić na coś czy pozostawić
Powinno też wystarczyć dodać wpis w pliku strony:
* oznacza, że komendy słucha się każdy bot indeksujący :).
Tak dobrze, to niestety nie jest, ale jeśli chodzi o najpoważniejsze firmy to tak.