jak zrobić ten plik? co powinien zawierać?
i gdzie go umieścić?
proszę o pomoc!
plik tworzysz w notatniku, zawartość jest pusta, umieszczasz go w dowolnym pliku na serwerze…
no dobra, a tak poważniej, napisł byś może chociaż po co ten plik? czy mamy sobie z kryształowej kuli wywnioskować?
Roboty, to programy, które podróżują po internecie i zbierają dane z różnych stron internetowych. Następnie analizują te dane i jeśli napotkają odnośniki do inncych stron, ruszają dalej. Plik robots.txt mówi robotom które pliki i katalogi na Twoim serwerze mogą przeglądać. robots.txt musi znajdować się w katalogu głównym serwera i posiadać z góry zdefiniowaną strukturę. To narzędzie pozwoli sprawdzić, czy Twój plik robots.txt jest poprawny.
http://linkownia.net/narzedzia/robots_validator
po sprawdzeniu mam:
Postać pliku (z numerami linii)
1 -> User-agent: *
2 -> Disallow: admin.php
3 -> Disallow: config
4 -> Disallow: header
5 -> Disallow: footer
6 -> Disallow: pntables
7 -> Disallow: referer
8 -> Disallow: /images
9 -> Disallow: /includes
10 -> Disallow: /modules/NS-
11 -> Disallow: /pnadodb
12 -> Disallow: /themes
13 -> Disallow: /szkola
14 -> Follow: /sms
15 -> Follow: /komputery
16 ->
Wyniki analizy:
* linia 1 : user-agent OK
* linia 2 : disallow plik (katalog) admin.php jest niedostępny (HTTP/1.1 400 Bad Request ) BŁĄD!
* linia 3 : disallow plik (katalog) config jest niedostępny (HTTP/1.1 400 Bad Request ) BŁĄD!
* linia 4 : disallow plik (katalog) header jest niedostępny (HTTP/1.1 400 Bad Request ) BŁĄD!
* linia 5 : disallow plik (katalog) footer jest niedostępny (HTTP/1.1 400 Bad Request ) BŁĄD!
* linia 6 : disallow plik (katalog) pntables jest niedostępny (HTTP/1.1 400 Bad Request ) BŁĄD!
* linia 7 : disallow plik (katalog) referer jest niedostępny (HTTP/1.1 400 Bad Request ) BŁĄD!
* linia 8 : disallow plik (katalog) /images jest niedostępny (HTTP/1.1 404 Not Found ) BŁĄD!
* linia 9 : disallow plik (katalog) /includes jest niedostępny (HTTP/1.1 404 Not Found ) BŁĄD!
* linia 10 : disallow plik (katalog) /modules/ns- jest niedostępny (HTTP/1.1 404 Not Found ) BŁĄD!
* linia 11 : disallow plik (katalog) /pnadodb jest niedostępny (HTTP/1.1 404 Not Found ) BŁĄD!
* linia 12 : disallow plik (katalog) /themes jest niedostępny (HTTP/1.1 404 Not Found ) BŁĄD!
* linia 13 : disallow OK
* linia 14 : Nieznane pole follow BŁĄD!
* linia 15 : Nieznane pole follow BŁĄD!
Doprecyzowanie pozwala na większą pomoc 
poslkie mini-FAQ wraz ze składnią pliku
Prawidłowym miejscem ich umieszczenia jest katalog główny serwera