Robots.txt


(Startowa) #1

jak zrobić ten plik? co powinien zawierać?

i gdzie go umieścić?

proszę o pomoc!


(Airborn) #2

plik tworzysz w notatniku, zawartość jest pusta, umieszczasz go w dowolnym pliku na serwerze...

no dobra, a tak poważniej, napisł byś może chociaż po co ten plik? czy mamy sobie z kryształowej kuli wywnioskować?


(Startowa) #3

Roboty, to programy, które podróżują po internecie i zbierają dane z różnych stron internetowych. Następnie analizują te dane i jeśli napotkają odnośniki do inncych stron, ruszają dalej. Plik robots.txt mówi robotom które pliki i katalogi na Twoim serwerze mogą przeglądać. robots.txt musi znajdować się w katalogu głównym serwera i posiadać z góry zdefiniowaną strukturę. To narzędzie pozwoli sprawdzić, czy Twój plik robots.txt jest poprawny.

http://linkownia.net/narzedzia/robots_validator

po sprawdzeniu mam:

Postać pliku (z numerami linii)

1 -> User-agent: *

2 -> Disallow: admin.php

3 -> Disallow: config

4 -> Disallow: header

5 -> Disallow: footer

6 -> Disallow: pntables

7 -> Disallow: referer

8 -> Disallow: /images

9 -> Disallow: /includes

10 -> Disallow: /modules/NS-

11 -> Disallow: /pnadodb

12 -> Disallow: /themes

13 -> Disallow: /szkola

14 -> Follow: /sms

15 -> Follow: /komputery

16 ->

Wyniki analizy:

* linia 1 : user-agent OK

* linia 2 : disallow plik (katalog) admin.php jest niedostępny (HTTP/1.1 400 Bad Request ) BŁĄD!

* linia 3 : disallow plik (katalog) config jest niedostępny (HTTP/1.1 400 Bad Request ) BŁĄD!

* linia 4 : disallow plik (katalog) header jest niedostępny (HTTP/1.1 400 Bad Request ) BŁĄD!

* linia 5 : disallow plik (katalog) footer jest niedostępny (HTTP/1.1 400 Bad Request ) BŁĄD!

* linia 6 : disallow plik (katalog) pntables jest niedostępny (HTTP/1.1 400 Bad Request ) BŁĄD!

* linia 7 : disallow plik (katalog) referer jest niedostępny (HTTP/1.1 400 Bad Request ) BŁĄD!

* linia 8 : disallow plik (katalog) /images jest niedostępny (HTTP/1.1 404 Not Found ) BŁĄD!

* linia 9 : disallow plik (katalog) /includes jest niedostępny (HTTP/1.1 404 Not Found ) BŁĄD!

* linia 10 : disallow plik (katalog) /modules/ns- jest niedostępny (HTTP/1.1 404 Not Found ) BŁĄD!

* linia 11 : disallow plik (katalog) /pnadodb jest niedostępny (HTTP/1.1 404 Not Found ) BŁĄD!

* linia 12 : disallow plik (katalog) /themes jest niedostępny (HTTP/1.1 404 Not Found ) BŁĄD!

* linia 13 : disallow OK

* linia 14 : Nieznane pole follow BŁĄD!

* linia 15 : Nieznane pole follow BŁĄD!


(Airborn) #4

Doprecyzowanie pozwala na większą pomoc :slight_smile:

specyfikacja

Jak działają pliki robots.txt

poslkie mini-FAQ wraz ze składnią pliku

Prawidłowym miejscem ich umieszczenia jest katalog główny serwera