Wordpress - problem z robots.txt

Dla specjalistów Webmastering
#1

Witam. Postawiłem stronę na Wordpressie: http://damianszorc.pl

Adres do pliku robots.txt: http://damianszorc.pl/robots.txt

jego treść:

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-includes/


Sitemap: http://damianszorc.pl/sitemap.xml.gz

Oto blad ktory pokazuje Google:

http://www.damianszorc.pl/robots.txt 1 8 paź 2012 200 (Operacja powiodła się) Googlebot ma zablokowany dostęp do adresu http://www.damianszorc.pl/

W Wordpressie dałem opcję, że robot google ma dostęp do witryny (przed 8 paź to wyłączyłem, 8 włączyłem indeksowanie 9 paż wyłączyłem z powodu zmiany motywu, i wczoraj też ponownie włączyłem indeksowanie)

Mapa strony jest dodana: (w robots.txt dać sitemap.xml czy sitemap.xml)

Moje pytania:

  1. Co jest powodem tego, że moje 5 wpisów się nie zindeksowało ? (wczoraj dodałem 5 wpisów) ? Dlaczego google bot nadal nie indeksuje skoro już chyba ma dostęp do plików ?

  2. Czy treść pliku robots.txt jest właściwa dla indeksowania ?

  3. Jak sprawić aby zaindeksować nowe wpisy ?

#2

Do pliku robots.txt dodaj

Allow: /
#3

Robot nie wszedł na stronę. Nie ma meta tagów revisit after i robots.

Z tego co widzę Google widzi jakieś stare linki i ma kopię starych stron, jakby testowych.

Wygląda ok, choć Sitemap nigdy nie dawałem, nie przypominam sobie.

Wpisać w Google tytuł swojego artykułu.

Używasz narzędzi deweloperskich Google?

#4

  1. Jak mam do niego wkleić Allow skoro nie mogę go znaleźć na serwerze? A z tego co wiem jeśli wkleję to w narzędzia webmastera to tylko dla testu. Jak to jest?

  2. Tak to były testowe strony przed ostatnią zmiana szablonu po 1 włączeniu indeksowania (później je wyłączyłem i włączyłem indeksowanie ponownie)

Narzędzia deweloperskie tzn jakie?

– Dodane 11.10.2012 (Cz) 9:32 –

Przypomniało mi się, że kiedy zablokowałem indeksację, plik robots.txt wyglądał tak:

User-agent: *

Disallow: /


Sitemap: http://damianszorc.pl/sitemap.xml.gz

Kiedy znowu włączyłem indeksację, w Google Webmaster Tools wyglądał tak:

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-includes/


Sitemap: http://damianszorc.pl/sitemap.xml.gz
#5

  1. W sumie to możesz nie wklejać tej linijki bo i bez niej google powinno indeksować Twoją stronę. To samo tyczy się revisits after o którym pisał kolega wyżej. Jedni stosują inni uważają za mit.

  2. Chodziło mu chyba o google.com/webmasters

Ja bym poczekał na Twoim miejscu. Sam mam niedawno postawioną stronę i mam dokładnie taką samą sytuację jak ty. Po postawieniu strony google ją zaindeksowało i od tego czasu robot googla się nie pojawił.

#6

Ok, strona się ponownie indeksuje ale główna strona wyświetla się w liście wyników tak:

damianszorc.pl | Rozwojowe Granie

damianszorc.pl/Opis tego wyniku jest niedostępny z powodu robots.txt

To jest prawdopodobnie wynik zindeksowania strony głównej kiedy ta domena była na innym hostingu i miała inny profil. Czy można jakoś wnieść poprawkę aby strona główna zindeksowała się ponownie (aby były wyświetlone aktualne informacje, bo profil strony jest inny niż kiedyś) ?