Robot google czy da się coś z tym zrobic?

Dla specjalistów Webmastering
#1

Witam,

mam w pracy taki mały problem. Kolega z pracy zajmuje się naszym sklepem internetowym i mam razem z nim pewien problem. Czy jest jakiś sposób na robota google? Chodzi o to że trzeba go bardzo pilnować i najzwyczajniej w świeceie blokować. Ponieważ gdy sie rozpędzi to jest w stanie bardzo nabijać transfer były przypadki, iż nawet 2 albo 3 krotnie.

Czy jest na niego jakiś sposób?

Pozdrawiam

#2

http://www.robotstxt.org/

http://www.google.com/support/webmaster … swer=93710

http://www.jafsoft.com/searchengines/we … and_others

Ale pamiętaj, że spowoduje to usunięcie wskazanej strony z google(nie dożywotnio oczywiście).

###########################

Jeżeli serwer stoi na apachu zainteresuj się także mod_expires(jeżeli jest on aktywny) - nie jest to co prawda sposób na googlebot ale pewnie też się przyda.

#3

narzędzia dla webmasterów i określić prędkość indeksowania

mapa strony - i najlepiej z określonym interwałem rewizyt

wykorzystać plik robots do ukierunkowania googlebota