nie wiedizalem gdzie zamiescic ten watek wiec psize w webmasterignu, gdyz do tego sie odnosi.
Czy jest moze taki program, skrypt, albo co kolwie, co by pokazało wszystkie mozliwe podstrony jakie istnieja na danej stronie internetowej?
Np wrzucam strone wp.pl i pokazuje mi wszystki mozliwe podstrony w calym serwisie, tu akurat bedzie ich duzo, ale na mniejszych stronach wynikow bedzie mniej.
Jezeli cos takiego istnieje, to prosze o podanie sposobu jak to zrobic
Ewentualnie możesz poszukać sobie jakiegoś darmowego skryptu robota internetowego do instalacji na własnym serwerze ale raczej zajęło by mu trochę czasu za indeksowanie strony. Z własnego doświadczenia wiem że strony mające około 100 podstron takie roboty indeksują około 5 minut (w zależności od serwera jaki się dysponuje i użytego skryptu)
Czym niby są zaindeksowane strony jak nie tym czego poszukuje autor wątku? Poza tym, pobranie listingu podstron z takiego wp.pl to nie lada wyczyn domowymi metodami.
Autor wątku pisał o wszystkich mozliwych podstronach a nie tylko o tych zaindeksowanych.
Jak nie czujesz czaczy to zrób sobie stronę z dowolną liczbą podstron i powstawiaj wszędzie noindex i nofollow, jeszcze w robots.txt możesz dać disallow: /
Potem tylko obserwój jak ładnie tą stronę google indeksuje.
Owszem, te dyrektywy faktycznie wprowadzą wtedy w błąd. Z drugiej strony pojęcie wszystkie podstrony jest abstrakcyjne, jeśli nie ma do jakiejś linka na innych to żadnym sposobem jej nie wyłapiesz mimo że takowa będzie istnieć - i bardziej w tym kierunku miałem na myśli podobieństwo do bota indeksującego googla.