Witam
W jaki sposób mogę napisać regułę w pliku robots.txt w taki sposób, aby wskazać robotom tylko konkretne podstrony do indeksowania, a wszystkie inne żeby zostały nieindeksowane i najlepiej wyindeksowane?
User-agent: *
Allow: /strona1
Allow: /strona2
Allow: /strona3
Disallow: /
1 polubienie