Hej. Jak w tytule, trzeba czy nie, a może się zaleca? Chodzi mi o to jak wygląda to z punktu prawa itp. przepraszam pomyliłem dzialy, miało być w luźne, źle mi się klikneło.
Prawo takich kwestii nie reguluje.
Natomiast poprzez robots.txt możesz powiedzieć robotom wyszukiwarek, że nie życzysz sobie by prezentowały twoją stronę w wynikach wyszukiwania. Np. Google się do tego stosuje. Web.archive.org też.
Jeszcze jest tag bodajże <meta name=“robots” … />, umieszczany w nagłówku, pełniący tę samą funkcję.
Czyli można go ignorować, ale zaleca się go używać. 
Przestrzeganie pliku robots to taka uprzejmość ze strony operatorów wyszukiwarek internetowych. W końcu nie bez powodu coś takiego w ogóle istnieje.