Co to jest jest plik robots.txt?

Robots.txt to plik tekstowy, który umieszcza się na serwerze strony internetowej. Odpowiada za informowanie robotów Google, które treści podstrony powinny zostać zaindeskowane, a które nie muszą być sprawdzane przez boty. W pliku robots.txt zapisywane są specjalne instrukcje blokujące i zezwalające na dostęp do plików witryny internetowej.