Что такое robots.txt?

robots.txt — файл с инструкциями для поисковых роботов о том, какие разделы сайта им разрешено или запрещено сканировать.