Что такое crawler?

Crawler — автоматический робот, который посещает страницы сайта и собирает информацию для поисковых и других систем.