Что такое crawling?

Crawling — процесс обхода сайта поисковыми роботами, во время которого они обнаруживают страницы, ссылки и другой доступный контент.