Краулер

Краулер (crawler, поисковый робот, паук, бот) — это программа поисковой системы, которая автоматически обходит страницы сайтов по ссылкам, считывает их содержимое и передает данные для индексации. Именно от работы краулера зависит, попадет ли страница в поиск.

Как работает

• Обход — переходит по ссылкам с известных страниц на новые.
• Считывание — анализирует содержимое и структуру.
• Передача в индекс — отправляет данные в базу поисковика.

Поведением краулера управляют через файл robots.txt, карту сайта, внутренние ссылки и коды ответа сервера. У поисковиков есть лимит на обход сайта (краулинговый бюджет), поэтому важно, чтобы робот не тратил его на мусорные и дублирующие страницы. Известные краулеры — роботы Яндекса и Google.