Представьте себе паука со множеством лапок. А знаете ли вы, что в каждой поисковой системе «живет» свой паук? При помощи паука поисковая система собирает информацию о каждом появившемся сайте. Только паук, «живущий» в поисковой системе, не имеет лапок и мохнатого брюшка.

Паук – это условное название поискового робота: программы, которая исследует сайты и интернет-страницы и заносит полученную информацию в базу данных поисковой системы. Процесс сбора информации называется индексированием.

Паук очень умный – он анализирует содержимое страниц сайтов, сохраняя их в определенном виде на сервере своей поисковой машины. То есть как бы отдает полученные данные той поисковой системе, которой он принадлежит.

Все эти данные хранятся в огромном справочнике, называемом поисковой базой. Те сайты и страницы, которые содержатся в базе, считаются проиндексированными – теперь они находятся в индексе поисковой системы.

Однако, добавив проиндексированные страницы в поисковую базу, Паук не забывает об их существовании. Он регулярно заходит на них для того, чтобы проверить доступность. Если владелец удалил страницу, то она удаляется и из поисковой системы.