База данных (индекса), в которой находится информация о просмотренных сайтах.
Индексатор - это видимо часть, которая отвечает за вычисление индекса и отделена от поискового робота.
Описать принцип функционирования поисковых машин.
По заявке веб-мастера робот заходит на сайт и просматривает страницы сайта, занося в индекс поисковой машины информацию о страницах сайта. Поисковая машина может сама найти сайт, даже если его веб-мастер и не подавал заявку на регистрацию. Если ссылка на сайт попадется где-либо на пути поисковой машины (на другом сайте, например), то она сайт тут же проиндексирует.
Робот не копирует страницы сайта в индекс поисковой машины, а сохраняет информацию о структуре каждой страницы сайта - например, какие слова встречаются в документе и в каком порядке, адреса гиперссылок страницы сайта, размер документа в килобайтах, дата его создания и многое другое. Поэтому индекс поисковой машины в несколько раз меньше, чем объем проиндексированной информации.
Описать принцип подсчета Google PageRank.
PageRank(Google). Применяемый поисковиком Google показатель степени авторитетности отдельно взятой веб-страницы. PageRank определяется не для сайта в целом, а для каждой его страницы.
