Как робот сапы индексирует сайт.
 

Интересует как вебмастера.

Какой принцип работы робота сапы, который индексирует сайт, т.е. как он определяет какие страницы включать в систему а какие нет.

А если формулировать вопрос ещё конкретнее то так... как нужно делать сайты чтобы сапа индексировала все его существующие страницы и труд не пропадал бы зря.

Роботом сапы будут проиндексированы все страницы не дальше второго клика от главной с правильно установленным кодом при условии что ссылки на эти страницы не заключены в noindex. Плюс ограничение по максимальному количеству страниц 75501. Думаю, так.

Дополню, сообщение пользователя, svk81.

Ограничение если я не ошибаюсь на количество страниц УВ2. Оно равняется 500. Если не прав поправьте.

заменить на "ссылки на эти страницы не закрыты от индексации"

1 - ув1, с ув1 не более 500 ссылок на ув2
500 - ув2, с каждой ув2 не более 150 ссылок на ув3
75501 = 1 + 500 + 500*150