Алгоритм добавления новых страниц сайта

[EvgenJekson]

Добрый день!
То, что робот сапы забирает 500 ссылок на внутренние страницы с главной и 150 со второго уровня, написано.
Но не написано каких именно ссылок...
Первых попавшихся поисковику сапы или тех, чьи страницы он готов проиндексировать?
Немного поясню:
Например есть страница второго уровня, на ней всего 200 внутренних ссылок. Из этих 200 ссылок только третья часть может быть добавлена в сапу (остальные две трети ведут на страницы, у которых стоит заперт на индексацию через noindex в <meta>).
на странице порядок следования "хороших" и "неиндексируемых" ссылок перемешан.
так вот вопрос: робот сапы возьмет только первые попавшиеся 150 ссылок, "пройдется по ним" и добавить к себе в индекс только те, которые разрешены к индексации?
или он "пройдется" по всем 200 ссылкам, и возьмет себе 150 из тех, которые он может проиндексировать (ну или будет "ходить" по списку ссылок пока не наберет 150 с текущей страницы)?

[zhegloff]

Сообщение от EvgenJekson

так вот вопрос: робот сапы возьмет только первые попавшиеся 150 ссылок,

да, именно так.

[EvgenJekson]

фигово

Добавлено через 5 минут
Тогда еще такой вопрос:
А из этих 150 первых попавшихся робот как-то "вычленяет" те, про которые он уже знает, или на это он тоже не смотрит?