Алгоритм робота Sape по индексации сайта

[EvgenJekson]

Здравствуйте, уважаемые создатели и разработчики Sape.ru!

Я имею информационный сайт с достаточно большим количеством разделов и подразделов. Сейчас передо мной стоит задача грамотно создать меню и навигацию сайта + постараться "запихнуть" в sape как можно больше страниц своего сайта.
Столкнулся с тем, что многие страницы моего сайта не индексируются Вашим роботом.
В Вашей справке написано:

Возможные причины НЕиндексации страниц 2-го и 3-го уровня:

# Некорректная структура сайта - например, большие количества внутренних ссылок с одной страницы. У робота-индексатора есть ограничение по количеству внутренних ссылок, по которым он переходит вглубь сайта. Для главной - 500, для 2-го уровня - 150.

Если с главной страницей проблем не возникает (у меня порядка 320 ссылок на главной), то со страницами 2-го уровня засада
Некоторые имеют по 10 ссылок на страницы 3-его уровня, а некоторые по 100 или более. А если учесть, что эти 100 нужных мне ссылок в HTML-коде стоят после еще 50-70 "мусорных" ссылок (элементы меню, дизайна и т.д.), то получается что 150 ссылка - это гдето середина того, что я реально хотел бы добавить в базу Sape.

В связи с вышеизложенным хотелось бы четкого понимания что Вами подразумевается под "внутренней ссылкой" и каков алгоритм подсчета количества уже полученных "внутренних ссылок":

1) Понимает ли робот, что http://www.mydomain.ru/page1.php - это внутренная ссылка при анализе сайта www.mydomain.ru?

2) Понимает ли робот, что http://mydomain.ru/page1.php - это внутренная ссылка при анализе сайта www.mydomain.ru?

3) "Склеивает" ли робот одинаковые ссылки при подсчете достижения 150 ссылки на второстепенной странице?

4) Автоинкрементируется ли счетчик количества ссылок при встрече в HTML-тексте страницы ссылок на текущую страницу (ссылка на якорь типа #point1 или при просмотре страницы /page1.php?query ссылка на якорь /page1.php?query#point1)?

5) "Ходит" ли Ваш робот по ссылкам, имеющим атрибут rel="nofollow"?

6) Хотя у Вас в справке и написано что отсечка срабатывает при 150 внутренних ссылок, всеже еще раз спрошу по принципу вычисления этого значения: робот при анализе страницы берет первые 150 ссылок и выделяет из них внутренние чтобы по ним дальше пойти, или он прогоняет в цикле ВСЕ ссылки страницы, а "отсечка" происходит как набралось 150 именно внутренних страниц?

7) Если на странице второго уровня стоит ссылка на страницу, которая закрыта от индексации (например, в robots.txt), эта ссылка будет учитываться при подсчете 150 внутренних ссылок текущей страницы?

Буду очень благодарен за ответы на мои вопросы

P.S.
Столь подробное понимание принципов индексации моего сайта позволит мне более грамотно спроектировать навигацию по сайту.
Хочу также отметить, что не имею желания сделать из своего проекта линкопомойку. На данным момент выставляю по 2 ссылки на странице (причем разнесенные в разные места сайта), хотелось бы при помощи увеличения количества страниц в индексе Sape сделать по 1 ссылке на странице.

[zhegloff]

1. да.
2. да.
3. нет.
4. да, скорее всего.
5. нет.
6. 150 первых внутренних.
7. да.

где-то так.

[EvgenJekson]

Ок, спасибо большое за ответы!

Еще небольшой вопрос:

5.1) Робот не ходит по ссылкам с rel="nofollow". А при анализе роботом страницы увеличивается ли счетчик внутренних ссылок при обнаружении внутренней ссылки с этим атрибутом?

[zhegloff]

да, наверное