Оптимизация страниц для робота САПЕ

[wsdotcom]

Хочу обсудить эту тему так как у меня на одном сайте сапе видит одну страницу а в яндексе их 4000.
Делимся опытом по оптимизации страниц под робота сапе!
описывайте подробно что ему мешает и что помогает индексировать площадку

[wsdotcom]

неужели никто не задавался этим вопросом?

[new]

А код то на всех размещен? Может он только на главной работает.

[wsdotcom]

на всех

[ffaust]

Это лежит здесь. И не надо изобретать велосипед, надо просто внимательнее читать форум или хотя бы объявления в разделах, если форум читать лень...

Сообщение от ТРАКТОР

Если проиндексировались не все страницы 2-го и 3-го уровня, это может быть по ряду причин:

1) Сайт плохо отвечал и по тайм-ауту наш робот получил не все страницы (самое страшное если, например, главная не полностью скачалась им и он нашел только пару внутренних ссылок с нее - в этом случае он будет искать установленный код только по той ветке, на которую ссылаются эти страницы)
2) Неверная структура - например, кто-то решил вывалить километровую карту сайта, чтобы за счет нее целиком вогнать сайт в систему и поставил ссылку на нее с главной. Но у нашего бота есть ограничение по кол-ву внутренних ссылок, по которым он переходит дальше. Для главной - 500, для 2-го уровня - 150.
3) Страницы закрыты в robots.txt
4) Страницы закрыты от индексации в метатегах
5) Код системы расположен в неиндексируемой зоне документа ( в блоках noindex, script или комментариях)
6) Просто неверно установлен код
7) Действительно у сайта какой-то мегаособенный движок и на нем наш бот почему-то затыкается.

Как показывает практика, наиболее частые ситуации №№1, 5 (многие случайно где-то забывают noindex закрыть и из-за этого не индексируется)
Ситуация №7 встречается крааайне редко.