Совет: если не добавляются новые страницы при переиндексации

[aship]

За год работы в сапе со своими 40 сайтами набрал большой опыт борьбы с недобавленим страниц при переиндексации. Хочу поделиться, поскольку проблема, как я понял возникает у многих.

Если все причины изложенные в обратке проверены и дело не в них, остается две причины:

1 Причина. Невидимые спецсимволы, на которых обламывается робот.

Найти их очень сложно, но можно.
а) проверяем, не ли у вас в шаблоне или коде страниц ссылок, которые содержат символ '&'. Например, что-то в этом роде /index.php?option=com_rss&feed=RSS2.0&no_html=1. Это в общем-то не криминал, но не стандарт. Далеко не всегда, но бывает, что робот не глотает такие страницы. Надо заменить везде символ '&' на '&', чтобы было /index.php?option=com_rss&feed=RSS2.0&no_html=1
b) На время переиндексации отключаем в движке все компоненты, плагины, модули без которых сайт может просуществовать несколько часов. Как правило лишние 'спецсимволы' содержаться именно в их коде. Причем эффект присуствия этих спецсимволов на каких-то страницах имеется, на каких-то нет. Например для Джумлы очень часто переиндесация срыватся из-за мамбота 'типоргафика' и плагина комментариев 'yvComment'. Иногда портит дело модуль последних комментов от ДжумлаБоард. Для других движков не скажу, не пользуюсь.
c) Если первые две причины не сработали, то идем на validator.w3.org b проверяем сайт. Валидатор покажет несколько сот ошибок. Не пугайтесь, это нормально, у всех так. Ищем только ошибки типа "этот элемент не может присуствовать в этом месте" и тщательно проверяем, загвоздка скорее всего здесь.

2 Причина. Вы будете смеяться, но часто бывает, что вы просто не заметили "лишних" внутренних ссылок на странице.
Например, ваш движок автоматически проставляет в оглавление всякие "автор", "отправить ссылку другу", "версия для печати", "PDF" и пр. Плюс какое-нибудь "оглавление архива" и "последние комментарии" в боковой колонке. ЭТО ВСЕ ССЫЛКИ. То есть у вас на странице оглавления 100 статей и вы думаете, что там 100 ссылок, а на самом деле их, с учетом всего вышеперечисленного - около тысячи. Соответственно из-за ограничения "200 ссылок на странице" робот увидит только 20 из тех 100 сылок по которым должен пройти.

[zhegloff]

Сообщение от aship

Валидатор покажет несколько сот ошибок. Не пугайтесь, это нормально, у всех так.

да ладно, так уж и у всех

[Danila]

Сообщение от zhegloff

да ладно, так уж и у всех

Ну у 95%...

[valu0808]

Сообщение от zhegloff

да ладно, так уж и у всех

Сообщение от Danila

Ну у 95%...

Я за валидную верстку! У меня всегда ни одной ошибки.

[alex063]

Сообщение от zhegloff

да ладно, так уж и у всех

В большинстве случаев))) У меня весьма много таких сайтов, а исправлять лень. Но это же не критические ошибки. Пробел лишний, кавычек нет у параметров. (Ну или в тегах: тег b или center в ячейке таблицы не закрыт.)

p.s. Но вот сколько раз ставил код, насмотрелся многого. Последний раз: узнал что есть тег <index> и весьма интересную конструкцию: <font size="1"; color="black";>.