Вот!!!
На одной странице есть две ссылки.
Одну нашел - другую - нет.
И как Вы это прокомментируете?

Да что вы все паникуете? У меня с утра вообще все ссылки в ERROR ушли, но робот прошелся и проверил, теперь все в порядке.
Написано же, после 18.00 будет перепроверка, вот тогда и доначислят деньги.

Я не паникую, а ищу закономерность. Почему некоторые сайты некорректно индексируются.

А всетаки в чем причина массового ерора??

1. Насколько я понял, роботы - это обычные php скрипты (говорили, что нужно 30 + 30 секунд для загрузки и парсинга).
У меня большинство страниц содержит много ссылок, потому что это сайт-каталог, насчитывающий около 10 тыс. страниц. (в Яндексе 5600).
Чтобы распарсить страницу с множеством ссылок, может банально не хватить 30 сек. Но все это от алгоритма зависит.
Я бы сначала в кэш помещал все ссылки на странице, а потом проводил проверку на вхождение в массив.

2. Вариант номер два. Более реален. Проверка когда проходит и появляются ERROR? Утром. А к вечеру все становиться на свои места. Таааак. А когда деньги начисляются? Утром. С учетом первого варианта весьма возможно, что скрипт не успеет распарсить страницу, если, конечно это все находится на одном сервере.
Сейчас поставил блок ссылок повыше - пока все ОК.

И снова все в ERROR ^(((

АГА, у мну тоже... Раньше все было нормально, а теперь каждое утро в эррор сваливается. У тебя какой провайдер?

1gb.ru

На двух сайтах всё ок. На третьем одни Error. Печально, т.к. ещё неделю назад помню ни одного еррора.

очень много ссылок Error
 

такие ссылки появляются и на моих сайтах (теряю денежку) и там где я размещаюсь (экономлю вроде как). но у меня такое ощущение что система sape в данном случае работает некорректно. у меня очень достойный хостинг и проблем с ним никогда не было. а если смотреть по sape то сайты частенько бывают недотупны.

может как-то можно решить эту проблему?