Error, который не рассматривается в соответствующей теме

[Бергсон]

ID 191260
Проблема: возникновение ежедневно на полсуток ERROR разных работающих ссылок числом от 30 до 60, в течение уже недели.
8 июля обратился в тех поддержку (#2383520), выполнил все предписания, - ничего не изменилось. Техподдержка молчит.
Написал в тему http://forum.sape.ru/forumdisplay.php?f=14 , но уважаемый Ank удалил моё сообщение, сославшись на регламент темы, в которой, в частности сказано:

Дата "слёта". Рассматриваются даты более суток. Робот не живет на вашем сайте

А почему более суток, и что, значит, «жить»? Нормально проверять работающие ссылки? Два года «жил», а тут вдруг «жить» перестал? Это разве не техническая проблема? Чем она хуже любой другой? Утром ошибочно выдаёт в ERROR несколько десятков работающих ссылок, а вечером нормально их читает. Значит, может читать нормально, значит, по силам найти и устранить сбой. Разве вам самим не интересно исправить систематическую ошибку? Самое простое ввести дополнительную проверку выпавших в ERROR после основной проверки ссылок, учитывая их небольшое количество, заметных временных и ресурсных затрат такая проверка не потребует. Ведь недоначисления из-за этих полусуточных ERROR-ров заметны.
С уважением.

[contentsys]

потерто

[Бергсон]

Сообщение от contentsys

потерто

Что потёрто?

[Selkon]

У меня аналогичная проблема. Причем неясно по какой причине - все работало корректно, просто с определенного момента началось вот такое. Часть ссылок выпадает в еррор, хотя на сайте отображается. При следующей проверке ботом все проходит нормально. В логах еррора во всех выпавших ссылках вот такая ситуация:
в 23:59:59 урл заморожен оптимизатором, а утром ссылка на странице не найдена.
Написать в основную тему по регламенту не положено, как уже говорилось выше - ссылки в ерроре менее 24 часов.

[aost_spb]

Сообщение от Selkon

У меня аналогичная проблема. Причем неясно по какой причине - все работало корректно, просто с определенного момента началось вот такое.

Хостинг - свой, или бесплатный? На некоторых хостингах борются с "чужими" роботами методом сбороса коннекшенов после определенного количества обращений (и я их прекрасно понимаю).

[Бергсон]

Сообщение от aost_spb

Хостинг - свой, или бесплатный? На некоторых хостингах борются с "чужими" роботами методом сбороса коннекшенов после определенного количества обращений (и я их прекрасно понимаю).

Ни хостинг, ни скрипты, не имеют отношения к этой проблеме. Тут целиком и полностью неполадка Сапы. Жаль, что они отмалчиваются.
В прошлом году примерно в это же время было что-то похожее, кстати.

[aost_spb]

Сообщение от Бергсон

Тут целиком и полностью неполадка Сапы. Жаль, что они отмалчиваются. В прошлом году примерно в это же время было что-то похожее, кстати.

Бывает, что и у них curl или DNS барахлит, но на своем сервере я по логам могу посмотреть: приходил ли бот, и если его порубали, то за что... На большом хостинге это проблематично, да и прецеденты, что хостеры защищаются от ботов - есть. Так что утверждать что-либо без логов на руках - я бы не стал.

[Selkon]

По логам все нормально - робот приходит. Судя по его ип адресу странички он листает, статус 200 получает, никаких 404,403,500 и т.д. ошибок не получает. В логах бы отражалось, если бы коннекшены сбрасывались. Да и вечером он нормально обрабатывает ссылки, хотя вечером и нагрузка поболее будет, чем утром.
Подозреваю, что ссылки просто "размораживаются" и обновляются уже после прихода бота... но разве такое может быть каждый день утром?

[Бергсон]

Сообщение от Selkon

Подозреваю, что ссылки просто "размораживаются" и обновляются уже после прихода бота... но разве такое может быть каждый день утром?

Это может быть в том случае, если Сапа сама даёт такое задание, уж больно закономерность неизменная.

[colonel]

Такая же проблема. Не все ладно в Датском королевстве...