ложные срабатывания ERROR, метод смягчения.

[Mendel]

Бот сапы довольно несбалансирован и потому частенько с ним бывают проблемы, это факт.
Ложные срабатывания приводят к убийству ссылок и как следствие падение оборота. Я бы оценил эту проблему в 15% прибыли биржи.
Делать все почеловечески довольно сложно, и я не уверен что команда сапы на этом этапе на это способна, но есть и простые меры.

Теперь рекомендации:
1 - внести заглушку на :80 и на полный хост в sape.php или если позволяет архитектура в сервак отдающий link.db (предпочтительный вариант ибо не прийдется всем обновлять скрипты).
2 - добавить в базу поле ERROR_1 (или чтото вроде) и проставлять его а не основной флаг ERROR, а только при повторном проходе если все еще ERROR кидать в ERROR а если нет - скидывать ERROR_1

[Massacre]

я думаю что error надо ставить по результатам дня

и проверять не все одновременно, а в порядке очереди. с одним соединением на хост.

[Alex007]

Просто нужен дополнительный сервак. Возможно не один. То что есть явно задыхается.

[Avelon]

Сообщение от Mendel

Бот сапы довольно несбалансирован и потому частенько с ним бывают проблемы, это факт.
Ложные срабатывания приводят к убийству ссылок и как следствие падение оборота. Я бы оценил эту проблему в 15% прибыли биржи.
Делать все почеловечески довольно сложно, и я не уверен что команда сапы на этом этапе на это способна, но есть и простые меры.

Теперь рекомендации:
1 - внести заглушку на :80 и на полный хост в sape.php или если позволяет архитектура в сервак отдающий link.db (предпочтительный вариант ибо не прийдется всем обновлять скрипты).
2 - добавить в базу поле ERROR_1 (или чтото вроде) и проставлять его а не основной флаг ERROR, а только при повторном проходе если все еще ERROR кидать в ERROR а если нет - скидывать ERROR_1

все так и делается.
ерроров менее 5%

[Massacre]

не, вот скажите, один и тот же хостинг (мой), в SAPE несколько сайтов, на одном из них в один прекрасный день вижу ERROR "страница не отвечает" примерно на половине из страниц. да, в конце дня все вернулось на место, но виноват в ерроре определенно не мой сервер

[Mendel]

Avelon, то что вы говорите не соответствует действительности.
п.1 - чек:
коментирую:

PHP код:

if (strstr($host,':80')) $host = ereg_replace(":80","",$host); // уберем указание порта из домена
if ($host{(strlen($host)-1)}=='.') $host=substr($host,0,strlen($host)-1); // если домен указан в полной транскрипции то уберем точку в конце. 


снова получаю пустые файлы домен:80.link.db и домен..link.db
(кто не понял см моя защита от ERROR)
По пункту 2 см ответ Massacre
поскольку "в конце дня все вернулось на место" получается означает что п2 нет.