Проблема: ссылки в ероре

[errora]

Сообщение от Ank

и всетаки - бан. Может быть средствами движка, всякие антифлуды и прочее.

Посмотрела где случается чаще всего... навскидку... движок ВордПресс... вроде в нем никаких "антифлудов" нет...

[Ank]

зато к нему есть куча плагинов...
"не отвечает" - значит робот не смог получить страницу
причины по мере убывания вероятности
1. Бан
2. сервер лег
3. канал кончился
4. зеленые человечки

При регулярном повторении - кончину канала и лежки сервера - отметаем (?)
остается бан. Логи читать в таких случаях надо... фильтровать по времени и ИП сапы и читать..

[Hanapi]

Сообщение от Massacre

пропадание линкса бывает 1) из-за невозможности коннекта к диспенсеру 2) отсутствии места на хостинге

отсутствие места на хостинге исключено, т.к., повторюсь, админ сервера я сам, слежу за тех. состоянием сервера регулярно.. наиболее вероятно первое. если поставить $_cache_reloadtime равной 1 минуте - не поможет ли это хоть как то уменьшить срок дауна ссылок?

Сообщение от Ank

При регулярности еррора - поищите например того кто делает дамп... он может менять права на файл

Че искать то, все манипуляции с сервером провожу я, и ничего такого что бы перекрывало права на запись в данную директорию не делаю

Сообщение от Ank

Именно 0-го размера? не ок 240 байт?

был и 0-го размера, и ок 240 байт.. логику того как это все происходило я так и не понял.. удалял линкз дб - то 0 б, то 240 б, то как положено, все загружалось

[Ank]

если 240 - хост не прописан. Ищите где есть вызов БЕЗ прописанного хоста.
А 0 - ну вам виднее... можно включить вербосе, можно залезть в генофонд и заставить вербосе писаться в файл и датой и временем...

[Hanapi]

Статистика просто впечатляет

Дата Ошибка
2008-06-10 страница не отвечает
2008-06-12 ссылка не найдена на странице
2008-06-13 ссылка не найдена на странице
2008-06-14 страница не отвечает
2008-06-18 страница не отвечает
2008-06-20 страница не отвечает
2008-06-26 ссылка не найдена на странице
2008-06-30 ссылка не найдена на странице
2008-07-01 страница не отвечает
2008-07-02 ссылка не найдена на странице
2008-07-03 ссылка не найдена на странице
2008-07-04 ссылка не найдена на странице

все озвученные причины имеют силу только при условии, что ссылки в ерроре весь день, но они, почему-то, падают ТОЛЬКО УТРОМ.. и только на этом сайте! другой сайт висящий НА ЭТОМ ЖЕ ХОСТЕ С ЭТИМ ЖЕ ДВИЖКОМ работает без ерроров..

Сегодня вербоз натравил на файл, пока молчит, гад, хотя ссылки с утра опять упали в даун.

[Ank]

вербосе скажет только про глобальные траблы...
Типа нет коннекта или нет прав.
не найдено
робот получил страницу и не нашел там ссылки.
чаще всего - кодировка (искать вызов без чарсета, особенно критично на НЕ 1251 и когда несколько кодировок на сайте)
чуть реже - медленный канал и большой размер (сапоссылки - по коду повыше занести).
ваш случай похож на медленный канал с утренним роботом...
Хотя кодировку нельзя исключить.

Если есть возможность - попробуйте сохранить утренний линкс, вдруг он в другой кодировке пришел?

[sergbond]

Сообщение от Ank

чаще всего - кодировка (искать вызов без чарсета, особенно критично на НЕ 1251 и когда несколько кодировок на сайте)

У меня сегодня выползла толпа эрроров (около 20% от общего числа ссылок). Половина из них - ссылка не найдена. На днях добавил контекстные ссылки и вчера купили первую. Теперь вот думаю - может ли это быть из-за такого кода (слегка упростил для удобочитаемости)? В какой кодировке по-умолчанию работает SAPE_context()?

PHP код:

    $o['charset'] = 'UTF-8';
    $o['request_uri'] = $_SERVER['REQUEST_URI'];
    $o['force_show_code'] = false;
    $sape = new SAPE_client($o);
    unset($o);

    $sape_context = new SAPE_context();
    echo $sape_context->replace_in_text_segment($content); 


[Ank]

Сообщение от sergbond

В какой кодировке по-умолчанию работает SAPE_context()?

1251. Но на простые не должно влиять...
кстати, замечено что некоторые сервера чувствительны к регистру кодировки
Если у Вас утф - то контекстная - в ерроре уже.

А если вызов написан как показано - т.е. рядышком, просто передайте все тоже самое контексту.

[Hanapi]

Сообщение от Ank

искать вызов без чарсета, особенно критично на НЕ 1251 и когда несколько кодировок на сайте

Сайт в вин-1251, код сапы вызывается только 1 раз на странице и только на одном и том же месте - в правой колонке и кодировка выставляется вручну (хотя раньше и на автомате работало)

Сообщение от Ank

медленный канал и большой размер (сапоссылки - по коду повыше занести)

Вот это то что наиболее похоже на правду из всего озвученного ранее.
Ибо, как я уже говорил, есть еще один сайт висящий на этом же хосте (даун или бан сервера исключены), на том же движке (бан движком тоже исключен - к тому же я админ сервера, что исключает оба варианта еще раз), в ссылки в еррор падают только на одном. Разница между сайтами в том, что один сайт (с еррорами) значительно больше второго (ок 300 кило), и на первом сайте код сапы лежит в правой колонке, т.е. в коде достаточно низко, на втором сайте код значительно меньше и код сапы в левой колонке, т.е. практически в начале кода. К тому же время генерации первого сайта гораздо больше - от 0.20 до 0.70 мс, тогда как на втором этот показатель не превышает 0.1 мс..

Похоже, грядет решение проблемы. Осталось только выяснить, как сделать так, чтоб бот сапы глотал побольше сайта (я так понял, ночной и дневной боты - разные? или с разных каналов?) не отсекая кусок сайта с содержимым линкз.дб.. Перенос саполинков выше практически не возможен - для этого надо менять структуру сайта.. Какие будут рекомендации?

[Ank]

300 к на страницу? вот и корень зла.
Не знаю что посоветовать... кроме больше страниц мЕньшего размера...