Проблема: ссылки в ероре

[Hanapi]

Сколько рекомендуемый размер страницы для бота сапы и имеет ли принципиальное значение для него время генерации страницы? (есть ли таймауты, по истечении которых бот перестает ждать ответа от страницы и обрабатывает только то что получил?)

Добавлено через 1 минуту

Сообщение от Ank

300 к на страницу? вот и корень зла.

а вообще, я малость ошибся. 300 кило это вместе с фотками, скиптами и прочими ужасами - хтмл кода не больше 50 кило.

Documents (4 files) 49 KB (58 KB uncompressed)
Images (31 files) 149 KB
Objects (0 files)
Scripts (7 files) 29 KB (61 KB uncompressed)
Style Sheets (6 files) 10 KB
Total 237 KB (278 KB uncompressed)

не думаю, что бот сапы читает стили, картинки и скрипты..

[Ank]

30 секунд ждет. Максимум.

[Hanapi]

Это уже надоело даже.. Все повторяется изо дня в день. Почему ночной бот тупит, а дневной все прекрасно "съедает"? В чем разница между дневным и ночными сканами?

[WebFX]

Сообщение от Hanapi

В чем разница между дневным и ночными сканами?

Возможно в вашем хостере

[Hanapi]

Сообщение от WebFX

Возможно в вашем хостере

стоило, наверное, прочитать предыдущие сообщения, прежде чем давать ответ невпопад. Если бы Вы так сделали, поняли бы, что хостер тут непричем.

Добавлено через 3 минуты

Сообщение от Ank

30 секунд ждет. Максимум.

можно было бы грешить на долгое время генерации страницы.. но дневной бот ни разу не оставил ни одной ссылки в эрроре! а ночной ВСЕ ссылки в еррор кидает. причем уже стабильно каждый день. а другой сайт на хосте и вовсе безошибочно отрабатывает..

[MrJinx]

Заметил, что на одном сайте примерно аналогичная ситуация. На том же хостинге стоит ещё несколько сайтов (в основном сателлиты) и ночью где-то 30-40% ссылок улетают в еррор с ошибкой "Страница не найдена", потом всё уходит в ОК и вечером доначисления. Сайт стоит на этом сервере где-то месяц, до этого проблем не было и на прошлом сервере (на котором тоже сейчас стоят сайты, на них ерроров нет). Есть как альтернативный вариант перенос на мой 3 сервак, но, как вижу, я не один с такой проблемой. Может быть проблема в роботе сапы? Может что-то меняли в алгоритмах поиска? Если б вербос показывал, что случилось со страницей. А то 404 антифлуд не выводит.

[Hanapi]

Во сколько ночной скан? буду мониторить состояние сервера и статус сайта...

[Hanapi]

Решил проблему. Даже скажу как - перенес код сапы выше, в самое начало страницы, и эрроры исчезли. Вывод: утренний бот сапы "глотает" определенное количество килобайт сайта, или в ходе динамичной генерации страницы не ждет окончания генерации. Уж не знаю чей косяк, но косяк однозначно, ибо такое нигде не описано и не предупреждено..

[Resistant]

Тоже самое, последнии дни ссылки в ERROR:ссылка не найдена на странице. Хотя все ссылки отображаются! В links.db они все присутствуют. Хостер ничего не блокирует. Все работало без проблем около года. Если раньше утренний бот возвращал ссылки в статус ОК, то теперь замечаю рост массы ссылок, висящих в ERROR по двое суток

Проблема есть, а администрация пытается убедить, что траблы мол на вашей стороне. Нет, проблемы имхо все же на вашей стороне!

[Avelon]

Сообщение от Resistant

Тоже самое, последнии дни ссылки в ERROR:ссылка не найдена на странице. Хотя все ссылки отображаются! В links.db они все присутствуют. Хостер ничего не блокирует. Все работало без проблем около года. Если раньше утренний бот возвращал ссылки в статус ОК, то теперь замечаю рост массы ссылок, висящих в ERROR по двое суток

Проблема есть, а администрация пытается убедить, что траблы мол на вашей стороне. Нет, проблемы имхо все же на вашей стороне!

давайте логи своего сервера во время проверки, без этого дискутировать дальше нет смысла