site_id=45906
98% ссылок в эрроре, сайт был доступен, ссылки на месте, а пишет, что ссылок не найдено

Для тех у кого часть ссылок уходит в error с сообщением "страница не отвечает".
После длительных экспериментов на хостинге было выяснено что, в качестве защиты от ддоса хостером была выбрана следующая политика:
После определенного количества запросов с одного IP в течении короткого времени, IP клиента банится на час.
В моем случае это было около 50 запросов.
Результат - 50 ссылок ОК, остальные error.
Действия понятны.
Письмо хостеру следующего содержания.
"просьба не ограничивать доступ для адресов из списка....."

Опять докапывал хостера на предмет DDOS. Говорит, что это никогда не делается, т. к. у него есть сайты куда ломятся тысячи с одного айпи - провайдер Стрим например.

Хостеру необходим список ip для проверки на предмет блокировки...прошу предоставить...можно и в личку...иначе вопрос решить не получается...
СпасиБо!

Все же жутко интересно, а у какого процента пользователей сапы более 50% ссылок в ерроре?

И почему администрация не может решить эту проблему?
Почему нет внятного FAQ по решению проблемы?
Ведь даже если паук забанен, то можно дать команду другому пауку зайти на этот недопроверенный сайт с другого айпи и продолжить начатое???

у меня 99% ссылок выпали в эррор после работ в дата-центре хостинга. Подождал 2 дня и поубивал нафик, ссылки отображаются - а центы не капают

Volgar
Не надо пытать хостера.
Мой отбрыкивался две недели, утверждая что у них все в порядке.
Просто поставить перед фактом со списком адресов.
Кстати ответ на письмо пришел в течении 2-х часов и в этот же день error-ы пропали полностью, в том числе и "не найдена на странице"
adem
скинул
maxwell_c
Это не решение проблемы.
Volgar
Пауки заходят с разных IP. И всех их поочереди банит хостер.
Проблема на в пауках сапы, проблема в хостинге.
Хотя......
Администрации
Боты сапы вычисляются по двум признакам:
1. Большое количество запросов в короткий промежуток времени. (можно сделать асинхронную проверку по разным сайтам и тем самым увеличить интервалы обращения к одному сайту.)
2. Пустое поле рефер (может лучше заполнять его? пусть иммитируют нормального клиента, раз представляются мозиллой)

И последнее.
Это не панацея от всех error-ов. Это частный случай. Но не мешает его проверить на своем хостинге.

Кароч, пипец какойто - после 11.02 почти все ссылки ушли в ERROR, если нажимаю на ошибку - то показывает Ссылка "ххх" размещена на странице http://www.ххх.ххх/list.php?c=ххх и указывает на http://www.ххх.хх, \
а снизу даты и ошибка -
2008-02-13 ссылка не найдена на странице
2008-02-14 ссылка не найдена на странице

и так практически со всеми ссылками - кроме новых, новые на день в статусе ОК, а затем тоже в ERROR переходят - хотя если зайти на страницу то там ВСЕ!!! ссылки есть. Прошу помощи, единственное что я поменял - так это 8.02 код показа ссылок переместил из контента страницы в "подвал", но это было 8.02, а проблемы пошли с 11.02, тоесть 9.02 и 10.02 робот ссылки еще видел.
id сайта: 117767

Вот как с такой проблемой бороться??? Господа, по какому поводу молчим? Глобальная проблема...выручайте...:cool:

adem, ветку в самом начале почитать?
http://forum.sape.ru/showthread.php?t=7040
проблемы - не глобальные ни разу, опять жино шалит.