13.02.2008, 11:10 | #32 |
Новичок
Регистрация: 20.03.2007
Сообщений: 93
Вес репутации: 209
|
Для тех у кого часть ссылок уходит в error с сообщением "страница не отвечает".
После длительных экспериментов на хостинге было выяснено что, в качестве защиты от ддоса хостером была выбрана следующая политика: После определенного количества запросов с одного IP в течении короткого времени, IP клиента банится на час. В моем случае это было около 50 запросов. Результат - 50 ссылок ОК, остальные error. Действия понятны. Письмо хостеру следующего содержания. "просьба не ограничивать доступ для адресов из списка....." |
13.02.2008, 20:16 | #35 |
Новичок
Регистрация: 15.12.2007
Сообщений: 55
Вес репутации: 200
|
Все же жутко интересно, а у какого процента пользователей сапы более 50% ссылок в ерроре?
И почему администрация не может решить эту проблему? Почему нет внятного FAQ по решению проблемы? Ведь даже если паук забанен, то можно дать команду другому пауку зайти на этот недопроверенный сайт с другого айпи и продолжить начатое??? |
14.02.2008, 00:08 | #36 | |
Новичок
|
Цитата:
|
|
14.02.2008, 08:48 | #37 |
Новичок
Регистрация: 20.03.2007
Сообщений: 93
Вес репутации: 209
|
Volgar
Не надо пытать хостера. Мой отбрыкивался две недели, утверждая что у них все в порядке. Просто поставить перед фактом со списком адресов. Кстати ответ на письмо пришел в течении 2-х часов и в этот же день error-ы пропали полностью, в том числе и "не найдена на странице" adem скинул maxwell_c Это не решение проблемы. Volgar Пауки заходят с разных IP. И всех их поочереди банит хостер. Проблема на в пауках сапы, проблема в хостинге. Хотя...... Администрации Боты сапы вычисляются по двум признакам: 1. Большое количество запросов в короткий промежуток времени. (можно сделать асинхронную проверку по разным сайтам и тем самым увеличить интервалы обращения к одному сайту.) 2. Пустое поле рефер (может лучше заполнять его? пусть иммитируют нормального клиента, раз представляются мозиллой) И последнее. Это не панацея от всех error-ов. Это частный случай. Но не мешает его проверить на своем хостинге. Последний раз редактировалось vadfe; 14.02.2008 в 08:51. |
14.02.2008, 10:42 | #38 |
Новичок
Регистрация: 14.02.2008
Сообщений: 3
Вес репутации: 0
|
Кароч, пипец какойто - после 11.02 почти все ссылки ушли в ERROR, если нажимаю на ошибку - то показывает Ссылка "ххх" размещена на странице http://www.ххх.ххх/list.php?c=ххх и указывает на http://www.ххх.хх, \
а снизу даты и ошибка - 2008-02-13 ссылка не найдена на странице 2008-02-14 ссылка не найдена на странице и так практически со всеми ссылками - кроме новых, новые на день в статусе ОК, а затем тоже в ERROR переходят - хотя если зайти на страницу то там ВСЕ!!! ссылки есть. Прошу помощи, единственное что я поменял - так это 8.02 код показа ссылок переместил из контента страницы в "подвал", но это было 8.02, а проблемы пошли с 11.02, тоесть 9.02 и 10.02 робот ссылки еще видел. id сайта: 117767 |
14.02.2008, 10:47 | #39 | |
Новичок
Регистрация: 06.01.2008
Сообщений: 39
Вес репутации: 198
|
Цитата:
|
|
14.02.2008, 11:07 | #40 |
Администратор
Регистрация: 05.02.2007
Сообщений: 18,405
Вес репутации: 714
|
adem, ветку в самом начале почитать?
http://forum.sape.ru/showthread.php?t=7040 проблемы - не глобальные ни разу, опять жино шалит.
__________________
Читаем ФАК |
Опции темы | |
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
ERRORы на www.pingme.ru | Inform-buro | Ошибки при работе с системой | 5 | 27.02.2008 19:26 |
ERRORы и все про них. | PapaSiro | Ошибки при работе с системой | 796 | 19.01.2008 20:36 |
Joomla, шаблоны и ERRORы | vviicc | Ошибки при работе с системой | 0 | 16.12.2007 13:31 |
Не могу побороть ERRORы | b166ar | Вопросы от новичков | 3 | 08.12.2007 12:25 |
Errorы и Extmedia | Liv | Ошибки при работе с системой | 3 | 22.09.2007 19:31 |
Часовой пояс GMT +3, время: 19:28.