Старый 11.02.2008, 19:14   #31
Новичок
 
Регистрация: 06.08.2007
Сообщений: 46
Вес репутации: 0
Fanamura нам пока неизвестен
По умолчанию

site_id=45906
98% ссылок в эрроре, сайт был доступен, ссылки на месте, а пишет, что ссылок не найдено
Fanamura вне форума  
Старый 13.02.2008, 11:10   #32
Новичок
 
Регистрация: 20.03.2007
Сообщений: 93
Вес репутации: 209
vadfe на пути к лучшему
По умолчанию

Для тех у кого часть ссылок уходит в error с сообщением "страница не отвечает".
После длительных экспериментов на хостинге было выяснено что, в качестве защиты от ддоса хостером была выбрана следующая политика:
После определенного количества запросов с одного IP в течении короткого времени, IP клиента банится на час.
В моем случае это было около 50 запросов.
Результат - 50 ссылок ОК, остальные error.
Действия понятны.
Письмо хостеру следующего содержания.
"просьба не ограничивать доступ для адресов из списка....."
vadfe вне форума  
Старый 13.02.2008, 19:02   #33
Новичок
 
Регистрация: 15.12.2007
Сообщений: 55
Вес репутации: 200
Volgar на пути к лучшему
По умолчанию

Опять докапывал хостера на предмет DDOS. Говорит, что это никогда не делается, т. к. у него есть сайты куда ломятся тысячи с одного айпи - провайдер Стрим например.
Volgar вне форума  
Старый 13.02.2008, 19:21   #34
Новичок
 
Аватар для adem
 
Регистрация: 06.01.2008
Сообщений: 39
Вес репутации: 198
adem на пути к лучшему
По умолчанию

Хостеру необходим список ip для проверки на предмет блокировки...прошу предоставить...можно и в личку...иначе вопрос решить не получается...
СпасиБо!
adem вне форума  
Старый 13.02.2008, 20:16   #35
Новичок
 
Регистрация: 15.12.2007
Сообщений: 55
Вес репутации: 200
Volgar на пути к лучшему
По умолчанию

Все же жутко интересно, а у какого процента пользователей сапы более 50% ссылок в ерроре?

И почему администрация не может решить эту проблему?
Почему нет внятного FAQ по решению проблемы?
Ведь даже если паук забанен, то можно дать команду другому пауку зайти на этот недопроверенный сайт с другого айпи и продолжить начатое???
Volgar вне форума  
Старый 14.02.2008, 00:08   #36
Новичок
 
Регистрация: 10.01.2008
Адрес: kharkov
Сообщений: 42
Вес репутации: 198
maxwell_c на пути к лучшему
Отправить сообщение для maxwell_c с помощью ICQ
По умолчанию

Цитата:
Сообщение от Volgar Посмотреть сообщение
Все же жутко интересно, а у какого процента пользователей сапы более 50% ссылок в ерроре?

И почему администрация не может решить эту проблему?
Почему нет внятного FAQ по решению проблемы?
Ведь даже если паук забанен, то можно дать команду другому пауку зайти на этот недопроверенный сайт с другого айпи и продолжить начатое???
у меня 99% ссылок выпали в эррор после работ в дата-центре хостинга. Подождал 2 дня и поубивал нафик, ссылки отображаются - а центы не капают
maxwell_c вне форума  
Старый 14.02.2008, 08:48   #37
Новичок
 
Регистрация: 20.03.2007
Сообщений: 93
Вес репутации: 209
vadfe на пути к лучшему
По умолчанию

Volgar
Не надо пытать хостера.
Мой отбрыкивался две недели, утверждая что у них все в порядке.
Просто поставить перед фактом со списком адресов.
Кстати ответ на письмо пришел в течении 2-х часов и в этот же день error-ы пропали полностью, в том числе и "не найдена на странице"
adem
скинул
maxwell_c
Это не решение проблемы.
Volgar
Пауки заходят с разных IP. И всех их поочереди банит хостер.
Проблема на в пауках сапы, проблема в хостинге.
Хотя......
Администрации
Боты сапы вычисляются по двум признакам:
1. Большое количество запросов в короткий промежуток времени. (можно сделать асинхронную проверку по разным сайтам и тем самым увеличить интервалы обращения к одному сайту.)
2. Пустое поле рефер (может лучше заполнять его? пусть иммитируют нормального клиента, раз представляются мозиллой)

И последнее.
Это не панацея от всех error-ов. Это частный случай. Но не мешает его проверить на своем хостинге.

Последний раз редактировалось vadfe; 14.02.2008 в 08:51.
vadfe вне форума  
Старый 14.02.2008, 10:42   #38
Новичок
 
Регистрация: 14.02.2008
Сообщений: 3
Вес репутации: 0
sychov на пути к лучшему
По умолчанию

Кароч, пипец какойто - после 11.02 почти все ссылки ушли в ERROR, если нажимаю на ошибку - то показывает Ссылка "ххх" размещена на странице http://www.ххх.ххх/list.php?c=ххх и указывает на http://www.ххх.хх, \
а снизу даты и ошибка -
2008-02-13 ссылка не найдена на странице
2008-02-14 ссылка не найдена на странице

и так практически со всеми ссылками - кроме новых, новые на день в статусе ОК, а затем тоже в ERROR переходят - хотя если зайти на страницу то там ВСЕ!!! ссылки есть. Прошу помощи, единственное что я поменял - так это 8.02 код показа ссылок переместил из контента страницы в "подвал", но это было 8.02, а проблемы пошли с 11.02, тоесть 9.02 и 10.02 робот ссылки еще видел.
id сайта: 117767
sychov вне форума  
Старый 14.02.2008, 10:47   #39
Новичок
 
Аватар для adem
 
Регистрация: 06.01.2008
Сообщений: 39
Вес репутации: 198
adem на пути к лучшему
По умолчанию

Цитата:
Сообщение от sychov Посмотреть сообщение
Кароч, пипец какойто - после 11.02 почти все ссылки ушли в ERROR, если нажимаю на ошибку - то показывает Ссылка "ххх" размещена на странице http://www.ххх.ххх/list.php?c=ххх и указывает на http://www.ххх.хх, \
а снизу даты и ошибка -
2008-02-13 ссылка не найдена на странице
2008-02-14 ссылка не найдена на странице

и так практически со всеми ссылками - кроме новых, новые на день в статусе ОК, а затем тоже в ERROR переходят - хотя если зайти на страницу то там ВСЕ!!! ссылки есть. Прошу помощи, единственное что я поменял - так это 8.02 код показа ссылок переместил из контента страницы в "подвал", но это было 8.02, а проблемы пошли с 11.02, тоесть 9.02 и 10.02 робот ссылки еще видел.
id сайта: 117767
Вот как с такой проблемой бороться??? Господа, по какому поводу молчим? Глобальная проблема...выручайте...
adem вне форума  
Старый 14.02.2008, 11:07   #40
Администратор
 
Аватар для Ank
 
Регистрация: 05.02.2007
Сообщений: 18,405
Вес репутации: 714
Ank - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущее
По умолчанию

adem, ветку в самом начале почитать?
http://forum.sape.ru/showthread.php?t=7040
проблемы - не глобальные ни разу, опять жино шалит.
__________________
Начать зарабатывать на своих сайтах. Консультирую своих рефов по аське

Читаем ФАК
Ank вне форума  
Закрытая тема

Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
ERRORы на www.pingme.ru Inform-buro Ошибки при работе с системой 5 27.02.2008 19:26
ERRORы и все про них. PapaSiro Ошибки при работе с системой 796 19.01.2008 20:36
Joomla, шаблоны и ERRORы vviicc Ошибки при работе с системой 0 16.12.2007 13:31
Не могу побороть ERRORы b166ar Вопросы от новичков 3 08.12.2007 12:25
Errorы и Extmedia Liv Ошибки при работе с системой 3 22.09.2007 19:31


Часовой пояс GMT +3, время: 19:28.