Скорострельность сапобота

kmax · 22.03.2012, 13:09

Такая вот ситуация: в последнее время стали появляться "блуждающие" ERROR'ы - на одном или нескольких сайтах выпадает половина или больше ссылок, во время следующей проверки (или через одну) - все восстанавливается. На следующий день то же самое с другими сайтами и так далее. Я сначала думал - может сервер не тянет (дедик), оптимизировал - но как-то без особого успеха. Он едва ли на 5% нагружен. Страницы отдаются мгновенно, с нормально стоящими ссылками. Ошибки все - "страница возвращает http-статус, отличный от 200". В логах апача во время запроса бота записей не появляется. А вот сегодня на одном сайте появилось 80 ошибок с одинаковым временем проверки - с точностью до секунды. Это что - сапобот сделал 80 запросов к сайту за секунду и получил 80 отлупов? В логах апача в это время никаких особенных флуктуаций не было... Может кто-нибудь подскажет, куда копать?

Ank · 22.03.2012, 13:14

Цитата:

Сообщение от kmax

куда копать?

в извещениях смотреть код. Потом думать

kmax · 22.03.2012, 14:30

Не совсем понял - в каких извещениях?

Добавлено через 1 час 12 минут
О! Нашел извещения

Но теперь непонятно. Все страницы вернули 404 в течение одной секунды. Ну, может это и нормально, все быстро работает. Но почему в логах апача нет об этом ни слова? Вот вопрос...

Tatiana · 22.03.2012, 17:23

У меня практически тоже самое...
Может, вот поэтому: http://forum.searchengines.ru/showthread.php?t=702803
Вроде проблемы есть у канального провайдера РТКомм...

Alesis · 22.03.2012, 21:27

Вот и у меня тоже самое. В статьях 404 часто отдаются, хотя все на месте и в логе сервера ничего такого нет. Кроме того, каждый день в эроре 5-10 купленных мной ссылок, хотя все они на месте.

Насчет статей несколько раз писал в поддержку, пока причины не названы. Вернее все ссылалось на мой дедик. После того, как я прислал выдержку из лога сервера с 404 ошибками, вроде пара дней все нормально.

dmitriy1 · 28.03.2012, 16:37

Добрый день

Проблема таково же характера. Все началось после нового года. Некоторые запросы не отображаются в логах, хотя система говорит что обращалась но страницы были недоступны.

Очень прошу разъяснить какие требования должны предъявляться к хостингу.

ss25 · 03.04.2012, 10:44

хостинг как хостинг. все зависит от вашего сайта

22.03.2012, 13:09	#1
kmax Новичок Регистрация: 04.10.2008 Сообщений: 4 Вес репутации: 0	Скорострельность сапобота Такая вот ситуация: в последнее время стали появляться "блуждающие" ERROR'ы - на одном или нескольких сайтах выпадает половина или больше ссылок, во время следующей проверки (или через одну) - все восстанавливается. На следующий день то же самое с другими сайтами и так далее. Я сначала думал - может сервер не тянет (дедик), оптимизировал - но как-то без особого успеха. Он едва ли на 5% нагружен. Страницы отдаются мгновенно, с нормально стоящими ссылками. Ошибки все - "страница возвращает http-статус, отличный от 200". В логах апача во время запроса бота записей не появляется. А вот сегодня на одном сайте появилось 80 ошибок с одинаковым временем проверки - с точностью до секунды. Это что - сапобот сделал 80 запросов к сайту за секунду и получил 80 отлупов? В логах апача в это время никаких особенных флуктуаций не было... Может кто-нибудь подскажет, куда копать?

22.03.2012, 14:30	#3
kmax Новичок Регистрация: 04.10.2008 Сообщений: 4 Вес репутации: 0	Не совсем понял - в каких извещениях? Добавлено через 1 час 12 минут О! Нашел извещения Но теперь непонятно. Все страницы вернули 404 в течение одной секунды. Ну, может это и нормально, все быстро работает. Но почему в логах апача нет об этом ни слова? Вот вопрос... Последний раз редактировалось kmax; 22.03.2012 в 14:30. Причина: Добавлено сообщение

22.03.2012, 17:23	#4
Tatiana Новичок Регистрация: 21.05.2007 Сообщений: 31 Вес репутации: 209	У меня практически тоже самое... Может, вот поэтому: http://forum.searchengines.ru/showthread.php?t=702803 Вроде проблемы есть у канального провайдера РТКомм... __________________ Сообщение заговорено! Модерация этого сообщения приведёт к импотенции и венерическим заболеваниям!

03.04.2012, 10:44	#7
ss25 Специалист Регистрация: 12.06.2007 Адрес: Слава Украине Сообщений: 167 Вес репутации: 213	хостинг как хостинг. все зависит от вашего сайта __________________ site_id=107815 (ЯК, DMOZ) \| Размещаю только тематичные ссылки. ВС 4/4/2, цены выше средних.

Похожие темы
Тема	Автор	Раздел	Ответов	Последнее сообщение
как закрыть от сапобота определенные ссылки?	hitpa	Вопросы по работе системы	2	24.08.2011 17:07
Тайминг для сапобота	xpundel	Пожелания пользователей системы	3	16.06.2010 14:27
Эмулятор сапобота	Апокалипсис	Пожелания пользователей системы	5	07.10.2009 08:13
Что происходит раньше - биллинг или первый заход сапобота?	Rublev	Вопросы по работе системы	12	06.07.2009 18:07
какие IP у сапобота!?	DEGLE	Ошибки при работе с системой	2	03.03.2009 15:08

22.03.2012, 21:27	#5
Alesis Новичок Регистрация: 17.03.2008 Сообщений: 17 Вес репутации: 0	Вот и у меня тоже самое. В статьях 404 часто отдаются, хотя все на месте и в логе сервера ничего такого нет. Кроме того, каждый день в эроре 5-10 купленных мной ссылок, хотя все они на месте. Насчет статей несколько раз писал в поддержку, пока причины не названы. Вернее все ссылалось на мой дедик. После того, как я прислал выдержку из лога сервера с 404 ошибками, вроде пара дней все нормально.

28.03.2012, 16:37	#6
dmitriy1 Новичок Регистрация: 28.03.2012 Сообщений: 1 Вес репутации: 0	Добрый день Проблема таково же характера. Все началось после нового года. Некоторые запросы не отображаются в логах, хотя система говорит что обращалась но страницы были недоступны. Очень прошу разъяснить какие требования должны предъявляться к хостингу.