У кого еще на Мастерхосте "страница возвращает http-статус, отличный от 200"?

[Pavlo]

Где-то с 07.04.10 началась такая фигня с сайтом на Мастерхосте. Сайт на phpNuke (ну вот так получилось), старый, ничего не менялось на нем, и вот полезли ошибки. Смотрю в логах -
[Tue Apr 20 12:18:23 2010] [warn] [client 188.72.80.203] CPU limit exceeded (8.1%)
[Tue Apr 20 12:18:23 2010] [warn] [client 188.72.80.203] Resource limit exceeded, access to orenhunting.ru is temporarily denied
Т.е, дневной сапобот превышает лимит загрузки сервера. Пишу в техподдержку - отвечают, мы тут не при делах, страницы тяжелые, оптимизируйте. Смотрю, на каких страницах эрроры - никакой зависимости, есть и нормальные страницы с текстом, есть легчайшие всего с двумя ссылками на разделы, т.е., тяжесть страниц не влияет. За ночь все (или почти все) эрроры уходят. Разные боты ходят? Если кто-то сталкивался с пдобным - как бороться? Почему ночной робот нормально проходит? Сказать, чтобы посетителей днем много было - нет, за сутки 200-300.

[aship]

Сообщение от Pavlo

Где-то с 07.04.10 началась такая фигня с сайтом на Мастерхосте. Сайт на phpNuke (ну вот так получилось), старый, ничего не менялось на нем, и вот полезли ошибки. Смотрю в логах -
[Tue Apr 20 12:18:23 2010] [warn] [client 188.72.80.203] CPU limit exceeded (8.1%)
[Tue Apr 20 12:18:23 2010] [warn] [client 188.72.80.203] Resource limit exceeded, access to orenhunting.ru is temporarily denied
Т.е, дневной сапобот превышает лимит загрузки сервера. Пишу в техподдержку - отвечают, мы тут не при делах, страницы тяжелые, оптимизируйте. Смотрю, на каких страницах эрроры - никакой зависимости, есть и нормальные страницы с текстом, есть легчайшие всего с двумя ссылками на разделы, т.е., тяжесть страниц не влияет. За ночь все (или почти все) эрроры уходят. Разные боты ходят? Если кто-то сталкивался с пдобным - как бороться? Почему ночной робот нормально проходит? Сказать, чтобы посетителей днем много было - нет, за сутки 200-300.

Понимаете, тут какое дело CMS чтобы отдать вам самую легчайшую страничку приходится исполнять те же самые скрипты, что и для тяжелой. Т.е. грузит не размер станицы в килобайтах, а исполнение сриптов. При тех лимитах памяти, что выделяются на виртуальных хостингах, одновременный вызов нескольких ваших страниц (любых) вызывает исчерпание выделенных вам ресурсов.

Так что.
1. Меняйте план, на VPS, например
2. Меняйте хостинг, на облачный, например
3. Оптимизмруйте CMS, например держите страницы в кэше, чтобы процессы не плодить.
4. Меняйте CMS.

[Pavlo]

aship, так раньше такого не было, получается, либо параметры бота, либо хостинга изменились.
Менять план на VPS - нет смысла, площадка не окупится.
Менять хостинг - ну как вариант, но не факт, что там такая же (или похожая) беда не вылезет...
Оптимизация - это наиболее приемлемо, но я два дня убил на поиски вариантов оптимизации (кэширования, в частности) phpNuke- кроме, как переписывания вручную тучи строк кода, ничего не нашел. Если кому кому попадалось - поделитесь?
Смена CMS - в планах, но не ближайших, да и головняка с переносом будет ого-го.

[aship]

Сообщение от Pavlo

aship, так раньше такого не было, получается, либо параметры бота, либо хостинга изменились.

Скорее всего на машину, где ваш сайт подсадили еще несколько десятков площадок.

[Pavlo]

А поддерживает ли робот Sape директиву "Crawl-delay"?
В ТП Мастерхоста посоветовали прописать ее в robots.txt, если сапобот ее поддерживает. Ссылку дали: http://help.yandex.ru/webmaster/?id=996567#1022359
Так-то она для Яндексового бота предназначена, но вдруг?

[zhegloff]

Сообщение от Pavlo

А поддерживает ли робот Sape директиву "Crawl-delay"?

нет..

[dfg]

Господа, ктонить выход с Мастерхостом нашел? че делать то? и самое главное неизвестно где рыть, так как сайты все, около 60, написаны одинаково на 99%. Сегодня ероры тут, завтра там, а на некоторых сайтах уже больше недели все в ероре.

пример:
Дата Ошибка
2010-04-13 08:40:11 страница возвращает http-статус, отличный от 200
2010-04-14 09:29:11 страница возвращает http-статус, отличный от 200
2010-04-15 08:41:20 страница возвращает http-статус, отличный от 200
2010-04-16 09:38:58 страница возвращает http-статус, отличный от 200
2010-04-17 08:37:48 страница возвращает http-статус, отличный от 200
2010-04-17 23:59:59 URL заморожен оптимизатором
2010-04-21 08:55:00 страница возвращает http-статус, отличный от 200
2010-04-23 08:42:48 страница возвращает http-статус, отличный от 200
2010-04-24 08:39:52 страница возвращает http-статус, отличный от 200
2010-04-25 09:02:05 страница возвращает http-статус, отличный от 200
2010-04-26 09:19:33 страница возвращает http-статус, отличный от 200
2010-04-27 09:49:18 страница возвращает http-статус, отличный от 200
2010-04-27 19:42:39 страница возвращает http-статус, отличный от 200

[Pavlo]

dfg, а на каком движке сайты работают? Логи смотрел?

[dfg]

joomla, логи смотрел, нечего особенного, обычное дело

[Sat Apr 24 09:37:26 2010] [warn] [client 188.72.80.131] IO limit exceeded (10)

[Pavlo]

Ну вот это обычное дело и дает эрроры. Сапобот грузит сервер сверх лимита. Рекомендации aship во втором посте расписал. Мое мнение - это следствие какой-то недавней модернизации сапобота, раньше (у меня лично) все работало нормально. И если мне один сайт или оптимизировать, или перенести еще можно, то что делать с шестьюдесятью - не представляю...