Робот сапы перегружает сервер провайдера! - Страница 5

lelikone · 31.03.2009, 10:56

У меня на некоторых сайтах голдхоста такое наблюдается, с утра все ссылки в ерроре, с обеда все в ок, но деньги не зачисляются, типа сутки были в ерроре, хотя все ссылки висят и не убираются.

WebDot · 01.04.2009, 06:09

Те же проблемы с errorами метод избавления нашёл кто нибудь?

Avelon · 01.04.2009, 09:06

Цитата:

Сообщение от lelikone

У меня на некоторых сайтах голдхоста такое наблюдается, с утра все ссылки в ерроре, с обеда все в ок, но деньги не зачисляются, типа сутки были в ерроре, хотя все ссылки висят и не убираются.

если днем переходят в ОК, то все зачисляется

chop6 · 01.04.2009, 17:12

у нас опять появились эрроры, после трехдневного статуса "ОК" на всех площадках в т.ч. у клиентов.
После проведения некоторого анализа, мы выяснили, что c нашим сервером робот с IP 87.242.74.101 работает еще более-менее адекватно, а 217.107.36.73 время от времени валит апач.
Может пора уже какой нибудь crawl-delay вводить?

Alex753111 · 02.04.2009, 02:58

залочили аккаунт на хостинге из за нагрузки
Top Process %CPU 11.0

ребят подскажите как проблему решаете?

Lovedancer · 02.04.2009, 16:59

У меня ситуация похожая. После нескольких раз закрытия доступа к моему сайту из-за нагрузки на сервер, я перелопатил лог о нагрузках, и вытащил оттуда около 20 IP адресов, которые сильно нагружали мой сайт. Их пришлось закрыть через .htaccess. А теперь нагрузка вроде бы спала, но появилась проблема с сапой (error на ссылках, которые стоят на своих местах)...проверил .htaccess, нет ли в нём IP ботов сапы, их там не оказалось, но мне кажется, что я просто не все IP ботов сапы знаю....если кто знает весь список - выложите пожалуйста.

zeta · 02.04.2009, 17:10

Цитата:

Сообщение от Alex753111

залочили аккаунт на хостинге из за нагрузки
Top Process %CPU 11.0

ребят подскажите как проблему решаете?

просто хостера меняете: я с этим в прошлом году боролась => ищите нормального (под Вашу нагрузку) хостера, имхо, без вариантов..
а блокировки по ip и пр. - все временно, поверьте, лучше сразу хостера поменять..

zhegloff · 02.04.2009, 17:23

Цитата:

Сообщение от Lovedancer

У меня ситуация похожая. После нескольких раз закрытия доступа к моему сайту из-за нагрузки на сервер, я перелопатил лог о нагрузках, и вытащил оттуда около 20 IP адресов, которые сильно нагружали мой сайт. Их пришлось закрыть через .htaccess. А теперь нагрузка вроде бы спала, но появилась проблема с сапой (error на ссылках, которые стоят на своих местах)...проверил .htaccess, нет ли в нём IP ботов сапы, их там не оказалось, но мне кажется, что я просто не все IP ботов сапы знаю....если кто знает весь список - выложите пожалуйста.

Откройте файл links.db в любом текстовом редакторе. Список IP в самом конце.

Сашка Смирнов · 02.04.2009, 17:32

Виртуал на VPS, поможет - проходили уже.

Цитата:

Сообщение от Alex753111

залочили аккаунт на хостинге из за нагрузки
Top Process %CPU 11.0

ребят подскажите как проблему решаете?

Alex753111 · 02.04.2009, 18:59

Цитата:

Сообщение от zeta

просто хостера меняете: я с этим в прошлом году боролась => ищите нормального (под Вашу нагрузку) хостера, имхо, без вариантов..
а блокировки по ip и пр. - все временно, поверьте, лучше сразу хостера поменять..

накидайте вариантов если не трудно, чтоб не сочли за рекламу можно в личку

31.03.2009, 10:56	#41
lelikone Новичок Регистрация: 27.12.2007 Сообщений: 67 Вес репутации: 201	У меня на некоторых сайтах голдхоста такое наблюдается, с утра все ссылки в ерроре, с обеда все в ок, но деньги не зачисляются, типа сутки были в ерроре, хотя все ссылки висят и не убираются. __________________ Качественные площадки: 32239, 32297, 197374

02.04.2009, 02:58	#45
Alex753111 Новичок Регистрация: 20.02.2009 Сообщений: 26 Вес репутации: 0	залочили аккаунт на хостинге из за нагрузки Top Process %CPU 11.0 ребят подскажите как проблему решаете? Последний раз редактировалось Alex753111; 02.04.2009 в 03:07.

Похожие темы
Тема	Автор	Раздел	Ответов	Последнее сообщение
Робот Сапы и Crawl-delay	Sea	Вопросы по работе системы	10	13.02.2012 12:17
Робот сапы не видит установленный код	karizma	Установка кода на различные движки	7	16.07.2009 11:22
Понимает ли робот сапы allow в robots.txt?	Danila	Вопросы по работе системы	6	04.02.2009 17:59
робот сапы не видит ссылки	stremlenie1	Ошибки при работе с системой	2	26.11.2008 13:22
Робот сапы не видит код на .narod.ru	Эмка	Ошибки при работе с системой	2	23.10.2008 11:47

01.04.2009, 06:09	#42
WebDot Новичок Регистрация: 25.03.2009 Сообщений: 11 Вес репутации: 0	Те же проблемы с errorами метод избавления нашёл кто нибудь?

01.04.2009, 17:12	#44
chop6 Новичок Регистрация: 07.10.2008 Сообщений: 7 Вес репутации: 0	у нас опять появились эрроры, после трехдневного статуса "ОК" на всех площадках в т.ч. у клиентов. После проведения некоторого анализа, мы выяснили, что c нашим сервером робот с IP 87.242.74.101 работает еще более-менее адекватно, а 217.107.36.73 время от времени валит апач. Может пора уже какой нибудь crawl-delay вводить?

02.04.2009, 16:59	#46
Lovedancer Новичок Регистрация: 07.10.2008 Сообщений: 9 Вес репутации: 0	У меня ситуация похожая. После нескольких раз закрытия доступа к моему сайту из-за нагрузки на сервер, я перелопатил лог о нагрузках, и вытащил оттуда около 20 IP адресов, которые сильно нагружали мой сайт. Их пришлось закрыть через .htaccess. А теперь нагрузка вроде бы спала, но появилась проблема с сапой (error на ссылках, которые стоят на своих местах)...проверил .htaccess, нет ли в нём IP ботов сапы, их там не оказалось, но мне кажется, что я просто не все IP ботов сапы знаю....если кто знает весь список - выложите пожалуйста.