Робот сапы перегружает сервер провайдера! - Страница 10

alex063 · 09.06.2009, 12:47

Цитата:

Сообщение от www32

Ну почему Вы сканируете ссылки все и сразу?
Несколько тысяч ссылок и сервер в дауне... неужели нельзя сканировать ссылки рандомно с разных серверов? Так чтобы распределить нагрузку в течении суток.

ps У кого наблюдаются подобные проблемы, просьба присоединиться к просьбе. Возможно это поможет стать ботам сапы таким же доброжелательным к нашим сайтам какими являются боты Гугля. Которые сканируют в сотни раз больше страниц и при этом не вырубают сервера.

Меняйте хостинг, или как вариант уменьшайте кол-во ссылок (меньше но дороже).

www32 · 09.06.2009, 12:58

менять хостинг для меня не вариант т.к. у меня не хостинг а выделенный сервер 2xQuad Core Xeon E5420 2.5GHz
И цены на ссылки на моих сайтах выше в 2-3 раза чем в среднем по сервису.

Проблема в том, что у меня не говносайты, а высокопосещаемые СДЛ и боты сапы не единственные их посетители. Гугле сканирует порядка 300-400 тысяч страниц на протяжении суток и никаких проблем. Когда же сканирует сапа пару тысяч страниц за 10 минут начинаются проблемы.

Апокалипсис · 09.06.2009, 13:20

Настраивайте нормально ПО сервера и оптимизируйте скрипты. На дворе 21 век, и все эти нагрузки высосаны из пальца.

guitar117 · 09.06.2009, 20:00

да 21 век! слабенькие боты гугла могущие съесть за раз с десяток гигабайт остались в прошлом, тем пришли настоящие могучие терминаторы сапы! их мощь потрясет ваши жалкие счетверенные и даже свосмеренные ничтожные процы интела! Наконецто вы узнаете что такое настоящая мощь сметающая провайдеров как ураган травинку!

extruder · 10.06.2009, 06:51

Странные люди. Человек им говорит про чрезмерную нагрузку от бота сапы, и приводит в пример не нагружающие сервер боты поисковиков, - а у них один ответ: сам дурак, меняй хостинг, меняй софт, меняй скрипты. Что за чудики.
Меняйте мозги, чудики!

Anatoly · 10.06.2009, 07:30

Если покопаться, можно на форуме найти методы уменьшения излишней нагрузки.

nickolas · 10.06.2009, 09:59

Здравствуйте, неоднократно сталкиваюсь с тем, что во время проверок расположения кода падают от нагрузки сервера. Особенно если у сайта много страниц. Возникает пиковая нагрузка - сервак подвисает, бот зачастую не дожидается ответа страницы и соответственно не засчитывает ссылки.
Даже если сервер справляется - от саппорта приходит уведомление, мол ваш сайт вызывает недопустимую нагрузку и мы его прикрываем. Таких примеров накопилось уже за много десятков.
Конечно, проблему можно решить, потратив уйму времени на кеширование либо на увеличение расходов на хостинг. Но считаю, что если бы сапабот обходил страницы сайта не по порядку, а в перемешку со страницами из других сайтов, то это было бы очень и очень неплохо! На скорость работы сапабота это никак бы не повлияло, зато нагрузка на сервера вебмастеров намного снизилась и они бы были очень благодарны!

alex063 · 10.06.2009, 10:11

Меняйте хостинг или оптимизируйте скрипты.

Ht8kdl · 10.06.2009, 10:14

Цитата:

Сообщение от extruder

Странные люди. Человек им говорит про чрезмерную нагрузку от бота сапы, и приводит в пример не нагружающие сервер боты поисковиков, - а у них один ответ: сам дурак, меняй хостинг, меняй софт, меняй скрипты. Что за чудики.
Меняйте мозги, чудики!

на самом деле если это не панацея значит проблемы на хостинге все таки а не у сапы.

nickolas · 10.06.2009, 11:03

Собственно этим и занимаюсь, советы мне не нужны )) Я просто внес, как мне кажется, разумное предложение. У сапабота нет никаких ограничений, чем быстрее он съест страницы - тем лучше, но когда он парсит на всей своей мощности сайт, предположим с 5к страницами - в любом случае возникает пиковая нагрузка, превышающая условия договора с хостингом. Поисковики же к примеру так не поступают, обходя сайт...

09.06.2009, 13:20	#93
Апокалипсис Эксперт Регистрация: 13.05.2008 Сообщений: 7,497 Вес репутации: 386	Настраивайте нормально ПО сервера и оптимизируйте скрипты. На дворе 21 век, и все эти нагрузки высосаны из пальца. __________________ Ортопедические матрасы

10.06.2009, 09:59	#97
nickolas Новичок Регистрация: 24.09.2007 Сообщений: 50 Вес репутации: 203	Нагрузка на сервер во время проверок ссылок Здравствуйте, неоднократно сталкиваюсь с тем, что во время проверок расположения кода падают от нагрузки сервера. Особенно если у сайта много страниц. Возникает пиковая нагрузка - сервак подвисает, бот зачастую не дожидается ответа страницы и соответственно не засчитывает ссылки. Даже если сервер справляется - от саппорта приходит уведомление, мол ваш сайт вызывает недопустимую нагрузку и мы его прикрываем. Таких примеров накопилось уже за много десятков. Конечно, проблему можно решить, потратив уйму времени на кеширование либо на увеличение расходов на хостинг. Но считаю, что если бы сапабот обходил страницы сайта не по порядку, а в перемешку со страницами из других сайтов, то это было бы очень и очень неплохо! На скорость работы сапабота это никак бы не повлияло, зато нагрузка на сервера вебмастеров намного снизилась и они бы были очень благодарны!

10.06.2009, 10:11	#98
alex063 Эксперт Регистрация: 23.09.2008 Адрес: Самара Сообщений: 4,885 Вес репутации: 381	Меняйте хостинг или оптимизируйте скрипты. __________________ Продвижение и поддержка сайтов. Актуальное портфолио. Отзывы. ICQ: 407354474.

Похожие темы
Тема	Автор	Раздел	Ответов	Последнее сообщение
Робот Сапы и Crawl-delay	Sea	Вопросы по работе системы	10	13.02.2012 12:17
Робот сапы не видит установленный код	karizma	Установка кода на различные движки	7	16.07.2009 11:22
Понимает ли робот сапы allow в robots.txt?	Danila	Вопросы по работе системы	6	04.02.2009 17:59
робот сапы не видит ссылки	stremlenie1	Ошибки при работе с системой	2	26.11.2008 13:22
Робот сапы не видит код на .narod.ru	Эмка	Ошибки при работе с системой	2	23.10.2008 11:47

09.06.2009, 12:58	#92
www32 Новичок Регистрация: 30.01.2008 Сообщений: 68 Вес репутации: 201	менять хостинг для меня не вариант т.к. у меня не хостинг а выделенный сервер 2xQuad Core Xeon E5420 2.5GHz И цены на ссылки на моих сайтах выше в 2-3 раза чем в среднем по сервису. Проблема в том, что у меня не говносайты, а высокопосещаемые СДЛ и боты сапы не единственные их посетители. Гугле сканирует порядка 300-400 тысяч страниц на протяжении суток и никаких проблем. Когда же сканирует сапа пару тысяч страниц за 10 минут начинаются проблемы.

09.06.2009, 20:00	#94
guitar117 Специалист Регистрация: 24.04.2009 Сообщений: 183 Вес репутации: 0	да 21 век! слабенькие боты гугла могущие съесть за раз с десяток гигабайт остались в прошлом, тем пришли настоящие могучие терминаторы сапы! их мощь потрясет ваши жалкие счетверенные и даже свосмеренные ничтожные процы интела! Наконецто вы узнаете что такое настоящая мощь сметающая провайдеров как ураган травинку!

10.06.2009, 06:51	#95
extruder Эксперт Регистрация: 27.03.2009 Сообщений: 1,239 Вес репутации: 235	Странные люди. Человек им говорит про чрезмерную нагрузку от бота сапы, и приводит в пример не нагружающие сервер боты поисковиков, - а у них один ответ: сам дурак, меняй хостинг, меняй софт, меняй скрипты. Что за чудики. Меняйте мозги, чудики!

10.06.2009, 07:30	#96
Anatoly Эксперт Регистрация: 04.06.2007 Сообщений: 1,448 Вес репутации: 267	Если покопаться, можно на форуме найти методы уменьшения излишней нагрузки.

10.06.2009, 11:03	#100
nickolas Новичок Регистрация: 24.09.2007 Сообщений: 50 Вес репутации: 203	Собственно этим и занимаюсь, советы мне не нужны )) Я просто внес, как мне кажется, разумное предложение. У сапабота нет никаких ограничений, чем быстрее он съест страницы - тем лучше, но когда он парсит на всей своей мощности сайт, предположим с 5к страницами - в любом случае возникает пиковая нагрузка, превышающая условия договора с хостингом. Поисковики же к примеру так не поступают, обходя сайт...