09.06.2009, 12:47 | #91 | |
Эксперт
|
Цитата:
__________________
|
|
09.06.2009, 12:58 | #92 |
Новичок
Регистрация: 30.01.2008
Сообщений: 68
Вес репутации: 201
|
менять хостинг для меня не вариант т.к. у меня не хостинг а выделенный сервер 2xQuad Core Xeon E5420 2.5GHz
И цены на ссылки на моих сайтах выше в 2-3 раза чем в среднем по сервису. Проблема в том, что у меня не говносайты, а высокопосещаемые СДЛ и боты сапы не единственные их посетители. Гугле сканирует порядка 300-400 тысяч страниц на протяжении суток и никаких проблем. Когда же сканирует сапа пару тысяч страниц за 10 минут начинаются проблемы. |
09.06.2009, 13:20 | #93 |
Эксперт
Регистрация: 13.05.2008
Сообщений: 7,497
Вес репутации: 386
|
Настраивайте нормально ПО сервера и оптимизируйте скрипты. На дворе 21 век, и все эти нагрузки высосаны из пальца.
__________________
|
09.06.2009, 20:00 | #94 |
Специалист
Регистрация: 24.04.2009
Сообщений: 183
Вес репутации: 0
|
да 21 век! слабенькие боты гугла могущие съесть за раз с десяток гигабайт остались в прошлом, тем пришли настоящие могучие терминаторы сапы! их мощь потрясет ваши жалкие счетверенные и даже свосмеренные ничтожные процы интела! Наконецто вы узнаете что такое настоящая мощь сметающая провайдеров как ураган травинку!
|
10.06.2009, 06:51 | #95 |
Эксперт
Регистрация: 27.03.2009
Сообщений: 1,239
Вес репутации: 235
|
Странные люди. Человек им говорит про чрезмерную нагрузку от бота сапы, и приводит в пример не нагружающие сервер боты поисковиков, - а у них один ответ: сам дурак, меняй хостинг, меняй софт, меняй скрипты. Что за чудики.
Меняйте мозги, чудики! |
10.06.2009, 09:59 | #97 |
Новичок
Регистрация: 24.09.2007
Сообщений: 50
Вес репутации: 204
|
Нагрузка на сервер во время проверок ссылок
Здравствуйте, неоднократно сталкиваюсь с тем, что во время проверок расположения кода падают от нагрузки сервера. Особенно если у сайта много страниц. Возникает пиковая нагрузка - сервак подвисает, бот зачастую не дожидается ответа страницы и соответственно не засчитывает ссылки.
Даже если сервер справляется - от саппорта приходит уведомление, мол ваш сайт вызывает недопустимую нагрузку и мы его прикрываем. Таких примеров накопилось уже за много десятков. Конечно, проблему можно решить, потратив уйму времени на кеширование либо на увеличение расходов на хостинг. Но считаю, что если бы сапабот обходил страницы сайта не по порядку, а в перемешку со страницами из других сайтов, то это было бы очень и очень неплохо! На скорость работы сапабота это никак бы не повлияло, зато нагрузка на сервера вебмастеров намного снизилась и они бы были очень благодарны! |
10.06.2009, 10:14 | #99 |
Специалист
Регистрация: 27.10.2008
Сообщений: 328
Вес репутации: 0
|
на самом деле если это не панацея значит проблемы на хостинге все таки а не у сапы.
|
10.06.2009, 11:03 | #100 |
Новичок
Регистрация: 24.09.2007
Сообщений: 50
Вес репутации: 204
|
Собственно этим и занимаюсь, советы мне не нужны )) Я просто внес, как мне кажется, разумное предложение. У сапабота нет никаких ограничений, чем быстрее он съест страницы - тем лучше, но когда он парсит на всей своей мощности сайт, предположим с 5к страницами - в любом случае возникает пиковая нагрузка, превышающая условия договора с хостингом. Поисковики же к примеру так не поступают, обходя сайт...
|
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Робот Сапы и Crawl-delay | Sea | Вопросы по работе системы | 10 | 13.02.2012 12:17 |
Робот сапы не видит установленный код | karizma | Установка кода на различные движки | 7 | 16.07.2009 11:22 |
Понимает ли робот сапы allow в robots.txt? | Danila | Вопросы по работе системы | 6 | 04.02.2009 17:59 |
робот сапы не видит ссылки | stremlenie1 | Ошибки при работе с системой | 2 | 26.11.2008 13:22 |
Робот сапы не видит код на .narod.ru | Эмка | Ошибки при работе с системой | 2 | 23.10.2008 11:47 |
Часовой пояс GMT +3, время: 09:03.