Проверка ссылок и падение сервера
 

Здравствуйте! Уже несколько дней наблюдаю у себя проблему, которую не знаю как можно решить. При достижении некой критической массы (несколько тыс.) ссылок на одном проекте во время проверки ссылок, как я понимаю, ВДС либо падает либо сильно начинает тормозить, т.к. каждый вечер у меня появляется больше тысячи ерроров. Естественно, ссылки на сайте отображаются. Но сапа их не находит,т.к. видимо ищет сразу всё почти одновременно, тем самым создаёт дикую нагрузку на ВДС - он падает и ссылки страницы в момент проверки становятся недоступны. Через несколько минут он встаёт и снова всё работает.

Честно говоря, мне эта ситуация не кажется правильной. Конечно, можно сказать, что это проблема моего ВДС, но могу сказать, что он весьма не слабый. Кроме Сапы ничто не может вызвать такую нагрузку на него. Обидно то, что ссылки все нормально отображаются, но, тем не менее, они фиксируются как ерроры, что не является справедливым.

Кто-нибудь сталкивался с подобными траблами?
Можно ли как-нибудьпроверять ссылки не почти одновременно, а разносить это на несколько часов?

zabstudio, скрипты может стоит оптимизировать?

p.s. А в других биржах нет случайно сайтов?

Дело в том, что раньше мои сайты вообще лежали на реселенге - и ситуация была вполне схожа. Точно также после достижения критической массы ссылок пришлось перенести его на ВДС сначала на минимальный тариф, затем на максимальный при достижении следующей критической массы и теперь уже надо задуматься о серваке видимо. Что касается скриптов - у меня есть страницы, которые действительно вызывают ощутимую нагрузку на сервер (их не много и они пиаристые - снимать их не очень хочется), но дело в том, что они нормально отрабатывают, если они не грузятся одновременно в сотнях экземплярах. В еррорах я смотрю время обращения к страницам колеблется в диапазоне в несколько минут - т.е. в пределах 2-3 минуты Сапа просканировала несколько сотен страниц - естественно - это может вызвать падение.
В других биржах сайтов нет.

У меня вчера возникла ткаяже проблема. Пришло письмо от хостера (Джино), что заблокированы некоторые айпишники из-за большой нагрузки на камень. После этого утреннего письма , уже к обеду , начали падать ссылки и обрастать эррорами почти все проекты и все ссылки на них! Вобщем я ншёл хитрый хитачс файлик и переписал блокируемые айпишники на другие. Только вот боюсь , что ситуация может на днях опять повториться. Использую движок DLE в основном на всех проектах и кеширование включено. Среди заблокированых айпишников самый частый вход на сайт был с вот этого 93.191.15.81 , тоесть с айпишника самой сапы.

проверки идут несколько раз в день

у вас что - 3 раза в день сервер ложится?

если нет - то смотрите забаненные айпи

ну и скрипты надо оптимизировать

phpmysql, у меня на ДЛЕ более 25 проектов, есть довольно посещаемые (~8000 уников в день) Всего продано ~7000 ссылок и падений не наблюдаю. Хосчусь на обычном шареде, ни VPS, ни DS не использую. Чё-то у вас не так.

у меня так же обычный хост на инфобоксе, около 70 сайтов все в сапе, нагрузка нормальная:)

Мож тогда просто у Джино камень хреновый на серваке? Пень эдак 144 :) А у кого какой хостер? Скиньте пожалуйста в личку, мож мне просто переехать стоит с него. А сервак не падает при проверке. Просто нагрузка сильная создаётся :(

На каких cms сайты работают?