firstvd блокирует серверы

[Andrey321]

Здравствуйте, *********!

Информируем вас о том, что один из ваших VDS заблокирован. На сервер с IP *.*.*.* идет огромное количество трафика, это нарушает работу сети и создает проблему для других наших клиентов. В течение последних 10 минут на ваш сервер зафиксировано 566 подключений. Средний размер пакета 62 байт.
Атака идет на web сервер.

Основные источники трафика:
109.207.13.128 18112 байт в секунду с размером пакета 67 байт.
crawl-66-249-76-40.googlebot.com. : 66.249.76.40 10245 байт в секунду с размером пакета 42 байт.
msnbot-157-55-33-251.search.msn.com. : 157.55.33.251 8437 байт в секунду с размером пакета 46 байт.
img-spider-178-154-243-87.yandex.com. : 178.154.243.87 6814 байт в секунду с размером пакета 103 байт.
208.115.113.90 4778 байт в секунду с размером пакета 64 байт.
crawl-66-249-78-110.googlebot.com. : 66.249.78.110 4192 байт в секунду с размером пакета 40 байт.
msnbot-199-30-20-15.search.msn.com. : 199.30.20.15 4164 байт в секунду с размером пакета 107 байт.
msnbot-199-30-16-31.search.msn.com. : 199.30.16.31 3071 байт в секунду с размером пакета 104 байт.
baiduspider-180-76-5-179.crawl.baidu.com. : 180.76.5.179 3049 байт в секунду с размером пакета 51 байт.
crawl-66-249-78-58.googlebot.com. : 66.249.78.58 2666 байт в секунду с размером пакета 58 байт.


Такое количество трафика может возникнуть по 2 причинам: аномальный всплеск посещаемости или DDoS атака на ваш сервер. Если это всплеск посещаемости, то в дальнейшем ресурсов VDS для вашего проекта будет недостаточно и вам стоит задуматься об аренде выделенного сервера.
Если это DDoS атака, то для обеспечения бесперебойной работы сайта вам необходимо использовать профессиональную защиту от DDoS. Мы готовы предоставить вам подобную услугу либо вы можете воспользоваться помощью сторонних компаний.
Сейчас ваш IP адрес зафильтрован на 4 часа. После фильтр будет снят автоматически, но, если за это время нагрузка не прекратится, сервер вновь будет заблокирован.

За последние 6 дней, получил 6 таких писем, блокируют каждый день. На сервере около 60 сайтов, живут там 2 года. Когда получил первое письмо подумал что их защита дала сбой, напишу в поддержку и сразу исправят. Но не тут то было! Поддержка считает что 566 подключений за 10 мин это ДДОС (Меньше одного подключения в секунду, а с учетом количества сайтов, одно подключение за минуту на сайт). На список "атакующих" серверов не смотрят, а там в основном индексаторы гугл-якндекс-мсн-байду. Думаю перебраться сегодня завтра на более адекватный хостинг

[zeta]

RewriteCond %{HTTP_USER_AGENT} (Googlebot|Slurp|spider|Twiceler|heritrix|
Combine|appie|boitho|e-SocietyRobot|Exabot|Nutch|OmniExplorer|
MJ12bot|ZyBorg/1|Ask\ Jeeves|AskJeeves|ActiveTouristBot|
JemmaTheTourist| agadine3|BecomeBot|Clustered-Search-Bot|
MSIECrawler|freefind|galaxy|genieknows|INGRID|grub-client|
MojeekBot|NaverBot|NetNose-Crawler|OnetSzukaj|PrassoSunner|
Asterias\ Crawler|T-H-U-N-D-E-R-S-T-O-N-E|GeorgeTheTouristBot|
VoilaBot|Vagabondo|fantomBro wser|stealthBrowser|cloakBrowser|
fantomCrew\ Browser|Girafabot|Indy\ Library|Intelliseek|Zealbot|
Windows\ 95|^Mozilla/4\.05\ \[en\]$|^Mozilla/4\.0$) [NC]
RewriteRule ^(.*)$ - [F]
#
RewriteCond %{HTTP_USER_AGENT} ^MozillA.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^OperA.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Firefox.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Netscape.* [NC]
RewriteRule ^(.*)$ - [L]
RewriteRule ^(.*)$ - [F]

вам в помощь

[Andrey321]

Запретить индексацию? Нет, спасибо

[zeta]

Сообщение от Andrey321

Запретить индексацию? Нет, спасибо

на время..

вы последнее время что-то конкретно меняли?

[Andrey321]

Сообщение от zeta

на время..

вы последнее время что-то конкретно меняли?

Ничего не менял, сделал когда-то, разместил и забыл. Висят в основном в сапе. Никогда никаких проблем небыло. Не знаю что стало причиной первого блокирование, возможно стечение обстоятельств когда одновременно зашли несколько индексаторов на разные сайты и создали нагрузку. Хостер заблокировал, но индексаторы не отстанут они теперь каждый раз возвращаются за своим. Запрещать думаю неправильно, вылетит все с индекса, потом неизвестно когда вернется

[zhegloff]

Сообщение от Andrey321

За последние 6 дней, получил 6 таких писем, блокируют каждый день. На сервере около 60 сайтов, живут там 2 года. Когда получил первое письмо подумал что их защита дала сбой, напишу в поддержку и сразу исправят. Но не тут то было! Поддержка считает что 566 подключений за 10 мин это ДДОС (Меньше одного подключения в секунду, а с учетом количества сайтов, одно подключение за минуту на сайт). На список "атакующих" серверов не смотрят, а там в основном индексаторы гугл-якндекс-мсн-байду. Думаю перебраться сегодня завтра на более адекватный хостинг

Я бы срулил уже после второго письма.

[zeta]

ну по приведенному логу смотрю вас в основом гугль парсит - для начала оставьте тока основной бот гугля, а все остальное прикройте..

[Andrey321]

Сообщение от zhegloff

Я бы срулил уже после второго письма.

Проблема что сайтов очень много, но другого выхода похоже нет

[zeta]

Сообщение от zhegloff

Я бы срулил уже после второго письма.

тож об етом писала - на серче даже бан выдали: "почему вы не любите firstvd"..

[zhegloff]

Сообщение от Andrey321

Проблема что сайтов очень много, но другого выхода похоже нет

60 штук - не так уж и много. На день работы.