Боты сапы и флуд защита на хостинге

[seocore]

сам являюсь клиентом provisov.net, обратился к ним, они дали вот такой ответ, также попросили выложить его в этой теме:

Приветствую Вас.
Я понимаю что здесь в большей массе оптимизаторы и веб-мастеры, поэтому скорее всего никто и не может понять что боты могут создавать нагрузку на сервере.

Совсем недавно, поисковая система Яндекс уже продумала алгоритм который позволил бы менее создавать нагрузку на клиентском сервере. Они теперь дают всем желающим настраивать таймаут для бота – что бы он обходил Ваши страницы постепенно а не сразу кучей.

По SAPE следующая ситуация – не секрет что сапу использует огромное количество пользователей, 80% наших клиентов не исключение. Проблема с нагрузкой и блокировкой Sape-ботов происходит не из за одного аккаунта, а когда сапа одновременно на одном сервере начинает обходить по 30-50 аккаунтов. Представьте сколько обращений с IP идет к одному серверу? Файрволл считает это атакой и блокирует IP. У нас есть список IP сапы и мы постоянно следим за тем что бы все айпи были разблокированы.

[big.bon]

Описанная проблема с фаерволом не единственная. Подобные результаты случаются и на выделенном сервере с 30 сайтами в сапе. Ужас. Сапе нужно настроить количество обращений в минуту на 1 сервер, а не сайт.

[IPU]

в последние дни вроде бы все сайты на этом хосте работаю без ошибок...

[conturov]

Та же ситуация.
Бот сапы иногда (редко) просто безумно грузит сервер.
У меня свои сервера и сайт в 3000 страниц у сапы иногда создает нагрузка хорошую.
Весь день сегодня один сайт в эрроре, постоянно убиваю links.db т.к. создается стандартным 240 байт и ссылки не показывает.
Даже не знаю к чему это.

т.к. на этом сервере другие сайты все в ОК.
А этот самый крупный и в стате теряю 10 у.е. в день ( жалко )

[Ufaweb]

Сообщение от seocore

когда сапа одновременно на одном сервере начинает обходить по 30-50 аккаунтов

Логично, надо сделать график обхода площадок с разбросом серверов.

Добавлено через 4 минуты

Сообщение от conturov

У меня свои сервера и сайт в 3000 страниц у сапы иногда создает нагрузка хорошую.

Выставляйте таймаут для сапобота персонально.

Сообщение от conturov

Весь день сегодня один сайт в эрроре, постоянно убиваю links.db т.к. создается стандартным 240 байт и ссылки не показывает.
Даже не знаю к чему это.

К чему угодно - от неверно выставленных прав на папку сапы до недоступности диспенсера. Сделайте вызов кода сапы через $sape = new SAPE_client(array('verbose'=>true));