Бот сапы досит сервер с интенсивностью 75 запросов в секунду. Можно снизить скорость?

[imcl]

Сообщение от Последний Герой

у ТСа по времени в логе не утро

я про себя

[seocore]

Сообщение от mixail_petrov

В nginx нет возможности одним IP дать ограничения на количество запросов в секунду.

есть масса возможностей в nginx, можно даже такие решения предложить - как отдельный проброс 80 порта на спец. версию nginx для "премиум" ботов (Яндекс, Гугл, САПА и т.п.)

Сообщение от mixail_petrov

Когда злоумышленники используя 100-200 каждый раз разных ботов начинают ддоссить сайт, отправляя с одного бота по 5-10 запросов в секунду.

отлавливать нужно такие айпи и в БАН их, зачем же всем зарезывать число поднлючений, да и скорее всего это не ддос, это баловство школьников желающих "сграбить" вашу доску объявлений, просто у них фантазии мало, и скриптики топорные, вот и получается "хотели как лучше" ...

[zeta]

Сообщение от seocore

скорее всего это не ддос, это баловство школьников ...

однозначно

[mixail_petrov]

Сообщение от Valerianka

mixail_petrov, такой возможности нет.

В чем причина, того что скорость бота не может быть снижена?

[zeta]

Сообщение от mixail_petrov

В чем причина, того что скорость бота не может быть снижена?

ответ

[karamba]

Сообщение от mixail_petrov

В чем причина, того что скорость бота не может быть снижена?

Сапа должна иметь наиболее свежую информацию о работающих/неработающих страницах, ибо этого требуют взаимоотношения с деньгодателями-оптимизаторами. Соответственно, надо проверять как можно чаще. Страниц/ссылок в системе много. Поэтому wait(1sec) в бота никто ставить не станет - чем быстрее бот обрабатывает очередь, тем лучше для Сапы.

Можно было бы конечно очередь обработки у бота "разбавлять" - но точнее скажут только сапопрограммисты...

А вам таки лучше ковырять доки к nginx - решите проблему гораздо быстрее.

[zeta]

Сообщение от karamba

Можно было бы конечно очередь обработки у бота "разбавлять" - но точнее скажут только сапопрограммисты...

вообще сцука этот сапа-бот..щас по юзеру его порежу, а там посмотрим

[derbauer]

Сообщение от Gig111

пустой спор. принимайте как есть.
У сапы миллионы страниц и медленней робот просто не может работать.

У гугла с яндексом страниц еще больше, и справляются как-то.
Имхо, программистам сапы нужно реализовать нелинейный обход списка страниц. Чтобы в одну секунду проверялись не 75 страниц с одного сайта, а по одной странице с 75 сайтов, общая скорость проверки при этом не снизится.
Есть такая возможность? хз, разработчикам виднее.

[Клон]

Сообщение от derbauer

Есть такая возможность?

http://forum.sape.ru/showpost.php?p=1292063&postcount=2