Бот сапы досит сервер с интенсивностью 75 запросов в секунду. Можно снизить скорость?

[karamba]

Сообщение от mixail_petrov

Код ошибки 503 (Service Temporarily Unavailable) выдается веб сервером nginx в том случае если с этого IP сделано за секунду более 10 запросов к страницам сайта.
Если отдана ошибка 503, то это означает не то что сервер не пашет, а то что сработала защита от быстых ботов и этому IP страницы не отдаются.

И пока бот не снизит скорость до 1 запроса к страницам в секунду он так и будет продолжать получать ошибку 503.

Как это реализовано в nginx можно посмотреть в документации.
http://nginx.org/ru/docs/http/ngx_ht...eq_module.html

И? Как настроили нгинкс - так и работайте.

[Последний Герой]

Сообщение от mixail_petrov

GET /ob90687/

Странные урлы для страниц сайта. Контент случаем не автогенерированный?

Сообщение от mixail_petrov

В секунду в среднем делается 75 запросов.

Из лога не ясно это все запросы к одному сайту на сервере или к разным?

Добавлено через 9 минут

Сообщение от imcl

утренний бот зачем-то тратит море времени на обнаружение "ошибок", которые на фигзнаетсколько процентов объясняются отплупом сервера, а вечерний тратит это же время повторно, чтобы убедиться, что утренний бот погорячился

у ТСа по времени в логе не утро

[mixail_petrov]

Сообщение от karamba

И? Как настроили нгинкс - так и работайте.

Сайт сделан для людей. Сайт доска объявлений.
Люди не кликают по страницам со скоростью более 1 клика в секунду
К тому же NGINX разрешает кратковременные всплески активности до 10 запросов в секунду с одного IP.
Поэтому пользователи, если специально не будут держать кнопку F5. ни когда не смогут получить ошибку 503.
Причина установки этого ограничения – частые ддос атаки на сайт. Когда злоумышленники используя 100-200 каждый раз разных ботов начинают ддоссить сайт, отправляя с одного бота по 5-10 запросов в секунду. А тут еше к ним sape.ru присоединяется со своими 75 запросами в секунду.

Добавлено через 1 минуту

Сообщение от Последний Герой

Странные урлы для страниц сайта. Контент случаем не автогенерированный?
Из лога не ясно это все запросы к одному сайту на сервере или к разным?

Это сайт для людей. Доска объявлений. Все запросы бота к одному домену.

[Последний Герой]

Сообщение от mixail_petrov

Сайт сделан для людей. Сайт доска объявлений.
Люди не кликают по страницам со скоростью более 1 клика в секунду

На сайте нет картинок? Он точно для людей?

[mixail_petrov]

Сообщение от Последний Герой

На сайте нет картинок? Он точно для людей?

Картинки на страницах конечно же есть. Но запросы к картинкам и прочим статическим файлам пишутся в отдельный лог файл. И на запросы к картинкам в NGINX не установлено ограничений на количество кликов.
Ограничения (выдается ошибка 503) установлены лишь на клики к страницам сайта, которые NGINX проксирует на Apache. То есть на динамически генерируемые страницы PHP.

[karamba]

я бы предложил вам разрешить боту делать на сайте то, для чего он предназначен (т.е. снять ограничения антидоса для запросов с адресов САПЕ)

Нгинкс хорошо, но именно нгинкс и позволяет боту делать 75 запросов в секунду

[Последний Герой]

Сообщение от mixail_petrov

Ограничения (выдается ошибка 503) установлены лишь на клики к страницам сайта, которые NGINX проксирует на Apache. То есть на динамически генерируемые страницы PHP.

Если у вас проблемы с нагрузкой, то зачем одновременно и nginx, и apache? Одного nginx не хватает?

Сообщение от mixail_petrov

У меня выделенный сервер.

Все от железа зависит. Лежащий сайт на дедике может летать на шареде...

Адрес сайта бы хоть показали, а то разговор ни о чем. Случаем не btorg.ru? Я бы не назвал его для людей.

[Gig111]

пустой спор. принимайте как есть.
У сапы миллионы страниц и медленней робот просто не может работать.

[mixail_petrov]

В nginx нет возможности одним IP дать ограничения на количество запросов в секунду. А другим не давать.
Nginx и Араche – это широко распространенное решение.
Nginx принимает все запросы на 80-м порту. Статические файлы отдает сам, а динамические (PHP) проксирует на Apache.

Хотелось бы услышать ответ разработчиков бота.
Могут ли они снизить скорость работы бота?
До какой величины?
Желательно не более 1 запроса в секунду.

[zhegloff]

Сообщение от mixail_petrov

Хотелось бы услышать ответ разработчиков бота.
Могут ли они снизить скорость работы бота?
До какой величины?
Желательно не более 1 запроса в секунду.

http://forum.sape.ru/showpost.php?p=1292063&postcount=2