Бот сапы досит сервер с интенсивностью 75 запросов в секунду. Можно снизить скорость?

[mixail_petrov]

Кусок лога access.log

188.72.80.217 - - [16/Nov/2012:18:49:04 +0300] "GET /ob90687/ HTTP/1.1" 503 615 "-" "Mozilla/5.0 (compatible; MSIE 9.0; Windo
ws NT 7.1; Trident/5.0)"
188.72.80.217 - - [16/Nov/2012:18:49:04 +0300] "GET /ob94037/ HTTP/1.1" 503 615 "-" "Mozilla/5.0 (compatible; MSIE 9.0; Windo
ws NT 7.1; Trident/5.0)"
188.72.80.217 - - [16/Nov/2012:18:49:04 +0300] "GET /ob132193/ HTTP/1.1" 503 615 "-" "Mozilla/5.0 (compatible; MSIE 9.0; Wind
ows NT 7.1; Trident/5.0)"
188.72.80.217 - - [16/Nov/2012:18:49:04 +0300] "GET /ob122257/ HTTP/1.1" 503 615 "-" "Mozilla/5.0 (compatible; MSIE 9.0; Wind
ows NT 7.1; Trident/5.0)"
188.72.80.217 - - [16/Nov/2012:18:49:04 +0300] "GET /ob107842/ HTTP/1.1" 503 615 "-" "Mozilla/5.0 (compatible; MSIE 9.0; Wind
ows NT 7.1; Trident/5.0)"
188.72.80.217 - - [16/Nov/2012:18:49:04 +0300] "GET /ob93653/ HTTP/1.1" 503 615 "-" "Mozilla/5.0 (compatible; MSIE 9.0; Windo
ws NT 7.1; Trident/5.0)"
188.72.80.217 - - [16/Nov/2012:18:49:04 +0300] "GET /ob110346/ HTTP/1.1" 503 615 "-" "Mozilla/5.0 (compatible; MSIE 9.0; Wind
ows NT 7.1; Trident/5.0)"
188.72.80.217 - - [16/Nov/2012:18:49:04 +0300] "GET /ob135490/ HTTP/1.1" 503 615 "-" "Mozilla/5.0 (compatible; MSIE 9.0; Wind
ows NT 7.1; Trident/5.0)"
188.72.80.217 - - [16/Nov/2012:18:49:04 +0300] "GET /ob130095/ HTTP/1.1" 503 615 "-" "Mozilla/5.0 (compatible; MSIE 9.0; Wind
ows NT 7.1; Trident/5.0)"
188.72.80.217 - - [16/Nov/2012:18:49:04 +0300] "GET /ob108414/ HTTP/1.1" 503 615 "-" "Mozilla/5.0 (compatible; MSIE 9.0; Wind
ows NT 7.1; Trident/5.0)"

Все запросы с одного IP 188.72.80.217
За минуту было сделано 4497 запросов.
В секунду в среднем делается 75 запросов.

Из за такой большой скорости сервер не справляется с нагрузкой.
Система защиты сервера сообщает администратору о ДДОС атаке и автоматически блокируют атакующий IP.
Можно снизить скорость бота проверяющего сайт?
Все равно ведь на такой скорости бот не получит ответа от сервера и проверка будет не удачной.
Хотя бы до 1-го запроса в секунду.

[Valerianka]

mixail_petrov, такой возможности нет.

[mixail_petrov]

Я сам программист. Считаю, что если разработчики захотят, то снизить скорость проверки сайта можно.
Ведь так как проверка реализована сейчас это не приемлемо.
Зачем проверять 5000 страниц за одну минуту?
Все равно сервер не сможет сгенерировать страницы на такой скорости и проверка будет не удачной.

Что мешает растянуть проверку одного сайта, например, на сутки?
Тогда все страницы боту будут отданы без ошибок.

Лучше сделать несколько паралельных потоков проверки разных сайтов, что бы поток запросов к одному сайту был менее интенсивный.

[Добрый]

Сообщение от mixail_petrov

Все равно сервер не сможет сгенерировать страницы на такой скорости и проверка будет не удачной.

Кстати, это скорее всего и есть причина постоянно появляющихся ни чем не обоснованных статусов "error".

[zhegloff]

Сообщение от mixail_petrov

Я сам программист. Считаю, что если разработчики захотят, то снизить скорость проверки сайта можно.
Ведь так как проверка реализована сейчас это не приемлемо.
Зачем проверять 5000 страниц за одну минуту?
Все равно сервер не сможет сгенерировать страницы на такой скорости и проверка будет не удачной.

Что мешает растянуть проверку одного сайта, например, на сутки?
Тогда все страницы боту будут отданы без ошибок.

Лучше сделать несколько паралельных потоков проверки разных сайтов, что бы поток запросов к одному сайту был менее интенсивный.

Вы действительно думаете, что в сапе все тупые и не догадались за 5 лет до очевидных вещей?

[Добрый]

Сообщение от zhegloff

Вы действительно думаете, что в сапе все тупые и не догадались за 5 лет до очевидных вещей?

Ну почему сразу "тупые"? Я выбрал бы по-мягче формулировки: "был слишком занижен приоритет задачи" или "значительность проблемы была недооценена". Так а таки почему так оно в самом деле?

[mixail_petrov]

Сообщение от zhegloff

Вы действительно думаете, что в сапе все тупые и не догадались за 5 лет до очевидных вещей?

С тем что тупые не соглашусь. Тупые не смогли бы вообще бота написать.
Скорее заняты другими вопросами и ленятся залезать в работающий код.

А вот с тем что сделать работу бота медленней – очевидная вещь, я с вами полностью согласен.

[Апокалипсис]

На sape с 2008 года, ниразу не было подобных проблем. Увеличивайте мощности вашего хостинга, или меняйте его.

[Добрый]

Сообщение от Апокалипсис

На sape с 2008 года, ниразу не было подобных проблем. Увеличивайте мощности вашего хостинга, или меняйте его.

У меня VPS на First Colo. Дедик под Сапу брать?

[llooll]

ТС, меняй хостинг.