Бот сапы досит сервер с интенсивностью 75 запросов в секунду. Можно снизить скорость?

[imcl]

Сообщение от XAHTOB

потдержу.

1. а сколько в сумме на шаредные гс-ы отправляется запросов за одну проверку? если там 75 ссылок продано, то все проверить можно за минуту

2. "ни один", "никогда" - кагбе очень громко звучит.
напоминает анекдот:
"
Покупатель: Скажите, а если упасть с этого велосипеда навзничь, то велик шанс разбить голову насмерть?
Продавец: Вы, знаете, еще никто никогда с жалобами не обращался
"

если на шареде гс каждое утром целиком в ерроре, а к обеду - все норм, то что будет делать владелец?

примерно скажу: не будет обращать на это внимание. виноват ведь дешевый хостер. кроме того, до анализа логов дело уж точно не дойдет.

[zhegloff]

Сообщение от imcl

1. а сколько в сумме на шаредные гс-ы отправляется запросов за одну проверку? если там 75 ссылок продано, то все проверить можно за минуту

Ну вон глянул, 14000 ссылок на одном хостинг-аккаунте, не больше 2 ссылок со страницы, правда сайтов там штук 50. Ни одного разрыва.
Но хостинг не за 20 рублей и не за 100.

[imcl]

1.

Сообщение от zhegloff

правда сайтов там штук 50.

исходя из указанной тс скорости, в среднем, бомбардировка сайта длится меньше минуты, а предполагая, что в сапобазе они идут не подряд, сервер вряд ли будет на это реагировать негативно

2.

Но хостинг не за 20 рублей и не за 100.

а то

[zhegloff]

Сообщение от imcl

исходя из указанной тс скорости, в среднем, бомбардировка сайта длится меньше минуты, а предполагая, что в сапобазе они идут не подряд, сервер вряд ли будет на это реагировать негативно

Ну есть разные сайты. Есть такие, на которых 30 ссылок, есть и на 1500...

Сообщение от imcl

а то

ч.т.д.

[XAHTOB]

Сообщение от imcl

1. а сколько в сумме на шаредные гс-ы отправляется запросов за одну проверку? если там 75 ссылок продано, то все проверить можно за минуту

а если сайт продает овер 1000 ссылок, то, наверное, он зарабатывает себе на хостинг?

[imcl]

Сообщение от XAHTOB

а если сайт продает овер 1000 ссылок, то, наверное, он зарабатывает себе на хостинг?

у меня бы зарабатывал, но за всех поручиться не могу

[Argi]

Сообщение от zeta

как бэ уже

это ж Valerianka, она может все что угодно написать
хотелось бы на самом деле услышать мнение компетентных людей

[zhegloff]

Сообщение от Argi

это ж Valerianka, она может все что угодно написать
хотелось бы на самом деле услышать мнение компетентных людей

ПОгуглите аналогичный ответ Авелона на такой же вопрос.

[karamba]

Согласно логам была 503 ошибка.
"Service Unavailable".
Парсить там нечего, а для системы 503 гвоорит о том, что сервер потенциально не пашет весь - вот бот с ходу все и проверяет. В целом это вполне вменяемый "режим экономии средств оптимизатора". Для ВМ неприятно, но вполне обоснованно

[mixail_petrov]

Сообщение от karamba

Согласно логам была 503 ошибка.
"Service Unavailable".
Парсить там нечего, а для системы 503 гвоорит о том, что сервер потенциально не пашет весь - вот бот с ходу все и проверяет. В целом это вполне вменяемый "режим экономии средств оптимизатора". Для ВМ неприятно, но вполне обоснованно

Код ошибки 503 (Service Temporarily Unavailable) выдается веб сервером nginx в том случае если с этого IP сделано за секунду более 10 запросов к страницам сайта.
Если отдана ошибка 503, то это означает не то что сервер не пашет, а то что сработала защита от быстых ботов и этому IP страницы не отдаются.

И пока бот не снизит скорость до 1 запроса к страницам в секунду он так и будет продолжать получать ошибку 503.

Как это реализовано в nginx можно посмотреть в документации.
http://nginx.org/ru/docs/http/ngx_ht...eq_module.html