Как ограничить нагрузку на сайт?

[boric]

Глянул в top, пишет нагрузку что-то типа: 23, 22, 21.
Сайт притормаживает.
Посмотрел логи: пара чел (т.е. с пары IP) скачивают все страницы моего сайта в несколько потоков.

В принципе я догадываюсь, в чем дело: кто-то написал и выложил в инете API к моему сервису. Там и так около сотни посетителей одновременно всегда висит (около 1000 посетителей в час приходит), а тут еще тысячи страниц в несколько потоков без задержек скачиваются.

Банить за это дело я не хочу (пусть качают), но вот когда сразу в несколько потоков качают, надо как-то ограничить. Как яндекс капчу "вы робот" делать тоже не хочу делать. Как быть?

Пока думаю над такими вариантами:

1) Вставлять небольшую задержку для качальщиков. Но как без записи в БД из потока определить, что в несколько потоков и непрерывно открываются страницы?

2) Включить в движке кеширование. Без кеширования движок (он на джанго) по производительности раза в два быстрее Джумлы 1.5 (с парой модулей), делается 10-15 запросов к БД на страницу. Если включить кеширование, то будет 2-3 коротких запросов к БД + запросы модулей, в которых будет отключено кеширование (в движке можно это гибко настраивать). Но этот вариант я в любом случае задействую, однако боюсь его не хватит.

3) Включить обратный кеширующий прокси в апаче, но такое кеширование крайне неудобно.

4) Предоставить свое собственное API. Но его еще надо продумать и разработать. Также архив всех страниц для скачки может быть предоставить?

5) Фронтэндом поставитьь ngix. Но это врядли поможет, ибо узкое горлышко в скриптах и БД.

В общем основной вопрос - как из скрипта определить, что с данного IP идет большая активность?

Сервер у меня выделенный Феном 2-х ядерный 3 ГГц, 4 Гига оперативки. А посещаемость все растет и растет, а я еще один проект запустил... В общем надо уже меры принимать к качальщикам всех страниц скопом, т.к. без них нагрузка <1.

[poiuty]

Можно так:

Если непрерывно открываются страницы

http://sysoev.ru/nginx/docs/http/ngx...tml#limit_conn
limit_conn.
Если много коннектов с 1 ИП или ему вывести предупреждение - мол друг подожди чуть чуть

В общем основной вопрос - как из скрипта определить, что с данного IP идет большая активность?

Кстати если включаете limit_conn - в эрор лог nginx будет идти запись с ip`ом.Оттуда можете выдирать их(из лога) и делать с ними, что душе угодно.

Добавлено через 7 минут
Так же желательно всю статику отдавать nginx`ом - так быстрее и жрет ресурсов меньше.

[BIOHAZARD]

к индейцу тоже какой-то модуль был, ограничивающий скорость скачки с одного ip

[poiuty]

Фронтэндом поставитьь ngix.

Если ТС будет ставить nginx, то лучше им "рубить" все.

[boric]

poiuty, Спасибо за ссылку, но мне не надо обрубать качальщиков, мне хочется просто притормозить их активность. Указанный там механизм я хочу реализовать в самом скрипте.

Пока такие идеи:

В оперативной памяти будет таблица mysql, в которой будут фиксироваться ip и временная метка посетителей (например: ip, time).

Далее в начале главного скрипта проверять наличие этой талицы (если ее нет, то создать), записать туда (ip, time), сделать выборку по этому ip за последние например 1000 милисекунд, проанализировать, удалить из таблицы все записи старее 1000 мс, выставить задержку (зависящую от активности, например 1 сек) и продолжить выполнение скрипта.

Что думаете? Вроде быстро должно все отрабатываться и посетитель не будет блокироваться (как в яндексе - "ты робот"), а будет лишь притормаживаться.

[poiuty]

Сообщение от boric

poiuty, Спасибо за ссылку, но мне не надо обрубать качальщиков, мне хочется просто притормозить их активность. Указанный там механизм я хочу реализовать в самом скрипте.



Далее в начале главного скрипта проверять наличие этой талицы (если ее нет, то создать), записать туда (ip, time), сделать выборку по этому ip за последние например 1000 милисекунд, проанализировать, удалить из таблицы все записи старее 1000 мс, выставить задержку (зависящую от активности, например 1 сек) и продолжить выполнение скрипта.

Ну так:

Директива задаёт максимальное число одновременных соединений для одной сессии. При превышении этого числа запрос завершается кодом "Service unavailable" (503).

Сделайте error_page 503 /путь/503.html;
И далее на 503.html сделайте таймер -> прошел таймер -> перекинули пользователя снова на сайт.

Добавлено через 3 минуты
В противном случае вы получите тучу селектов и инсертов.Так как каждый ип будет фиксироваться.
Т.е. человек зашел на сайт - проверяем ип.Обновил страницу - проверяем ип.
100 человек за секунду обновили ваш сайт ~ 100 запросов в базу.Айс.

[boric]

poiuty,

В противном случае вы получите тучу селектов и инсертов.Так как каждый ип будет фиксироваться.
Т.е. человек зашел на сайт - проверяем ип.Обновил страницу - проверяем ип.
100 человек за секунду обновили ваш сайт ~ 100 запросов в базу.Айс.

Но таблица будет во-первых короткой (т.к. данные старее нескольких секунд будут удаляться), а во-вторых эта таблица будет находиться в оперативной памяти, т.е. должна работать очень быстро, ведь записи на диск не будет.

[Alexey]

boric, курить в сторону nginx, limit и limit_req.

[poiuty]

Сообщение от boric

poiuty,

Но таблица будет во-первых короткой (т.к. данные старее нескольких секунд будут удаляться), а во-вторых эта таблица будет находиться в оперативной памяти, т.е. должна работать очень быстро, ведь записи на диск не будет.

Делайте, как вам удобнее.

[boric]

Alexey,

курить в сторону nginx, limit и limit_req.

Но там, как я понимаю, просто 503-я ошибка выдаваться будет по превышению лимита, а мне надо лишь ограничить частоту обращения к страницам. Ставить таймер в 503.html странице мне кажется усложненным вариантом по сравнению с задержкой прямо в скрипте. Правда скрипт во время задержки будет память отъедать, но таких активистов мало - ничего страшного в плане памяти не произойдет, а вот процессорные ресурсы можно сильно разбавить. Также я хочу более гибко управлять - возможно притормаживать даже в одном потоке обращения. Также не думаю, что работа с таблицей в оперативной памяти сильно будет медленней, чем работа ngix с файлами сессий.