Как ограничить жадность сапе-бота?

[Cyj]

Подскажите как ограничить жадность сапе-бота?...

Сайт находится на мастерхосте, на виртуальной площадке. Приходит бот начинает грабить страницы, за одну минуту бывает делает по 50-100 запросов.
От такой "наглости" площадка вылетает в 503 ошибку с сообщением в еррор_лог:
[Sat Apr 4 13:28:51 2009] [warn] [client 127.0.0.1] CPU limit of 5.0% has been exceeded (has been used more then 12.3% CPU)
[Sat Apr 4 13:28:51 2009] [warn] [client 127.0.0.1] Resource usage limit has been exceeded, access to arbeninoy.net was temporarily denied
Соответственно ссылки получают статус ERROR.
Такая проблема появилась примерно 2 недели назад.

Раньше практически то же самое было от яндексовского бота, но его удалось "утихомирить" директивой Crawl-delay в robots.txt. С саповским ботом что-то не получается у меня ((

[Trimmer]

В последнее время сапа не грызёт по 20 страниц в сек.
1страница в 1-2с.
можешь
slep(3);
выставить в коде, где 3-ожидание(3 сек).

[Русская мафия]

Сообщение от Trimmer

можешь
slep(3);
выставить в коде, где 3-ожидание(3 сек).

Гы, притормозить загрузку сайта на 3 сек?

[Trimmer]

Ну ip sape несложно узнать.

[Cyj]

Сообщение от Trimmer

Ну ip sape несложно узнать.

делать слип по ip?
а как это соотносится с проблемой? - за одну секунду приходт 50 запросов, делаем всем слип на 3 секунды. за следующую секунду приходит еще 50 запросов, опять слип делаем.... и в итоге в памяти висит куча процессов со слипом, но выполнять-то все эти процессы все равно придется.... отсрочить гибель на 3 секунды? )

[Апокалипсис]

А никак не утихомирите, разве временным баном IP, но тогда ерроры получите.

[Последний Герой]

Cyj, скорее всего ваши скрипты грузят БД запросами
если создать индексы в БД то нагрузка заметно снизится
при запросе/поиске/сортировки по неиндексному полю ВСЕГДА (при каждом запросе) просматриваются все строки таблицы не зависимо от частоты запроса

[Cyj]

Последний Герой, проблема появилась пару недель назад, до этого все нормально работало. Про базу я конечно, подумал в самом начале. Оптимизировал все таким образом, чтобы на странице остался всего один запрос по индексному полую. Ероров заметно поубавилось, но все еще присутствуют. Следующий шаг оптимизации - вывод информации из базы в файлы )
Я склоняюсь к мысли что, база нестабильно работает и ошибки с нагрузкой вызваны работой мускула.
Но вопрос-то не как исправить ерроры, а как ограничить жадность бота.

[Trimmer]

Сообщение от Cyj

а как это соотносится с проблемой? - за одну секунду приходт 50 запросов

Сильно сомневаюсь, что у сапы многопоточность бота реализована по отношению к скачиванию с одного сайта. Скорее всего идет запрос на страницу, после получения страницы идёт второй запрос на страницу итд.
Надо будет поэксперементировать.

[Последний Герой]

Cyj, а как часто главная изменяется? если создать cron и кешировать её в файл, чтобы при обращении она всего лишь считывалась с диска - никакой нагрузки на ЦП