Боты sape кладут сервер

[jenekrt]

благодарю за совет
у меня есть внешний мониторинг, бывает что и без нагрузки он шлет сообщения вида:

"name lookup timed out"

поставил первым неймсервер google, жду полуночи)

Добавлено через 15 минут
А после этого надо какие-то сервисы рестартовать?
перезапустил network

[Andreyka]

Я тоже столкнулся перегрузкой сервера сапой. Решил проблему путем организации отдельной очереди с низкой скоростью, но не на столько, чтоб вылетать по таймауту.
В результате сервер стал летать.

[BigKurt]

Почему бы не сделать, что бы боты сапы учитывали Crawl-delay из robots.txt?

[HaXuM]

BigKurt, потому что нам за сутки проверять миллиарды страниц с вашими ссылками, да еще и не один раз.

Просто обычно так жалуются обладатели какого-нить говно-хостинга за 3 евро в год...

[anonymous2013]

Сообщение от BigKurt

Почему бы не сделать, что бы боты сапы учитывали Crawl-delay из robots.txt?

А гуглу и бингу вы как объясняете, что надо этот параметр использовать? Они его игнорируют. Лично мне приходилось принудительно ставить в php скрипт sleep(1s), чтобы бинг с гуглом не уронили сервер, а потом просто оптимизировал скрипты, чего и вам желаю

Сообщение от HaXuM

BigKurt, потому что нам за сутки проверять миллиарды страниц с вашими ссылками, да еще и не один раз.

Да-да, я в соседней теме писал, что у меня часть ссылок отсутствует на заявках, но при этом я плачу деньги, и вот думаю отказываться ли от ссылок или что...
Я очень надеюсь, что как только бот находит, что ссылки нет не только приостанавливаются выплаты, но еще и забирается выплата за предыдущий день. Толку от того, что мы платим за ссылки, а потом получим бан от гугла за то, что ссылки были, а потом пропали!

Веб-страница по адресу http://www.business-******.ru/, возможно, временно недоступна или постоянно перемещена по новому адресу.

Но стоит статус ОК=11руб

[zhegloff]

Сообщение от anonymous2013

Но стоит статус ОК=11руб

https://help.sape.ru/sape/faq/1024