METASpider почти завалил хост
 

Бойтесь этого гада от Meta.ua :mad:
Посмотрел логи - офигел - почти сутки сидел на многостраничнике и издевался... Хорошо хостер маякнул..
Пришлось править robots.txt для этого уродца.

расскажи плиз, как прописал в robots.txt, чтобы спайдер МЕТА не лазил по сайту?

User-agent: имя спайдера
Disallow: / # блокирует доступ ко всему сайту

Пример
User-agent: METASpider
Disallow: /

Не думаю, что стоит принимать поспешные решения.

Для Diamond: я бы лично внимательно изучил причину зависания, возможно проблемы не у робота, а у сайта.

спасибо за инфу, будем иметь ввиду.

Спасибо за информацию, буду иметь ввиду

а так не пробовали сделать
120 это время в секундах вроде, время между запросами для любого робота!
User-agent: METASpider
Crawl-delay: 120

Исходя из собственного опыта - любой обнаглевший бот роботс игнорирует в 99.99%, потом что "обнаглел", а роботс - всего лишь "просьба/рекомендация" :D. остаётся только по юзерагенту отлавливать и кислород перекрывать...

METASpider! Меня прикалывают пять последних букв...