METASpider почти завалил хост
Бойтесь этого гада от Meta.ua :mad:
Посмотрел логи - офигел - почти сутки сидел на многостраничнике и издевался... Хорошо хостер маякнул.. Пришлось править robots.txt для этого уродца. |
расскажи плиз, как прописал в robots.txt, чтобы спайдер МЕТА не лазил по сайту?
|
Цитата:
Disallow: / # блокирует доступ ко всему сайту Пример User-agent: METASpider Disallow: / Не думаю, что стоит принимать поспешные решения. Для Diamond: я бы лично внимательно изучил причину зависания, возможно проблемы не у робота, а у сайта. |
спасибо за инфу, будем иметь ввиду.
|
Цитата:
|
а так не пробовали сделать
120 это время в секундах вроде, время между запросами для любого робота! User-agent: METASpider Crawl-delay: 120 |
Исходя из собственного опыта - любой обнаглевший бот роботс игнорирует в 99.99%, потом что "обнаглел", а роботс - всего лишь "просьба/рекомендация" :D. остаётся только по юзерагенту отлавливать и кислород перекрывать...
|
METASpider! Меня прикалывают пять последних букв...
|
Часовой пояс GMT +3, время: 07:43. |
Работает на vBulletin® версия 3.8.7.
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Перевод: zCarot
SAPE.RU — система купли-продажи ссылок с главных и внутренних страниц сайтов.