Бот мэил ру разгулялся не на шутку :)

[V!rus]

и забываем про поисковой траф )

[Anatoly]

Сильно не бейте за поднятие темы, но она актуальна.

Повадился на один из моих сайтов рамблер лазить, конкретно причём. Заседает сутками, индексирует всё одно и то же, не уходит. Естественно, создалась нагрузка. Не критическая, но напрягающая. Отправил в поддержку письмо, пришёл невнятный ответ:

Ко всем ресурсам робот обращается с одинаковой частотой; подобные
жалобы поступают к нам достаточно редко.

Это было с месяц назад, с тех пор ресурс раскрутился, поимел много страниц и рамблер стал создавать почти критическую нагрузку. При этом, весь месяц он с сайта не слезал. Сегодня взял и дописал в код проверку - если user-agent рамблер - фтопку. Вот такие пироги.

[NemO]

у меня аналогичная ситуация как у Anatoly с одним форумом происходит и тоже писал и примерно такой же ответ получил. с чего бы это так ведет себя ихний робот не понятно. может понравилось ему у меня. :0)

[Agito]

УГУ!)
Помнится, есть для phpBB один мод, так вот он глючный и сразу не поймешь. Как ставишь - нагрузка на больших форумах подскакивает под самые облака.
Так вот, я нечаянно нарвался на этот мод, сервер оказался стойким, доступа ни к серваку ни к хостеру не было. А бот мейла меня мурыжил 5 дней так, что даже на ТФПшник не пробиться было снести глючные файлы.

Так и сидел терпел ДДОС от мейла, пока меня мейловский бот не отпустил =)
И то отпустил всего на час, потом приперся снова и сейчас заходит каждый день на несколько часов

[NikExp]

Сообщение от forbuc

бежать оттуда надо! мастерхост мне такого западла за 4 года ни разу не делал, максимум - скрипт заблокируют, от которого нагрузка идёт или роботс исправят, тебе тут же уведомление. проблем никаких.

Теперь, судя по всему, с мастерхоста уже бежать придется.
Получил от них письмецо:
"В случае значительного превышения регламентированных лимитов по нагрузке сервер в течение нескольких секунд не будет выделять ресурсы на обработку запросов к сайту, обращения к которому превысили допустимый лимит. В это время посетители сайта, создающего недопустимо высокую нагрузку, будут наблюдать ошибку "503 Service Temporarily Unavailable".
Не допускается пиковое использование процессами пользователя более чем 2,5% ресурсов сервера".

[ostrov]

Сообщение от NikExp

Теперь, судя по всему, с мастерхоста уже бежать придется.

Согласен, МХ - редкостное дерьмецо

[Al Pacino]

скорей бот мейл ру не разгулялся не на шутку, а развалился не на шутку - ко мне не бегает.

[GEniraL]

не не, мне бот маил.ру понравился. Создал я в денвере сателит на вордпрессе, перенёс его на хостинг, раставил права, поискал ошибки и недочёты, вобщем убил часа 3. Зашёл в ДиректАдмин логи посмотреть и вижу 2 перехода с майла уже сделано. В итоге за первые сутки с майла пришло человек 50 и на этом траф кончился И только спустя дней 7-10 пришли Яндекс с Гуглом и начали индексировать сайт.

[Diamond]

Попробуйте в robots.txt прописать:

User-agent: Mail.Ru
Disallow:
Crawl-delay: 60

Может, полегчает

[shamaner]

Сообщение от NikExp

Не допускается пиковое использование процессами пользователя более чем 2,5% ресурсов сервера"

от мощности какого сервера? PI-75Mg ? 2,5 %- это сколько ж на первом пне то держится-офигеть, хорошее железо в MH -- очень надежное, работает вечно!
ресурсы выделяемые вам проверьте- очень удивитесь