robots.txt - как правильно исключить один бот, и укзать путь остальным?

[urikor]

Дико извиняюсь, если не туда запостил.
В декабре месяце бот Майл.ру задолбал - жрет процессорное время на хостинге, постоянно индексируя большие форумы. Решил обрубить его.
Такая проблема.

Надо в роботсе закрыть полностью индексирование для бота майл.ру, а для остальных ботов указать закрытые каталоги

Прописал следующим образом:

User-agent: Mail.Ru
Disallow: /
User-agent: *
Disallow: /search
Disallow: /other

правильно ли я сделал?
Не нужна ли пустая строка между 2 и 3 строчкой? Или надо то, что касается конкретно бота Майл.ру вынести в самый конец файла? Или же вообще нельзя совмещать директивы для конкретного бота и всех ботов в одном роботс.тхт?

[Dmitry25]

Или же вообще нельзя совмещать директивы для конкретного бота и всех ботов в одном роботс.тхт?

Их уже по нескольку нужно делать?

ЗЫ Мне кажется можно зайти в панель вебмастера яндекса и гугла и убедится что все что нужно разрешено.

[zeta]

Сообщение от urikor

Не нужна ли пустая строка между 2 и 3 строчкой? Или надо то, что касается конкретно бота Майл.ру вынести в самый конец файла? Или же вообще нельзя совмещать директивы для конкретного бота и всех ботов в одном роботс.тхт?

- пустая строка нужна
- в конец файла необязательно
- лучшим решением было бы в .htaccess по юзер-агенту бот запретить

[urikor]

на серче нашел вот такое решение для .htaccess

RewriteCond %{HTTP_USER_AGENT} ^Mail\.Ru/1\.0$
RewriteCond %{REQUEST_URI} !^robots\.txt$
RewriteRule .* - [G]