Правильный robots выглядит так?
 

User-Agent: *
Disallow:
Host: xxx.xxx

Что значит правильный?

Т.е. правильно составленный.
Нужен для того, чтобы указать что вот именно этот сайт является как бы главным. Ну в большей степени понятно, что это речь о зеркалах Яндекса.

Директива Host - она для Яши. Нет гарантий что другие ПС её корректно обработают.
Т.е. в Вашем случае надо писать так:
User-agent: Yandex
Disallow:
Host: site.ru

User-agent: *
Disallow:

Чтобы не быть многословным здесь есть все, что Вас интересует :)
http://help.yandex.ru/webmaster/?id=996567

Правильный должен так выглядеть
Host: site.ru
User-agent: *
Disallow:

а не так
User-Agent: *
Disallow:
Host: xxx.xxx

Т.е. директива Host без указания User-Agent?
Что за новые веяния?

А в Яшином факе так:

User-Agent: Yandex
Disallow:
Host: xxx.xxx


А что если просто вот так сделать? Остальным поисковикам как бы некаких указаний нет. Всё норм.

Вообще я думал, что я правильно говорю... Читал фак от Яши и на форуме сирча вроде бы также сказали...