Новые правила - Allow и Disallow в файлах robots.txt

[sorc39]

8 марта пришло лс от вебмастерс.яндекс.ру:

Добрый день!

Уведомляем вас об изменениях в обработке директивы 'Allow' файла robots.txt, с помощью которого вы можете разрешить или запретить индексирование сайта поисковым роботом Яндекса.

По новым правилам, если страница сайта попадает под действие нескольких директив 'Allow' и/или 'Disallow', то будет применяться директива с наибольшей длиной префикса URL. При определении длины префикса спецсимвол '*' не учитывается.

Если на вашем сайте в robots.txt совместно используются директивы 'Allow' и 'Disallow', пожалуйста, проверьте их на соответствие новым стандартам. В этом вам поможет наша форма проверки robots.txt.

Подробнее об использовании директив вы можете прочитать в Помощи.

--
С уважением,
Яндекс.Вебмастер
http://webmaster.yandex.ru

Может кто-то туда и не заглядывает

[kdvbpspr]

С какой целью это сделано?