Понимает ли робот сапы allow в robots.txt?

[Danila]

Понимает ли робот сапы allow в robots.txt? Складывается такое впечатление что нет. У меня прописано:

User-agent: Yandex
Allow: /novosti/
Allow: /page/
Allow: /articles/
Allow: /rss
Allow: /index.php?do=search&mode=advanced
Allow: /index.php?do=feedback
Allow: /articles.php
Disallow: /

User-agent: *
Disallow: /engine/
Disallow: /backup/
Disallow: /language/
Disallow: /webalizer/
Disallow: /user/
Disallow: /templates/
Disallow: /print
Disallow: /novosti/print
Disallow: /articles/print
Disallow: /news/print

Связано это с тем, что Яндекс неправильно идексирует мой сайт (не по тем УРЛам, которые нужны). Я ему явно указал что и где можно индексировать, а сапа всё в еррор сбросила. Что делать?

[zhegloff]

Сообщение от Danila

Понимает ли робот сапы allow в robots.txt?

Не понимает.

[Danila]

И чего делать? У меня страница доступна по 2-м адресам:

site.ru/xxx-url1.html
и
site.ru/novosti/xxx-url1.html

Яндекс после апдейта проиндексировал site.ru/xxx-url1.html, а ссылки расположены на site.ru/novosti/xxx-url1.html

Вот я поэтому такой роботс и замутил, чтобы он правильно всё понял.

[zhegloff]

уберите с сайта страницы

Сообщение от Danila

site.ru/xxx-url1.html

и ждите пока яша переиндексит.

[Danila]

Сообщение от zhegloff

уберите с сайта страницы
и ждите пока яша переиндексит.

А что лучше и быстрей, чтобы с адреса site.ru/xxx-url1.html шла 301 переадресация на site.ru/novosti/xxx-url1.html или всё же лучше просто удалить страницы по адресу site.ru/xxx-url1.html чтобы 404 отдавалось?

З.Ы. УРЛы страниц через мод рерайт генерятся.

[zhegloff]

Сообщение от Danila

А что лучше и быстрей, чтобы с адреса site.ru/xxx-url1.html шла 301 переадресация на site.ru/novosti/xxx-url1.html или всё же лучше просто удалить страницы по адресу site.ru/xxx-url1.html чтобы 404 отдавалось?

Лучше 404. Яша недолюбливает редиректы.

Добавлено через 1 минуту
И еще ЯВМ вам в руки

[Danila]

Сообщение от zhegloff

Лучше 404. Яша недолюбливает редиректы.

Добавлено через 1 минуту
И еще ЯВМ вам в руки

Вот с помощью ЯВМ и нашел, что проиндексировано совсем не то. Жаль оттуда страницы нельзя удалить...