запрет страниц для индекса через файл robots.txt

[Dr.Dream]

Возникла следующая проблема:
При запуске сайта пробовали разные фишки в движке,
в результате появились страницы (мы уже давно отказались от этой фишки), с динамической вставкой, вида:
http://www.site.ru/(X(1)S(hrsvckjheu...x?sec=2&cat=31

или

http://www.site.ru/(X(1)S(jhglrvrvir...x?sec=2&cat=31

соответственно страницы по сути одинаковые, только адреса разные
в результате индекс Яши забит кучей одинаковых страниц с разными адресами. Беда еще в том, что когда Яша заходит на такую страницу в очередной раз, а далее идет по внутренним ссылкам, то у следующих страниц в адресах появляется такая же белеберда и получаем следующую кучу таких страниц в индексе.

при попытке в файле robots.txt дать команду:
Disallow: /http://www.site.ru/(X(1)S(jhglrvrvirbtvuthu))/Wares.aspx?sec=2&cat=31

получаем ответ от яндекса: Возможно, был использован недопустимый символ

Есть у кого-нибудь мысли как избавиться от такого наследства экспериментов?

[Kholod]

Сообщение от Dr.Dream

…

при попытке в файле robots.txt дать команду:
Disallow: /http://www.site.ru/(X(1)S(jhglrvrvirbtvuthu))/Wares.aspx?sec=2&cat=31

получаем ответ от яндекса: Возможно, был использован недопустимый символ

Есть у кого-нибудь мысли как избавиться от такого наследства экспериментов?

Попробуйте заменить & на &

[Dr.Dream]

Сообщение от Kholod

Попробуйте заменить & на &

в смысле сделать так:
Disallow: /http://www.site.ru/(X(1)S(jhglrvrvirbtvuthu))/Wares.aspx?sec=2&ampcat=31

?

Добавлено через 6 минут
а вот еще чего
в результатах проверки URL (пытаюсь проверить будет ли запрещена эта страница)
напротив http://www.site.ru/(X(1)S(jhglrvrvir...x?sec=2&cat=31 пишет - синтаксическая ошибка
однако сам страницы с подобными адресами спокойно держит в индексе

[Kholod]

Не &amp , а &.

А результатах проверки URL ошибка появляется оттого, что не все скрипты правильно обрабатывают т.н. "сущности" (entities).

Вы, кстати, понимете, что значит путь /http://www.site.ru/(X(1)S(jhglrvrvirbtvuthu))/Wares.aspx?sec=2&ampcat=31? Особенно начало?

Пишите
Disallow: /(X(1)S(jhglrvrvirbtvuthu))/Wares.aspx?sec=2&cat=31

[Dr.Dream]

Сообщение от Kholod

Не &amp , а &.

В общем нет
Проверял и так и этак и... нет
Более того, аналогичный ответ я получаю и на проверку адреса:
http://www.site.ru/(X(1)S(z04du3qboz...)/Contact.aspx

Добавлено через 1 минуту

Сообщение от Kholod

Вы, кстати, понимете, что значит путь /http://www.site.ru/(X(1)S(jhglrvrvirbtvuthu))/Wares.aspx?sec=2&ampcat=31? Особенно начало?

Видимо нет , поясните пожалуйста

Добавлено через 2 минуты

Сообщение от Kholod

А результатах проверки URL ошибка появляется оттого, что не все скрипты правильно обрабатывают т.н. "сущности" (entities).

Я правильно понял...
ошибку выдает скрипт яндекса, а сам поисковик поймет все правильно?

[Kholod]

Писать теоретически надо либо
Disallow: /(X(1)S(jhglrvrvirbtvuthu))/Wares.aspx?sec=2&cat=31
либо
Disallow: /(X(1)S(jhglrvrvirbtvuthu))/Wares.aspx?sec=2&cat=31

Как видите, никакого http:// там нет. В дизаллоу пишется путь, а
http:// — протокол,
www.site.ru — адрес сервера,
и им там не место!

Да, и ещё. Откуда у Вас скобки в пути?

[Dr.Dream]

Сообщение от Kholod

Да, и ещё. Откуда у Вас скобки в пути?

Вот это для меня загадка отгадка видимо известно программисту

по поводу пути, это я уже понял и попробовал... НЕТ
не получается всеравно пишет Возможно, был использован недопустимый символ.
Попробовал страницу с другим адресом, где нет символов & по определению
Disallow: /(X(1)S(z04du3qboz4ctumzwwfrlz45))/Contact.aspx
Но ответ тот-же

Добавлено через 9 минут
есть идейка одна, но насколько она реальна не знаю
дать команду
Allow: /Contact.aspx
Allow: /Wares.aspx?sec=3&cat=64&sub=263
и так далее, выбрав минимально необходимые на данный момент,
а остальные Disallow:

вопрос: сколько страниц можно разрешить,есть ли ограничения?
и подействует ли данное правило на страницы с адресами вида:
http://www.site.ru/(X(1)S(ela03mzn2p...cat=64&sub=263
и
http://www.site.ru/(X(1)S(z04du3qboz...)/Contact.aspx
?

[Kostushko]

а может задать вопрос платону? )

[Kholod]

Либо заставляйте программиста убирать скобки, либо настраивайте rewrite в директории.
А отдельные страницы лучше выбрасывать через * на месте ненужных знаков

[Dr.Dream]

Сообщение от Kostushko

а может задать вопрос платону? )

Задавал, ответил, что если страница доступна, то в индексе останется
либо следуйте правилам написания robots.txt

Добавлено через 4 минуты

Сообщение от Kholod

Либо заставляйте программиста убирать скобки, либо настраивайте rewrite в директории.
А отдельные страницы лучше выбрасывать через * на месте ненужных знаков

программист сказал, что теперь движок таких адресов новых не выдает
однако если кто-либо зайдет по ссылке
http://www.site.ru/(X(1)S(ela03mzn2p...cat=64&sub=263
и пойдет на страницу Contact.aspx, то попадет на страницу
http://www.site.ru/(X(1)S(ela03mzn2p...)/Contact.aspx
в общем замкнутый круг какой-то