Как запретить дубликаты страниц?

[SergejF]

Статичный html-сайт. Хостинг кроме страниц типа site.ru/page.htm выдает также дубликаты вроде site.ru/page.htm?tram-pam-pam. Т.е. после расширения htm стоит знак вопроса, а потом всякая байда. Эти дубликаты попали в индекс Яндекса, а затем сайт из него вылетел. Необходимо запретить показ подобных страниц. Ещё раз: их отличительное свойство - знак вопроса после htm. Как "железно" сделать запрет с помощью robots.txt и .htaccess? Выдаваться должны только страницы с расширением htm, html и не более.

[badimao]

да.... в 90х таких проблем не было и на народе такого ни когда не случится

[Nova]

SergejF, Disallow: /*? в роботс

[SergejF]

Сообщение от badimao

и на народе такого ни когда не случится

Верно, но первоначально этот сайт был на boom.ru. ;-))

Сообщение от Nova

Disallow: /*? в роботс

А не так: Disallow: /*?* ?

[Клон]

тут проверьте http://webmaster.yandex.ru/robots.xml

[Nova]

Сообщение от SergejF

А не так: Disallow: /*?*

Можно и так, сути не меняет

[aship]

Сообщение от SergejF

А не так: Disallow: /*?* ?

Нет, не так.
В синтаксисе robots.txt звездочка на конце подразумевается по умочанию.

Так что правильно - так: /*?

Но вообще-то есть более изящный способ решить вашу проблему, метатег: rel canonical

[SergejF]

Сообщение от Nova

Можно и так, сути не меняет

Может тогда уже надёжнее Disallow: /*.htm?* ?

Добавлено через 1 минуту

Сообщение от aship

есть более изящный способ решить вашу проблему, метатег: rel canonical

Поясните, пожалуйста.

[Nova]

Сообщение от SergejF

Может тогда уже надёжнее Disallow: /*.htm?*

Disallow: /*? - исключает все ссылки со знаком вопроса, надежнее некуда

[artoff]

Сообщение от SergejF

Поясните, пожалуйста.

Атрибут rel="canonical" тега <link>

В том случае, если на сайте присутствуют группы схожих по контенту страниц, вебмастер может выбрать предпочитаемый (канонический) url от группы, который будет участвовать в поиске. Например, документ сайта доступен по двум url:

www.examplesite.ru/pages?id=2
www.examplesite.ru/blog

Если предпочитаемый url — /blog, в документе, доступном по неканоническому url, достаточно указать:

<link rel="canonical" href="http://www.examplesite.ru/blog"/>

Канонический url должен быть доступен для индексирования, чтобы робот Яндекса учел атрибут rel="canonical";
робот не учтет атрибут, если в качестве канонического указывается url с другого хоста или поддомена хоста, на котором атрибут указан;
документ не может иметь несколько канонических url;
не рекомендуется создавать цепочки более чем из двух элементов (источник, цель), каждый элемент которых указывает, что каноническим является следующий url в цепочке.

http://help.yandex.ru/webmaster/?id=1111858