Как запретить дубликаты страниц?

[SergejF]

Сообщение от artoff

В том случае, если на сайте присутствуют группы схожих по контенту страниц, вебмастер может выбрать предпочитаемый (канонический) url...

Спасибо. А в чем состоит изящество этого метода? Ну, кроме того, что придтся вставлять этот атрибут во все внутренние ссылки и перезакачивать довольно большой сайт. ;-)


Еще один вопрос. Как я понимаю, robots.txt лишь дает команду исключить подобные страницы. Возможно ли (может через .htaccess) запретить хостингу выдавать их?

[artoff]

Сообщение от SergejF

Возможно ли (может через .htaccess) запретить хостингу выдавать их?

Нашел для частного случая:

Options +FollowSymLinks

RewriteEngine on

RewriteCond %{QUERY_STRING} X

RewriteRule ^(.*)$ /Y? [R=301,L]

где X параметр после знака вопроса, а Y страница, на которую будет происходить перенаправление.

Попробовал сделать универсальный, не вышло..

[SergejF]

Сообщение от artoff

Попробовал сделать универсальный, не вышло..

Понятно. Будем делать роботсом. Спасибо за помощь, господа!

[Ank]

SergejF, http://www.htaccess.net.ru/doc/htaccess/order.php
там в конце это страницы - про запрет и намек что про регулярки расскажут.

Самое правильно на эти страницы отдать 404.
а тег - полезен однака.. следует не полениться.

[SergejF]

Сообщение от Ank

там в конце это страницы - про запрет и намек что про регулярки расскажут.

Спасибо. Теплее. По материалу составил такое выражение:

<FilesMatch "\.(htm\?)$">
Order Deny,Allow
Deny from all
</FilesMatch>

Однако после знака вопроса может идти любое количество любых символов. Но вот регулярку для их обозначения не нашел.:-(

[zeta]

Сообщение от SergejF

сделать запрет с помощью.htaccess? Выдаваться должны только страницы с расширением htm, html и не более.

можно запретить редирект дублей одной и той же страницы на основной ее адрес:

Options +FollowSymLinks
RewriteEngine on
RewriteCond %{HTTP_HOST} ^site.ru
RewriteRule (.*) http://www.site.ru/$1 [R=301,L]
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.htm\ HTTP/
RewriteRule ^index\.htm$ http://www.site.ru/ [R=301,L]

можно нахер сессии -> отключить session.use_trans_sid по причине вмешательства PHPSESSID в линк при старте сессии

php_flag session.use_only_cookies On
php_flag session.use_trans_sid Off

[SergejF]

Сообщение от zeta

можно запретить редирект дублей одной и той же страницы на основной ее адрес:

Такую запись нужно делать для каждой страницы? У меня их много.

[Igor V]

http://forum.searchengines.ru/showthread.php?t=447321

Добавлено через 1 минуту

Сообщение от Ank

Самое правильно на эти страницы отдать 404.

301 имхо - [R=301,L]

[Ank]

Сообщение от SergejF

Однако после знака вопроса может идти любое количество любых символов.

может. Ну так проверять по мере изучения регулярки
wget -S --spider http://XXXXXX.htm?bla-bla

Должен ответить 404. Если 200 - не вышло ничего.

Сообщение от Igor V

301 имхо

это если страница - нужна. А задача ТС - избавиться от них и не допустить их в индексе.