Еще раз про дубли
 

Доброго времени суток.

Не могу никак разобраться с дублями.
Допустим есть страница sape.ru
Если я поменяю ее на sape.ru/?dubl.html то получается это дубль страницы sape.ru и таких можно набить для каждой страницы и сколько угодно.

Есть ли опасность что так могут навредить сайту? Разместив ссылки на дубли для индексации.

Это еще самое простое, в любой cms есть возможность менять ссылки.
ссылка на компонент модуль статью блог категорию тег etc..
и причем на самом сайте нет дублей но их можно вот так вот вручную создать зная cms и где нить запостить...

Krasnoborod, Вот тут.

artoff, спасибо за ссылку.
Выходит самым нормальным способом является использование канонических URL.

То есть достаточно добавить в head
<link rel="canonical" href="<?php echo $this->link ?>" />

для всех страниц

я правильно понял?

Krasnoborod,
CMS какая?

Добавлено через 45 секунд
Все равно может быть дубль...

cms тут не важна, я просто для примера написал

как я выяснил если проставить для каждой страницы каноникал
с верными/нужными ссылками то любые ссылки с бредопараметрами будут игнорироваться поисковиками, ну и другие дубли если таковые есть

к примеру страница доступна по двум ссылкам
/page?id=1
/news

если каноническая ссылка будет /news (полный путь) то остальные ссылки будет игнорится

кстати я считаю этот способ более приемлимым если технически возможно

Проблема в том, что такой тег может работать неправильно, на какой то из популярных CMS, т.е ваш тег, будет отдавать дубль.

Правильнее будет настроить 301 редирект или 404 ошибку.

ну это уже мои проблемы) ясное дело я все перепроверю, может быть допишу кое что...

редиректы и роботс исключены ибо мне нужны мои ссылки с параметрами ну там page=1... и тому подобное

если бы не нужны были то тут вобще просто
Disallow ?
Disallow &

если я правильно написал

А не так ли?

User-agent: *
Disallow: /?
Host: sape.ru

ну так тоже верно
для /?bla
но по-моему это не распространяется на ссылки вида
page.html?bla

Disallow: /*bla