Еще раз про дубли

[Krasnoborod]

vitaliy s, да, точно, я ошибся.

Тогда лучше указать так

Disallow: /*?bla

мало ли)

[chervals]

Сообщение от vitaliy s

Disallow: /*bla

Уж лучше тогда Disallow: /*?

[Krasnoborod]

о, а можно сделать так?

Disallow: /*?
Allow: /*?page=1

только как бы задать точно разрешить только *?page={цифры}
и чтобы такого вида конструкции ?page=1?Fdfdf не индексировались

то есть чтобы индексировались только страницы вида
page.html?page=1

а всякие там
page.html?page=1?bla
не индексировались

я думаю проще пойти от противного запретить все левое и разрешать только то что используется...

Добавлено через 10 минут
почитав на яндексе понял... нужно немного переделать ссылки
чтобы было так

page.html?page=1&super-site
к примеру

тогда можно сделать так
Allow: /*?page=*&super-site$


вроде бы

Добавлено через 3 часа 34 минуты
хм, то что выше написал - ерунда)) буду дальше разбираться...

что еще может считаться за ссылку?

page.html#bla я так понимаю не является дублем? якорь же...
site.ru//// а так ? получается тоже дубль, хотя для главной не проблема написать канонический урл