.htaccess и robots.txt

[Фибер Оптик]

Добрый день!

Подскажите, пожалуйста, можно ли в robots.txt запретить индексирование страниц, если их url делается средствами .htaccess?

Т.е имеется страница /catalog/?что-то&id=что-то.
В .htaccess прописано: RewriteRule ^catalog/([^/\.]+)/([0-9]+)/?$ catalog.php?$1&id=$2
Т.е получаются страницы вида: /catalog/что-то 1/что-то 2/

Мне надо, чтоб Яндекс не индексировал страницы /catalog/что-то 1/что-то 2/.

Если прописать в robots.txt "Disallow: /что-то 1/что-то 2/" это будет работать?

Спасибо.

[RedPage]

Сообщение от Фибер Оптик

Добрый день!

Подскажите, пожалуйста, можно ли в robots.txt запретить индексирование страниц, если их url делается средствами .htaccess?

Т.е имеется страница /catalog/?что-то&id=что-то.
В .htaccess прописано: RewriteRule ^catalog/([^/\.]+)/([0-9]+)/?$ catalog.php?$1&id=$2
Т.е получаются страницы вида: /catalog/что-то 1/что-то 2/

Мне надо, чтоб Яндекс не индексировал страницы /catalog/что-то 1/что-то 2/.

Если прописать в robots.txt "Disallow: /что-то 1/что-то 2/" это будет работать?

Спасибо.

Будет, точнее в robots.txt нужно запрещать то, что видит пс, что до .htaccess пс дела нет, она его не видит и не анализирует.

[chahlic]

Сообщение от Фибер Оптик

Подскажите, пожалуйста, можно ли в robots.txt запретить индексирование страниц, если их url делается средствами .htaccess?

Т.е имеется страница /catalog/?что-то&id=что-то.
В .htaccess прописано: RewriteRule ^catalog/([^/\.]+)/([0-9]+)/?$ catalog.php?$1&id=$2
Т.е получаются страницы вида: /catalog/что-то 1/что-то 2/

Мне надо, чтоб Яндекс не индексировал страницы /catalog/что-то 1/что-то 2/.

Если прописать в robots.txt "Disallow: /что-то 1/что-то 2/" это будет работать?

Работать-то будет, только если исключить в роботс

/catalog/что-то 1/что-то 2/

то и

/catalog/?что-то&id=что-то

не проиндексируется, насколько я понимаю, так как ПС будет получать урл после обработки в .htaccess

[Фибер Оптик]

Всем огромное спасибо!
Буду пробовать.

Добавлено через 21 час 55 минут
И снова здравствуйте!
В выше описаном я запретил индексацию всего, что находиться в /catalog/что-то 1/ таким образом: "Disallow: /catalog/что-то 1/*". Верна ли запись и будет ли индексироваться сама страница "/catalog/что-то 1/"?

Спасибо.

[nikonoff]

будет ли индексироваться сама страница "/catalog/что-то 1/"?

Проверьте по адурл.

[chahlic]

Сообщение от Фибер Оптик

В выше описаном я запретил индексацию всего, что находиться в /catalog/что-то 1/ таким образом: "Disallow: /catalog/что-то 1/*". Верна ли запись и будет ли индексироваться сама страница "/catalog/что-то 1/"?

Не будет.

При указании путей директив Allow-Disallow можно использовать спецсимволы '*' и '$', задавая, таким образом, определенные регулярные выражения. Спецсимвол '*' означает любую (в том числе пустую) последовательность символов

http://help.yandex.ru/webmaster/?id=996567#996572

[Фибер Оптик]

Спасибо

[eresik]

А у меня вот почему-то гугл далеко не всегда следует инструкциям в роботс, хотя инструкции правильные - проверялись через панель вебмастера