Форум SAPE.RU - Нужна помощь по robots.txt. Или иной совет.

Форум SAPE.RU (http://forum.sape.ru/index.php)

- Яндекс (http://forum.sape.ru/forumdisplay.php?f=16)

- - Нужна помощь по robots.txt. Или иной совет. (http://forum.sape.ru/showthread.php?t=92721)

TR#ll

27.04.2014 17:28

Нужна помощь по robots.txt. Или иной совет.

Итак, дамы и господа, ситуация такова. Имеется сайт:

_www.site.ru_

движок которого при добавлении новой статьи (для примера, пусть это будет статья под порядковым номером 3212) делает ее в тройном экземпляре, получаются ссылки вида:
1. _www.site.ru/index.php?option_html3212
2. _www.site.ru/article_32_12.php
3. _www.site.ru/content-3212.php

От первого варианта избавился добавлением в robots.txt строки вида:
Disallow: /index.php?

Вопрос: как избавиться от второго варианта? Если не ошибаюсь, вот так нельзя: Disallow: /article

Заранее спасибо ^_^

zhegloff

27.04.2014 17:37

Цитата:

Сообщение от TR#ll (Сообщение 1408283)

Если не ошибаюсь, вот так нельзя: Disallow: /article

почему нельзя?

TR#ll

27.04.2014 17:42

Цитата:

Сообщение от zhegloff (Сообщение 1408284)

почему нельзя?

Ну вот я как бы и задаю вопрос: можно так или нет?
Т.е. если будет в роботсе написано:

Disallow: /article

роботы от поисковиков поймут, что не надо индексировать страницы с адресами:
_www.site.ru/article_00_01.php
_www.site.ru/article_00_02.php
...
_www.site.ru/article_32_12.php

или не поймут?

zhegloff

27.04.2014 17:51

Цитата:

Сообщение от TR#ll (Сообщение 1408288)

Ну вот я как бы и задаю вопрос: можно так или нет?

Нет, вы написали, что так нельзя. :)

Цитата:

Сообщение от TR#ll (Сообщение 1408288)

Т.е. если будет в роботсе написано:

Disallow: /article

То не будут индексироваться все урлы, которые начинаются с /article

Клон	27.04.2014 17:54

Цитата:

Сообщение от TR#ll (Сообщение 1408288)

или не поймут?

на яндексе есть фак с примерами и форма проверки корректности роботса

MonAmur

27.04.2014 17:56

TR#ll, а как ссылки на сайте выглядят?

TR#ll

27.04.2014 18:03

Безумно-огромное человеческое всем спасибо!

mouse_kill

28.04.2014 04:22

После экспериментов всегда можно проверить составленное правило тут

Часовой пояс GMT +3, время: 20:11.