Файл robots.txt под WordPress

[Post]

Доброго всем дня.
Прочитав достаточно инфы про правильный robots под WordPress
но не нашел ответа на интересующую меня тему.
Цель - отображение в поисковиках только Рубрик и Страниц. исключение архивов и календаря, и всего "мусора"(исключение дублей).

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /?m*

я так не и понял зачем мудрить с кучей запретов внутри wp-admin, wp-content и wp-includes.
По проверке ЯВМ нужные мне страницы "видны и доступны" /?p=516 и /?cat=17

Вопрос. правильно ли я мыслю, или сильно перегнул с запретами?


П.С. Вот кусок с сайта с рекомендациями, "Есть стандарт разумеется который можно отнести ко всем, я бы сказал основная шапка:
User-agent: *
Disallow: /xmlrpc.php
Disallow: /archives/
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-content/cache
Disallow: /wp-includes
Disallow: /wp-admin
Disallow: /search/
Disallow: /cgi-bin
"

[Asterada]

Сообщение от Post

я так не и понял зачем мудрить с кучей запретов внутри wp-admin, wp-content и wp-includes.

чтобы не индексировалось лишнее.

[seocore]

Сообщение от Post

Цель - отображение в поисковиках только Рубрик и Страниц. исключение архивов и календаря, и всего "мусора"(исключение дублей).
Вопрос. правильно ли я мыслю, или сильно перегнул с запретами?

для WP есть соответствующие плагины, которые гораздо более гибко решают эти проблемы, как пример - Рубрики держать в индексе не очень-то и необходимо (если Вы поставили задачу максимальной оптимизации для получения качественного трафика), но при этом страницы рубрик бот все же должен обходить, и оптимальным будет задать метатег robots как noindex, follow

[Post]

перефразирую
а зачем более гибко писать запреты, если у меня просто блог с простынями и картинками в них? мой запрет будет иметь какие-то минуса?

Рубрики , как я понимаю, будут страницами второго уровня, а Страницы - третьего.

Добавлено через 2 минуты

Сообщение от asterada

чтобы не индексировалось лишнее.

)) ну смысл запрета на индексацию я понимаю ))

почему выборочно закрываются папки в wp-content?. что там есть (может быть) такого нужного для индексации?

Добавлено через 7 минут

Сообщение от seocore

Рубрики держать в индексе не очень-то и необходимо (если Вы поставили задачу максимальной оптимизации для получения качественного трафика), но при этом страницы рубрик бот все же должен обходить, и оптимальным будет задать метатег robots как noindex, follow

Нет Цель не трафик, а САпа.
просто сейчас на сайте 150 страниц уника, + 12 рубрик, а Я.Вебмастер показывает 572 (после последнего апа) и "загружено роботом" 56, вот я и думаю что у меня слишком много дублей и из за них сайт не лезет в индекс.

Добавлено через 27 минут
всем спасибо, доразобрался. )

[Красавчег]

Сообщение от Post

Файл robots.txt под WordPress

Какая своевременная тема! Вопрос к шарящим в этом деле: закрывать ли в robots.txt на вордпрессе /page/ или не стоит?

У меня пока стоит Disallow: /page/ сайт обновляется ежедневно, вроде как индексация пока нормальная. Кто что думает?

[Post]

Сообщение от Красавчег

Какая своевременная тема! Вопрос к шарящим в этом деле: закрывать ли в robots.txt на вордпрессе /page/ или не стоит?

У меня пока стоит Disallow: /page/ сайт обновляется ежедневно, вроде как индексация пока нормальная. Кто что думает?

ну как я понимаю в /page/ должны храниться статические страницы (хотя у меня они имеют вид /?page_id)

я в начале все позакрывал, потом в панели Я вебмастер открыл роботс и начал проверять урлы страниц по которым были вопросы.
чего и Вам советую

[Красавчег]

Сообщение от Post

в панели Я вебмастер открыл роботс и начал проверять урлы страниц по которым были вопросы. чего и Вам советую

Да вопрос не про это. Я спрашиваю как относятся ПС к открытым в роботсе страницам /page/1 /page/2 /page/3 и т.д. в категориях?
На них анонсы постов со ссылками на эти посты. Т.е. по сути это дубль-контент. У кого есть опыт/практика с этими страницами?