Старый 13.03.2012, 11:06   #1
Новичок
 
Регистрация: 16.02.2012
Сообщений: 39
Вес репутации: 95
Post - весьма и весьма положительная личностьPost - весьма и весьма положительная личность
По умолчанию Файл robots.txt под WordPress

Доброго всем дня.
Прочитав достаточно инфы про правильный robots под WordPress
но не нашел ответа на интересующую меня тему.
Цель - отображение в поисковиках только Рубрик и Страниц. исключение архивов и календаря, и всего "мусора"(исключение дублей).

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /?m*

я так не и понял зачем мудрить с кучей запретов внутри wp-admin, wp-content и wp-includes.
По проверке ЯВМ нужные мне страницы "видны и доступны" /?p=516 и /?cat=17

Вопрос. правильно ли я мыслю, или сильно перегнул с запретами?


П.С. Вот кусок с сайта с рекомендациями, "Есть стандарт разумеется который можно отнести ко всем, я бы сказал основная шапка:
User-agent: *
Disallow: /xmlrpc.php
Disallow: /archives/
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-content/cache
Disallow: /wp-includes
Disallow: /wp-admin
Disallow: /search/
Disallow: /cgi-bin
"
Post вне форума   Ответить с цитированием
Старый 13.03.2012, 11:33   #2
Копирайтер-рерайтер
 
Аватар для Asterada
 
Регистрация: 17.08.2007
Адрес: Краснодарский край
Сообщений: 3,613
Вес репутации: 319
Asterada - прекрасное будущееAsterada - прекрасное будущееAsterada - прекрасное будущееAsterada - прекрасное будущееAsterada - прекрасное будущееAsterada - прекрасное будущееAsterada - прекрасное будущееAsterada - прекрасное будущееAsterada - прекрасное будущееAsterada - прекрасное будущееAsterada - прекрасное будущее
Отправить сообщение для Asterada с помощью ICQ
По умолчанию

Цитата:
Сообщение от Post Посмотреть сообщение
я так не и понял зачем мудрить с кучей запретов внутри wp-admin, wp-content и wp-includes.
чтобы не индексировалось лишнее.
__________________
Хостинг 30 дней бесплатно. С изоляцией сайтов на аккаунте. С выгодной партнёркой
Asterada вне форума   Ответить с цитированием
Старый 13.03.2012, 12:09   #3
Эксперт
 
Аватар для seocore
 
Регистрация: 18.06.2007
Адрес: Картофель
Сообщений: 2,417
Вес репутации: 301
seocore - прекрасное будущееseocore - прекрасное будущееseocore - прекрасное будущееseocore - прекрасное будущееseocore - прекрасное будущееseocore - прекрасное будущееseocore - прекрасное будущееseocore - прекрасное будущееseocore - прекрасное будущееseocore - прекрасное будущееseocore - прекрасное будущее
По умолчанию

Цитата:
Сообщение от Post Посмотреть сообщение
Цель - отображение в поисковиках только Рубрик и Страниц. исключение архивов и календаря, и всего "мусора"(исключение дублей).
Вопрос. правильно ли я мыслю, или сильно перегнул с запретами?
для WP есть соответствующие плагины, которые гораздо более гибко решают эти проблемы, как пример - Рубрики держать в индексе не очень-то и необходимо (если Вы поставили задачу максимальной оптимизации для получения качественного трафика), но при этом страницы рубрик бот все же должен обходить, и оптимальным будет задать метатег robots как noindex, follow
__________________
Инструменты для веб-мастера: кластеризатор СЯ, все запросы конкурента, XML-лимиты для плагина Wink'а
seocore вне форума   Ответить с цитированием
Старый 13.03.2012, 12:53   #4
Новичок
 
Регистрация: 16.02.2012
Сообщений: 39
Вес репутации: 95
Post - весьма и весьма положительная личностьPost - весьма и весьма положительная личность
По умолчанию

перефразирую
а зачем более гибко писать запреты, если у меня просто блог с простынями и картинками в них? мой запрет будет иметь какие-то минуса?

Рубрики , как я понимаю, будут страницами второго уровня, а Страницы - третьего.

Добавлено через 2 минуты
Цитата:
Сообщение от asterada Посмотреть сообщение
чтобы не индексировалось лишнее.
)) ну смысл запрета на индексацию я понимаю ))

почему выборочно закрываются папки в wp-content?. что там есть (может быть) такого нужного для индексации?

Добавлено через 7 минут
Цитата:
Сообщение от seocore Посмотреть сообщение
Рубрики держать в индексе не очень-то и необходимо (если Вы поставили задачу максимальной оптимизации для получения качественного трафика), но при этом страницы рубрик бот все же должен обходить, и оптимальным будет задать метатег robots как noindex, follow
Нет Цель не трафик, а САпа.
просто сейчас на сайте 150 страниц уника, + 12 рубрик, а Я.Вебмастер показывает 572 (после последнего апа) и "загружено роботом" 56, вот я и думаю что у меня слишком много дублей и из за них сайт не лезет в индекс.

Добавлено через 27 минут
всем спасибо, доразобрался. )

Последний раз редактировалось Post; 13.03.2012 в 12:53. Причина: Добавлено сообщение
Post вне форума   Ответить с цитированием
Старый 13.03.2012, 17:47   #5
К черту кодекс !!
 
Аватар для Красавчег
 
Регистрация: 19.12.2009
Адрес: [ forum.sape.ru ]
Сообщений: 2,168
Вес репутации: 320
Красавчег - прекрасное будущееКрасавчег - прекрасное будущееКрасавчег - прекрасное будущееКрасавчег - прекрасное будущееКрасавчег - прекрасное будущееКрасавчег - прекрасное будущееКрасавчег - прекрасное будущееКрасавчег - прекрасное будущееКрасавчег - прекрасное будущееКрасавчег - прекрасное будущееКрасавчег - прекрасное будущее
По умолчанию

Цитата:
Сообщение от Post Посмотреть сообщение
Файл robots.txt под WordPress
Какая своевременная тема! Вопрос к шарящим в этом деле: закрывать ли в robots.txt на вордпрессе /page/ или не стоит?

У меня пока стоит Disallow: /page/ сайт обновляется ежедневно, вроде как индексация пока нормальная. Кто что думает?
__________________
Вы использовали запрещённое администрацией слово(-а). Пожалуйста, удалите его(их).
Красавчег вне форума   Ответить с цитированием
Старый 13.03.2012, 18:57   #6
Новичок
 
Регистрация: 16.02.2012
Сообщений: 39
Вес репутации: 95
Post - весьма и весьма положительная личностьPost - весьма и весьма положительная личность
По умолчанию

Цитата:
Сообщение от Красавчег Посмотреть сообщение
Какая своевременная тема! Вопрос к шарящим в этом деле: закрывать ли в robots.txt на вордпрессе /page/ или не стоит?

У меня пока стоит Disallow: /page/ сайт обновляется ежедневно, вроде как индексация пока нормальная. Кто что думает?
ну как я понимаю в /page/ должны храниться статические страницы (хотя у меня они имеют вид /?page_id)

я в начале все позакрывал, потом в панели Я вебмастер открыл роботс и начал проверять урлы страниц по которым были вопросы.
чего и Вам советую
Post вне форума   Ответить с цитированием
Старый 13.03.2012, 19:16   #7
К черту кодекс !!
 
Аватар для Красавчег
 
Регистрация: 19.12.2009
Адрес: [ forum.sape.ru ]
Сообщений: 2,168
Вес репутации: 320
Красавчег - прекрасное будущееКрасавчег - прекрасное будущееКрасавчег - прекрасное будущееКрасавчег - прекрасное будущееКрасавчег - прекрасное будущееКрасавчег - прекрасное будущееКрасавчег - прекрасное будущееКрасавчег - прекрасное будущееКрасавчег - прекрасное будущееКрасавчег - прекрасное будущееКрасавчег - прекрасное будущее
По умолчанию

Цитата:
Сообщение от Post Посмотреть сообщение
в панели Я вебмастер открыл роботс и начал проверять урлы страниц по которым были вопросы. чего и Вам советую
Да вопрос не про это. Я спрашиваю как относятся ПС к открытым в роботсе страницам /page/1 /page/2 /page/3 и т.д. в категориях?
На них анонсы постов со ссылками на эти посты. Т.е. по сути это дубль-контент. У кого есть опыт/практика с этими страницами?
__________________
Вы использовали запрещённое администрацией слово(-а). Пожалуйста, удалите его(их).
Красавчег вне форума   Ответить с цитированием
Ответ

Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Файл Robots.txt Alexa137 Яндекс 54 12.07.2010 12:31
Файл Robots.txt admbuxonly Вопросы от новичков 13 10.06.2010 20:12
в какой файл засунуть основной код сапы на wordpress? iprodma Вопросы от новичков 1 05.03.2010 11:02
запрет страниц для индекса через файл robots.txt Dr.Dream Яндекс 9 23.08.2009 23:29
Бот сапы смотрит на файл robots.txt? mekal Вопросы по работе системы 13 18.10.2008 15:20


Часовой пояс GMT +3, время: 16:14.