Старый 17.01.2011, 15:23   #1
Новичок
 
Регистрация: 24.12.2010
Сообщений: 13
Вес репутации: 0
BSP на пути к лучшему
По умолчанию Пара вопросов по robots.txt

Есть два вопроса:

1) допустим, есть продвигаемый URL:

domen.com/ad/

Почему оптимизаторы советуют в robots.txt включить директиву:

Disallow: /ad/?*

2) есть ли смысл в директивах:

Disallow: /razdel1/razdel2
Disallow: /razdel1/razdel2/*

Яндексу точно пофиг. Все, что запрещает "Disallow: /razdel1/razdel2/*" - и так уже запрещено директивой "Disallow: /razdel1/razdel2".

В любом случае можно было написать так:

Disallow: /razdel1/razdel2*

Имеет ли смысл именно две вышеприведенные строчки?
BSP вне форума   Ответить с цитированием
Старый 17.01.2011, 15:35   #2
Добрый модератор
 
Аватар для zhegloff
 
Регистрация: 09.07.2007
Адрес: глобус Украины
Сообщений: 27,604
Вес репутации: 970
zhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущее
По умолчанию

http://robotstxt.org.ru/
__________________
Установка кода сапы от $9.95. Пишите в личку.
Правильный хостинг.
В личке бесплатно не отвечаю обычно.
zhegloff вне форума   Ответить с цитированием
Старый 17.01.2011, 15:58   #3
Новичок
 
Регистрация: 24.12.2010
Сообщений: 13
Вес репутации: 0
BSP на пути к лучшему
По умолчанию

Сайт отличный, я его изучал. Но ответа на свои вопросы не знаю, это некая специфика уже.
BSP вне форума   Ответить с цитированием
Старый 17.01.2011, 16:33   #4
Эксперт
 
Аватар для googlebot
 
Регистрация: 06.04.2009
Сообщений: 1,076
Вес репутации: 171
googlebot - прекрасное будущееgooglebot - прекрасное будущееgooglebot - прекрасное будущееgooglebot - прекрасное будущееgooglebot - прекрасное будущееgooglebot - прекрасное будущееgooglebot - прекрасное будущееgooglebot - прекрасное будущееgooglebot - прекрасное будущееgooglebot - прекрасное будущееgooglebot - прекрасное будущее
По умолчанию

Знак вопроса в конце скорее всего запрет индексировать страницу с параметрами.
Звездочка в конце вообще бессмысленно. Удобно смотреть и редактировать правила в действии в ЯВМ:
вебмастер → мои сайты → Настройка индексирования → Анализ robots.txt
__________________
DropBox - secure online backup sync service. На халяву 2-16 Гб (при реге по рефке 500 Мб бонус обоим)
googlebot вне форума   Ответить с цитированием
Старый 18.01.2011, 10:41   #5
Новичок
 
Регистрация: 24.12.2010
Сообщений: 13
Вес репутации: 0
BSP на пути к лучшему
По умолчанию

Цитата:
Сообщение от googlebot Посмотреть сообщение
Знак вопроса в конце скорее всего запрет индексировать страницу с параметрами.
это понятно. Но зачем так? Есть мнение, что это защита от происка конкурентов. Но в чем заключается эта защита?

Цитата:
Сообщение от googlebot Посмотреть сообщение
Звездочка в конце вообще бессмысленно. Удобно смотреть и редактировать правила в действии в ЯВМ:
полностью согласен. Я упомянул, что для яндекса эти две строчки (А точнее вторая строчка) избыточны. Есть обоснование зачем так можно делать?
BSP вне форума   Ответить с цитированием
Старый 18.01.2011, 11:40   #6
Эксперт
 
Аватар для googlebot
 
Регистрация: 06.04.2009
Сообщений: 1,076
Вес репутации: 171
googlebot - прекрасное будущееgooglebot - прекрасное будущееgooglebot - прекрасное будущееgooglebot - прекрасное будущееgooglebot - прекрасное будущееgooglebot - прекрасное будущееgooglebot - прекрасное будущееgooglebot - прекрасное будущееgooglebot - прекрасное будущееgooglebot - прекрасное будущееgooglebot - прекрасное будущее
По умолчанию

Цитата:
Сообщение от BSP Посмотреть сообщение
Но зачем так? Есть мнение, что это защита от происка конкурентов. Но в чем заключается эта защита?
Вряд-ли от конкурентов можно так защититься, скорее всего это чтобы не индексировались дубли страниц например с сессиями.
__________________
DropBox - secure online backup sync service. На халяву 2-16 Гб (при реге по рефке 500 Мб бонус обоим)
googlebot вне форума   Ответить с цитированием
Старый 18.01.2011, 11:43   #7
Эксперт
 
Регистрация: 12.12.2009
Адрес: Ростов-на-Дону
Сообщений: 1,537
Вес репутации: 187
eresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущее
По умолчанию

Цитата:
Сообщение от BSP Посмотреть сообщение
Почему оптимизаторы советуют в robots.txt включить директиву:
Ну наверное имеет смысл спросить у тех оптимизаторов которые советуют
__________________
Партнёрка знакомств с блоком SAPE. Сапа без расходов на хостинг!
Самый удобный Хостинг (в т.ч. сейчас - бесплатное полугодовое тестирование хостинга Node.JS)
eresik вне форума   Ответить с цитированием
Старый 25.01.2011, 11:29   #8
Новичок
 
Регистрация: 24.12.2010
Сообщений: 13
Вес репутации: 0
BSP на пути к лучшему
По умолчанию

К сожалению, сейчас возможности спросить нету.
BSP вне форума   Ответить с цитированием
Ответ

Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Пара вопросов artoff Вопросы от новичков 5 18.08.2010 12:02
Пара вопросов от новичка по контенту и robots fedor.p Общие вопросы оптимизации 5 30.03.2010 21:18
Пара вопросов Вероника Вопросы от новичков 1 23.09.2008 17:38
Пара вопросов по яше Ezekiel Яндекс 14 08.09.2008 04:11
Пара вопросов. 1 как ВМ, 2ой как О. nevi Вопросы по работе системы 15 01.11.2007 10:56


Часовой пояс GMT +3, время: 19:57.