Пара вопросов по robots.txt

BSP · 17.01.2011, 15:23

Есть два вопроса:

1) допустим, есть продвигаемый URL:

domen.com/ad/

Почему оптимизаторы советуют в robots.txt включить директиву:

Disallow: /ad/?*

2) есть ли смысл в директивах:

Disallow: /razdel1/razdel2
Disallow: /razdel1/razdel2/*

Яндексу точно пофиг. Все, что запрещает "Disallow: /razdel1/razdel2/*" - и так уже запрещено директивой "Disallow: /razdel1/razdel2".

В любом случае можно было написать так:

Disallow: /razdel1/razdel2*

Имеет ли смысл именно две вышеприведенные строчки?

zhegloff · 17.01.2011, 15:35

http://robotstxt.org.ru/

BSP · 17.01.2011, 15:58

Сайт отличный, я его изучал. Но ответа на свои вопросы не знаю, это некая специфика уже.

googlebot · 17.01.2011, 16:33

Знак вопроса в конце скорее всего запрет индексировать страницу с параметрами.
Звездочка в конце вообще бессмысленно. Удобно смотреть и редактировать правила в действии в ЯВМ:
вебмастер → мои сайты → Настройка индексирования → Анализ robots.txt

BSP · 18.01.2011, 10:41

Цитата:

Сообщение от googlebot

Знак вопроса в конце скорее всего запрет индексировать страницу с параметрами.

это понятно. Но зачем так? Есть мнение, что это защита от происка конкурентов. Но в чем заключается эта защита?

Цитата:

Сообщение от googlebot

Звездочка в конце вообще бессмысленно. Удобно смотреть и редактировать правила в действии в ЯВМ:

полностью согласен. Я упомянул, что для яндекса эти две строчки (А точнее вторая строчка) избыточны. Есть обоснование зачем так можно делать?

googlebot · 18.01.2011, 11:40

Цитата:

Сообщение от BSP

Но зачем так? Есть мнение, что это защита от происка конкурентов. Но в чем заключается эта защита?

Вряд-ли от конкурентов можно так защититься, скорее всего это чтобы не индексировались дубли страниц например с сессиями.

eresik · 18.01.2011, 11:43

Цитата:

Сообщение от BSP

Почему оптимизаторы советуют в robots.txt включить директиву:

Ну наверное имеет смысл спросить у тех оптимизаторов которые советуют

BSP · 25.01.2011, 11:29

К сожалению, сейчас возможности спросить нету.

17.01.2011, 15:23	#1
BSP Новичок Регистрация: 24.12.2010 Сообщений: 13 Вес репутации: 0	Пара вопросов по robots.txt Есть два вопроса: 1) допустим, есть продвигаемый URL: domen.com/ad/ Почему оптимизаторы советуют в robots.txt включить директиву: Disallow: /ad/?* 2) есть ли смысл в директивах: Disallow: /razdel1/razdel2 Disallow: /razdel1/razdel2/* Яндексу точно пофиг. Все, что запрещает "Disallow: /razdel1/razdel2/" - и так уже запрещено директивой "Disallow: /razdel1/razdel2". В любом случае можно было написать так: Disallow: /razdel1/razdel2 Имеет ли смысл именно две вышеприведенные строчки?

17.01.2011, 15:35	#2
zhegloff Добрый модератор Регистрация: 09.07.2007 Адрес: глобус Украины Сообщений: 27,600 Вес репутации: 1025	http://robotstxt.org.ru/ __________________ Установка кода сапы от $9.95. Пишите в личку. Правильный хостинг. В личке бесплатно не отвечаю обычно.

17.01.2011, 16:33	#4
googlebot Эксперт Регистрация: 06.04.2009 Сообщений: 1,076 Вес репутации: 226	Знак вопроса в конце скорее всего запрет индексировать страницу с параметрами. Звездочка в конце вообще бессмысленно. Удобно смотреть и редактировать правила в действии в ЯВМ: вебмастер → мои сайты → Настройка индексирования → Анализ robots.txt __________________ DropBox - secure online backup sync service. На халяву 2-16 Гб (при реге по рефке 500 Мб бонус обоим)

Похожие темы
Тема	Автор	Раздел	Ответов	Последнее сообщение
Пара вопросов	artoff	Вопросы от новичков	5	18.08.2010 12:02
Пара вопросов от новичка по контенту и robots	fedor.p	Общие вопросы оптимизации	5	30.03.2010 21:18
Пара вопросов	Вероника	Вопросы от новичков	1	23.09.2008 17:38
Пара вопросов по яше	Ezekiel	Яндекс	14	08.09.2008 04:11
Пара вопросов. 1 как ВМ, 2ой как О.	nevi	Вопросы по работе системы	15	01.11.2007 10:56

17.01.2011, 15:58	#3
BSP Новичок Регистрация: 24.12.2010 Сообщений: 13 Вес репутации: 0	Сайт отличный, я его изучал. Но ответа на свои вопросы не знаю, это некая специфика уже.

25.01.2011, 11:29	#8
BSP Новичок Регистрация: 24.12.2010 Сообщений: 13 Вес репутации: 0	К сожалению, сейчас возможности спросить нету.