Правильно ли прописан файл robot.txt?

Satira · 23.03.2012, 11:29

Всем добрый день!
Подскажите правильно ли прописан файл robots.txt
Задача стоит в том, чтобы были проиндексированы все страницы сайта, кроме тех что указаны после Disallow?

User-agent: *
Disallow: /catalog/Plitka_zhivoy_pol/
Disallow: /catalog/EL_Posteri_/
Disallow: /catalog/Virtualniy_promouter/
Disallow: /catalog/Svetovoy_provod/
Disallow: /catalog/Svetyashchiesya_kraski/
Disallow: /catalog/3D_ppComma_/
Disallow: /catalog/Reklamniy_3d_stiker/
Disallow: /news/nov_03/
Host: ..(адрес сайта)..

Заранее спасибо.

Taxis · 23.03.2012, 11:31

Правильно

Jooz · 23.03.2012, 17:53

В ЯВМ есть отличный тестер robots, проверяйте все там.

Satira · 26.03.2012, 09:41

Проверяли, но на форуме пишут, что

Цитата:

Сообщение от Qwazimodo

Роботс это рекомендация а не директива обязательная к исполнению.

Т.е. все таки есть вероятность того, что страницы указанные в роботе будут проиндексированы?

Jooz · 26.03.2012, 09:45

Цитата:

Сообщение от Satira

Т.е. все таки есть вероятность того, что страницы указанные в роботе будут проиндексированы?

Нет, такой вероятности - наличие robots.txt гарантирует учет ПС правил описанных в нем.

V_O_L_A_N_D · 29.03.2012, 21:16

Цитата:

Сообщение от Jooz

Нет, такой вероятности - наличие robots.txt гарантирует учет ПС правил описанных в нем.

Какая твердость слов. Я бы так не ручался... Гугл лазит по папкам всем, до самых закоулков...

Post · 30.03.2012, 00:01

сегодня видел картину - Я робот побывал на страничках закрытых от индексации. (пытаюсь загнать в индекс новые страницы, поэтому отслеживаю посещение Я робота)
а в Я вебмастере загружаете сайт в панель, открываете "Настройка индексирования. Анализ роботс" и в "Список URL добавить" добавляете все урлы по которым есть вопросы. жмешь "проверить" и будут у тебя ответы на все вопросы.

23.03.2012, 11:29	#1
Satira Новичок Регистрация: 23.03.2012 Сообщений: 7 Вес репутации: 0	Правильно ли прописан файл robot.txt? Всем добрый день! Подскажите правильно ли прописан файл robots.txt Задача стоит в том, чтобы были проиндексированы все страницы сайта, кроме тех что указаны после Disallow? User-agent: * Disallow: /catalog/Plitka_zhivoy_pol/ Disallow: /catalog/EL_Posteri_/ Disallow: /catalog/Virtualniy_promouter/ Disallow: /catalog/Svetovoy_provod/ Disallow: /catalog/Svetyashchiesya_kraski/ Disallow: /catalog/3D_ppComma_/ Disallow: /catalog/Reklamniy_3d_stiker/ Disallow: /news/nov_03/ Host: ..(адрес сайта).. Заранее спасибо.

23.03.2012, 17:53	#3
Jooz Вредина Регистрация: 03.07.2007 Адрес: д.Коноплянка Сообщений: 3,535 Вес репутации: 432	В ЯВМ есть отличный тестер robots, проверяйте все там. __________________ Чтобы произошло чудо нужно обязательно дунуть. Если не дунуть - чуда не произойдет! ツ

Похожие темы
Тема	Автор	Раздел	Ответов	Последнее сообщение
Яндекс палит папку и хеш код, который прописан в шаблоне?	Joz	Вопросы от новичков	7	24.02.2011 16:22
Как правильно написать файл .htaccess ?	vistr	Вопросы по работе системы	1	09.01.2011 09:05
Как правильно написать robot.txt	Praetorian	Яндекс	7	01.09.2010 10:57
robot sape	Krokus	Ошибки при работе с системой	15	10.08.2008 03:20
WinHTTP Robot?	Indigo	Разработка и сопровождение сайтов	6	02.03.2008 18:57

23.03.2012, 11:31	#2
Taxis Новичок Регистрация: 04.09.2011 Сообщений: 5 Вес репутации: 0	Правильно

30.03.2012, 00:01	#7
Post Новичок Регистрация: 16.02.2012 Сообщений: 39 Вес репутации: 150	сегодня видел картину - Я робот побывал на страничках закрытых от индексации. (пытаюсь загнать в индекс новые страницы, поэтому отслеживаю посещение Я робота) а в Я вебмастере загружаете сайт в панель, открываете "Настройка индексирования. Анализ роботс" и в "Список URL добавить" добавляете все урлы по которым есть вопросы. жмешь "проверить" и будут у тебя ответы на все вопросы.