Яндекс и robots.txt

dell · 19.12.2007, 11:43

Прописал в robots.txt:

user-agent: *
disallow: file.html

Проверил по Яндексу:
http://www.yandex.ru/cgi-bin/test-robots?host=имя.ru

Написано:
Данный файл robots.txt ничего не запрещает.
Глюк?

Прочитал, что можно сделать так:
user-agent: *
disallow: /file

Поможет?

Алексей Барыкин · 19.12.2007, 11:52

user-agent: *
disallow: /file.html

dell · 19.12.2007, 12:10

Цитата:

Сообщение от Алексей Барыкин

user-agent: *
disallow: /file.html

Ок.
В массе литературы написано, что достаточно написать:
disallow: file.html

http://www.webmascon.com/topics/adv/8a.asp
http://www.realcoding.net/article/view/4440

Это меня и сбило...

Executor · 19.12.2007, 12:18

Цитата:

disallow: file.html

Насколько я понимаю, эта команда запретит индексировать все файлы file.html

Например:
http://site.ru/blabla/file.html
http://site.ru/go/file.html
http://site.ru/file.html

Цитата:

disallow: /file.html

А эта запретит индексацию только file.html в корне сайта.

Алексей Барыкин · 19.12.2007, 12:18

disallow: file.html - запрет индексации file.html в любом месте
disallow: /file.html - запрет индексации file.html в корне сайта

sova · 19.12.2007, 13:45

Вот тут все примеры что правильно что нет
http://robotstxt.org.ru/RobotstxtErrors

tlittle · 19.12.2007, 14:00

Цитата:

Сообщение от Алексей Барыкин

disallow: file.html - запрет индексации file.html в любом месте
disallow: /file.html - запрет индексации file.html в корне сайта

Кто Вам сказал подобную ерунду? http://www.robotstxt.org/orig.html

Цитата:

The value of this field specifies a partial URL that is not to be visited. This can be a full path, or a partial path; any URL that starts with this value will not be retrieved.

Вкратце - в инструкциях дисаллоу указываются не названия файлов, а начало URI, которые не надо скачивать.

Losjah · 19.12.2007, 14:12

Когда Яндекс начнёт понимать символы подстановки, хотя в роботсе он читает эти символы, но фактически игнорирует.

Использование в Disallow символов подстановки

Иногда необходимо написать что-то вроде:

User-agent: *
Disallow: file*.html

Алексей Барыкин · 19.12.2007, 14:24

Цитата:

Кто Вам сказал подобную ерунду?

Да вычитал где-то...

Offtop, но про robots.txt:
http://forum.sape.ru/showthread.php?t=6894

dell · 19.12.2007, 15:51

Что конкретно прописать в robots.txt, чтобы не индексировался файл в корне сайта, я так и не понял...

19.12.2007, 11:43	#1
dell Специалист Регистрация: 20.02.2007 Сообщений: 305 Вес репутации: 221	Яндекс и robots.txt Прописал в robots.txt: user-agent: * disallow: file.html Проверил по Яндексу: http://www.yandex.ru/cgi-bin/test-robots?host=имя.ru Написано: Данный файл robots.txt ничего не запрещает. Глюк? Прочитал, что можно сделать так: user-agent: * disallow: /file Поможет?

Похожие темы
Тема	Автор	Раздел	Ответов	Последнее сообщение
robots.txt	Alexander	Разработка и сопровождение сайтов	10	25.02.2010 21:54
вопрос по robots.txt	exe2	Разработка и сопровождение сайтов	11	08.04.2008 21:00
301 для robots.txt	eveningspend	Вопросы от новичков	4	24.02.2008 12:42
Robots.txt	leszkin	Вопросы по работе системы	7	17.09.2007 09:37
Немного о robots.txt	Kater	Разработка и сопровождение сайтов	10	19.08.2007 09:11

19.12.2007, 11:52	#2
Алексей Барыкин Хитрый жук Регистрация: 05.12.2007 Адрес: Конаково Сообщений: 2,987 Вес репутации: 389	user-agent: * disallow: /file.html

19.12.2007, 12:18	#5
Алексей Барыкин Хитрый жук Регистрация: 05.12.2007 Адрес: Конаково Сообщений: 2,987 Вес репутации: 389	disallow: file.html - запрет индексации file.html в любом месте disallow: /file.html - запрет индексации file.html в корне сайта

19.12.2007, 13:45	#6
sova Специалист Регистрация: 18.08.2007 Адрес: Минск Сообщений: 262 Вес репутации: 210	Вот тут все примеры что правильно что нет http://robotstxt.org.ru/RobotstxtErrors

19.12.2007, 14:12	#8
Losjah Эксперт Регистрация: 21.08.2007 Адрес: Мск Сообщений: 1,503 Вес репутации: 271	Когда Яндекс начнёт понимать символы подстановки, хотя в роботсе он читает эти символы, но фактически игнорирует. Использование в Disallow символов подстановки Иногда необходимо написать что-то вроде: User-agent: * Disallow: file*.html

19.12.2007, 15:51	#10
dell Специалист Регистрация: 20.02.2007 Сообщений: 305 Вес репутации: 221	Что конкретно прописать в robots.txt, чтобы не индексировался файл в корне сайта, я так и не понял...