robots.txt

pgolovko · 27.05.2010, 18:32

Yahoo качает трафик, а посетителей непосылает, пытаюсь "забанить" его..

Код:

User-agent: *
Crawl-delay: 99
Allow: /

User-agent: Slurp
Disallow: /

Данный код был установлен недели 2 назад, а yahoo всерано качает контент. может чего не так?
Советы от Yahoo: http://help.yahoo.com/l/us/yahoo/sea.../slurp-02.html

zhegloff · 27.05.2010, 18:39

pgolovko, местами поменять не пробовали?

Последний Герой · 27.05.2010, 18:47

pgolovko, проверить по айпи, может и не yahoo это

pgolovko · 30.05.2010, 03:27

Спасибо за ответы. Будем тестировать..

Pepel · 30.05.2010, 13:49

Звёздочку нужно ставить, а не слеш...

kkk008009kkk · 01.06.2010, 17:18

Здравствуйте.
Что это значит, если в роботе.хтх написано :

User-Agent: *
Disallow:

zhegloff · 01.06.2010, 17:21

kkk008009kkk, http://robotstxt.org.ru/

kkk008009kkk · 01.06.2010, 17:30

Спасибо. Как я понял, это пустая строка в User-agent.Но что она означает, я там не нашел.

zhegloff · 01.06.2010, 17:32

Цитата:

Сообщение от kkk008009kkk

Спасибо. Как я понял, это пустая строка в User-agent.Но что она означает, я там не нашел.

она означает, что ничего не запрещено.

kkk008009kkk · 01.06.2010, 17:32

Спасибо.все в гугле нашел.

27.05.2010, 18:39	#2
zhegloff Добрый модератор Регистрация: 09.07.2007 Адрес: глобус Украины Сообщений: 27,600 Вес репутации: 1026	pgolovko, местами поменять не пробовали? __________________ Установка кода сапы от $9.95. Пишите в личку. Правильный хостинг. В личке бесплатно не отвечаю обычно.

01.06.2010, 17:21	#7
zhegloff Добрый модератор Регистрация: 09.07.2007 Адрес: глобус Украины Сообщений: 27,600 Вес репутации: 1026	kkk008009kkk, http://robotstxt.org.ru/ __________________ Установка кода сапы от $9.95. Пишите в личку. Правильный хостинг. В личке бесплатно не отвечаю обычно.

Похожие темы
Тема	Автор	Раздел	Ответов	Последнее сообщение
Robots.txt для DLE	NIG	Разработка и сопровождение сайтов	8	04.08.2010 13:30
robots.txt	Ruganin	Вопросы от новичков	29	24.02.2009 18:20
robots.txt	kirill1992	Яндекс	2	22.02.2009 14:45
в robots.txt без www...	tito-m	Вопросы от новичков	4	01.12.2008 20:34
301 для robots.txt	eveningspend	Вопросы от новичков	4	24.02.2008 12:42

27.05.2010, 18:47	#3
Последний Герой Bannеd Регистрация: 17.09.2008 Сообщений: 6,446 Вес репутации: 369	pgolovko, проверить по айпи, может и не yahoo это

30.05.2010, 03:27	#4
pgolovko Специалист Регистрация: 07.05.2009 Адрес: Las Vegas Сообщений: 217 Вес репутации: 189	Спасибо за ответы. Будем тестировать..

30.05.2010, 13:49	#5
Pepel Мастер Регистрация: 28.05.2007 Адрес: Липецк Сообщений: 528 Вес репутации: 223	Звёздочку нужно ставить, а не слеш...

01.06.2010, 17:18	#6
kkk008009kkk Новичок Регистрация: 04.05.2010 Сообщений: 70 Вес репутации: 0	Здравствуйте. Что это значит, если в роботе.хтх написано : User-Agent: * Disallow:

01.06.2010, 17:30	#8
kkk008009kkk Новичок Регистрация: 04.05.2010 Сообщений: 70 Вес репутации: 0	Спасибо. Как я понял, это пустая строка в User-agent.Но что она означает, я там не нашел.

01.06.2010, 17:32	#10
kkk008009kkk Новичок Регистрация: 04.05.2010 Сообщений: 70 Вес репутации: 0	Спасибо.все в гугле нашел.