Нужен ли robots.txt

redstaffer · 10.01.2008, 04:05

Вопрос в теме.

У меня на сайтах нет такого файла, и никогда небыло. Индексируются вроде нормально без всяких проблем.

Или он нужен только для прописки что индексировать а что нет?

Eric · 10.01.2008, 05:05

для запрета на индексацию указанных директорий

sova · 10.01.2008, 10:13

Цитата:

Сообщение от Eric

для запрета на индексацию указанных директорий

C недавнего времени яша начал дерективу allow понимать и маски

Tatul · 10.01.2008, 10:23

По опыту могу сказать, что нужен, наличие его помогает быстрее проиндексировать сайт.

big.bon · 10.01.2008, 13:41

Самое лучшее для обычного сайта - прописать директиву Host: www.domain.ru, для указания Яше про главный хост.

Ведь часто Яша долбится по адресу domain.ru (без www), а потом в www.domain.ru, потом долго уходит на сравнение зеркал и на склеивание и переиндексацию. От этого затягивается индексация всего сайта.

А если ему сразу указать про хост с www, то он только там и будет ходить.

По личному опыту.

Smok · 11.01.2008, 01:17

Цитата:

Сообщение от big.bon

Самое лучшее для обычного сайта - прописать директиву Host: www.domain.ru, для указания Яше про главный хост.

Ведь часто Яша долбится по адресу domain.ru (без www), а потом в www.domain.ru, потом долго уходит на сравнение зеркал и на склеивание и переиндексацию. От этого затягивается индексация всего сайта.

А если ему сразу указать про хост с www, то он только там и будет ходить.

По личному опыту.

Ну и пример тогда в студию!

p.s.
Читал, что если нет robots.txt на сайте, то стоит создать пустой файл,
если не хотите ничего закрывать там.

big.bon · 11.01.2008, 01:54

За примерами - в свой огород!

Читать и знать истину - разные вещи. help.yandex.ru вам в помощь.

Алексей Барыкин · 11.01.2008, 10:15

Цитата:

Сообщение от Smok

Ну и пример тогда в студию!

http://sape.ru/robots.txt

10.01.2008, 04:05	#1
redstaffer Специалист Регистрация: 16.12.2007 Сообщений: 206 Вес репутации: 0	Нужен ли robots.txt Вопрос в теме. У меня на сайтах нет такого файла, и никогда небыло. Индексируются вроде нормально без всяких проблем. Или он нужен только для прописки что индексировать а что нет?

10.01.2008, 05:05	#2
Eric Новичок Регистрация: 22.10.2007 Адрес: Кёнигсберг Сообщений: 60 Вес репутации: 203	для запрета на индексацию указанных директорий __________________ !

10.01.2008, 10:23	#4
Tatul Эксперт Регистрация: 16.11.2007 Сообщений: 1,253 Вес репутации: 252	По опыту могу сказать, что нужен, наличие его помогает быстрее проиндексировать сайт. __________________ Мой форум seo форум Партнёрская программа для белых и серых сайтов Ювелирные украшения 10%, женская одежда и сумки 10%, аудио и видео техника 3%.

10.01.2008, 13:41	#5
big.bon Мастер Регистрация: 04.11.2007 Сообщений: 747 Вес репутации: 220	Самое лучшее для обычного сайта - прописать директиву Host: www.domain.ru, для указания Яше про главный хост. Ведь часто Яша долбится по адресу domain.ru (без www), а потом в www.domain.ru, потом долго уходит на сравнение зеркал и на склеивание и переиндексацию. От этого затягивается индексация всего сайта. А если ему сразу указать про хост с www, то он только там и будет ходить. По личному опыту. __________________ VIP-RF.ru - предварительные заявки на домены РФ для VIP-клиентов (от 200 рублей!) re:рark - инвайт на супер-парковку!

11.01.2008, 01:54	#7
big.bon Мастер Регистрация: 04.11.2007 Сообщений: 747 Вес репутации: 220	За примерами - в свой огород! Читать и знать истину - разные вещи. help.yandex.ru вам в помощь. __________________ VIP-RF.ru - предварительные заявки на домены РФ для VIP-клиентов (от 200 рублей!) re:рark - инвайт на супер-парковку!

Похожие темы
Тема	Автор	Раздел	Ответов	Последнее сообщение
robots.txt	Alexander	Разработка и сопровождение сайтов	10	25.02.2010 21:54
301 для robots.txt	eveningspend	Вопросы от новичков	4	24.02.2008 12:42
sape.ru и robots.txt	Алексей Барыкин	Ошибки при работе с системой	0	11.12.2007 22:05
Вопрос по Яше и robots.txt	IPV	Яндекс	1	07.11.2007 11:33
Robots.txt	leszkin	Вопросы по работе системы	7	17.09.2007 09:37