Нужен ли robots.txt
 

Вопрос в теме.

У меня на сайтах нет такого файла, и никогда небыло. Индексируются вроде нормально без всяких проблем.

Или он нужен только для прописки что индексировать а что нет?

для запрета на индексацию указанных директорий

C недавнего времени яша начал дерективу allow понимать и маски

По опыту могу сказать, что нужен, наличие его помогает быстрее проиндексировать сайт.

Самое лучшее для обычного сайта - прописать директиву Host: www.domain.ru, для указания Яше про главный хост.

Ведь часто Яша долбится по адресу domain.ru (без www), а потом в www.domain.ru, потом долго уходит на сравнение зеркал и на склеивание и переиндексацию. От этого затягивается индексация всего сайта.

А если ему сразу указать про хост с www, то он только там и будет ходить.

По личному опыту.

Ну и пример тогда в студию!
:)
p.s.
Читал, что если нет robots.txt на сайте, то стоит создать пустой файл,
если не хотите ничего закрывать там.
;)

За примерами - в свой огород!

Читать и знать истину - разные вещи. help.yandex.ru вам в помощь.

http://sape.ru/robots.txt
:)