Файл Robots.txt
 

Здравствуйте!
Вот создаю новый сайт, хочу все сделать правильно, и возник вопрос:обязательно ли делать файл Robots.txt?
Все, что нужно закрыть от индексации, я закрыла тегами noindex. Больше закрывать нечего.
И не забанит ли Яша из-за отсутствия файла?

не забанит. и если
то, в принципе, роботс не нужен, но на всякий случай, не мешало бы поставить, вдруг чего то забыли закрыть.:)

Спасибо:)На всякий случай сделала.

опять - лишь бы ляпнуть, хонтяра? :D

"в принципе" - роботс совершенно необходим с точки зрения оптимизации:

- что бы дойти до тега "noindex" и понять что индексировать не надо поисковый бот будет каждый раз, снова и снова, заглотывать ненужную старницу сайта, потратив время и замедлив индексацию нужных страниц. а время на каждый заход на сайт у ботов ограничено, объем обрабатываемого контента за проход - то же.

одного этого более чем достаточно, но для "гуру" вроде XAHTOB есЧо чуть чуть:

- директива Sitemap
- важнейшая для Яши (хоть и убогая по сути) директива Host

таки дела...

роботс обязательно делать, пусть даже и не запрещать а просто прописать - правило хорошего тонауже польза, а так желательно управлять роботами, а то они как дети малые :) одни быстрее, другие медленные, кого-то подтолкнуть нужно.а ковото придержать :). делайте отдельные секции для каждого робота

Спасибо за подробный ответ. Я вот простенький роботс сделала, без директивы Host-я не въехала, что там писать. Вот есть у меня сайт, адрес в урл-строке,к примеру: htt p: / /abc.def.ru , а какой урл мне в Host писать?

Alexa137, ну вот пример: http://forum.sape.ru/robots.txt :)

Спасибо большое!Опробуем:)

Хотел сегодня создать такую же тему.
Раньше особо не обращал внимания, но теперь решил сделать robots-ы.
Вопросы к знающим.

Пример для DLE сайта:

User-agent: *
Disallow: /?do=feedback
Disallow: /?do=register
Disallow: /?do=lastcomments
Disallow: /?do=stats
Disallow: /?do=lastnews
Disallow: /addnews.html
Disallow: /?do=search&mode=advanced
Disallow: /index.php?do=lostpassword

Но когда захожу в панель вебмастера и проверяю, то он не воспринимает запреты. Когда указываю User-agent: Yandex , то всё гуд.

Стоит ли делать отдельно указание Яндексу, а потом дублировать для всех остальных, по типу:

User-agent: Yandex
Disallow: /?do=feedback
Disallow: /?do=register
Disallow: /?do=lastcomments
Disallow: /?do=stats
Disallow: /?do=lastnews
Disallow: /addnews.html
Disallow: /?do=search&mode=advanced
Disallow: /index.php?do=lostpassword
Host: blabla.ru

User-agent: *
Disallow: /?do=feedback
Disallow: /?do=register
Disallow: /?do=lastcomments
Disallow: /?do=stats
Disallow: /?do=lastnews
Disallow: /addnews.html
Disallow: /?do=search&mode=advanced
Disallow: /index.php?do=lostpassword
Sitemap: http://blabla.ru/sitemap.xml

И вопрос номер 2. Запрещаете ли rss ленты? По сути - это ведь дублирующийся контент. Спасибо заранее...

Добавлено через 3 минуты
То, что ты указал - это ж вроде запрет индексирования :)



Кажется нашел ответ сам в самом яндексе:

Т.е. указывая

User-agent: *
Disallow: /?do=feedback
Disallow: /?do=register

User-agent: Yandex
Host: blabla.info

Disallow он перестает учитывать... Я правильно понимаю?

Если разрешения/запреты одинаковые, то в этом нет никакого смысла

Добавлено через 1 минуту
Аналог пустого роботс:
User-agent: *
Disallow: