Файл Robots.txt

[Alexa137]

Здравствуйте!
Вот создаю новый сайт, хочу все сделать правильно, и возник вопрос:обязательно ли делать файл Robots.txt?
Все, что нужно закрыть от индексации, я закрыла тегами noindex. Больше закрывать нечего.
И не забанит ли Яша из-за отсутствия файла?

[XAHTOB]

Сообщение от Alexa137

И не забанит ли Яша из-за отсутствия файла?

не забанит. и если

Сообщение от Alexa137

Больше закрывать нечего.

то, в принципе, роботс не нужен, но на всякий случай, не мешало бы поставить, вдруг чего то забыли закрыть.

[Alexa137]

Сообщение от XAHTOB

не забанит. и если

то, в принципе, роботс не нужен, но на всякий случай, не мешало бы поставить, вдруг чего то забыли закрыть.

СпасибоНа всякий случай сделала.

[DiAksID]

Сообщение от XAHTOB

не забанит. и если

то, в принципе, роботс не нужен, но на всякий случай, не мешало бы поставить, вдруг чего то забыли закрыть.

опять - лишь бы ляпнуть, хонтяра?

"в принципе" - роботс совершенно необходим с точки зрения оптимизации:

- что бы дойти до тега "noindex" и понять что индексировать не надо поисковый бот будет каждый раз, снова и снова, заглотывать ненужную старницу сайта, потратив время и замедлив индексацию нужных страниц. а время на каждый заход на сайт у ботов ограничено, объем обрабатываемого контента за проход - то же.

одного этого более чем достаточно, но для "гуру" вроде XAHTOB есЧо чуть чуть:

- директива Sitemap
- важнейшая для Яши (хоть и убогая по сути) директива Host

таки дела...

[Leonardo]

роботс обязательно делать, пусть даже и не запрещать а просто прописать - правило хорошего тона

User-agent: *
Disallow: /

уже польза, а так желательно управлять роботами, а то они как дети малые одни быстрее, другие медленные, кого-то подтолкнуть нужно.а ковото придержать . делайте отдельные секции для каждого робота

[Alexa137]

Сообщение от DiAksID

опять - лишь бы ляпнуть, хонтяра?

"в принципе" - роботс совершенно необходим с точки зрения оптимизации:

- что бы дойти до тега "noindex" и понять что индексировать не надо поисковый бот будет каждый раз, снова и снова, заглотывать ненужную старницу сайта, потратив время и замедлив индексацию нужных страниц. а время на каждый заход на сайт у ботов ограничено, объем обрабатываемого контента за проход - то же.

одного этого более чем достаточно, но для "гуру" вроде XAHTOB есЧо чуть чуть:

- директива Sitemap
- важнейшая для Яши (хоть и убогая по сути) директива Host

таки дела...

Спасибо за подробный ответ. Я вот простенький роботс сделала, без директивы Host-я не въехала, что там писать. Вот есть у меня сайт, адрес в урл-строке,к примеру: htt p: / /abc.def.ru , а какой урл мне в Host писать?

[maksim7]

Alexa137, ну вот пример: http://forum.sape.ru/robots.txt

[Alexa137]

Сообщение от maksim7

Alexa137, ну вот пример: http://forum.sape.ru/robots.txt

Спасибо большое!Опробуем

[Sergoff]

Хотел сегодня создать такую же тему.
Раньше особо не обращал внимания, но теперь решил сделать robots-ы.
Вопросы к знающим.

Пример для DLE сайта:

User-agent: *
Disallow: /?do=feedback
Disallow: /?do=register
Disallow: /?do=lastcomments
Disallow: /?do=stats
Disallow: /?do=lastnews
Disallow: /addnews.html
Disallow: /?do=search&mode=advanced
Disallow: /index.php?do=lostpassword

Но когда захожу в панель вебмастера и проверяю, то он не воспринимает запреты. Когда указываю User-agent: Yandex , то всё гуд.

Стоит ли делать отдельно указание Яндексу, а потом дублировать для всех остальных, по типу:

User-agent: Yandex
Disallow: /?do=feedback
Disallow: /?do=register
Disallow: /?do=lastcomments
Disallow: /?do=stats
Disallow: /?do=lastnews
Disallow: /addnews.html
Disallow: /?do=search&mode=advanced
Disallow: /index.php?do=lostpassword
Host: blabla.ru

User-agent: *
Disallow: /?do=feedback
Disallow: /?do=register
Disallow: /?do=lastcomments
Disallow: /?do=stats
Disallow: /?do=lastnews
Disallow: /addnews.html
Disallow: /?do=search&mode=advanced
Disallow: /index.php?do=lostpassword
Sitemap: http://blabla.ru/sitemap.xml

И вопрос номер 2. Запрещаете ли rss ленты? По сути - это ведь дублирующийся контент. Спасибо заранее...

Добавлено через 3 минуты

Сообщение от Leonardo

роботс обязательно делать, пусть даже и не запрещать а просто прописать - правило хорошего тона

То, что ты указал - это ж вроде запрет индексирования



Кажется нашел ответ сам в самом яндексе:

причем, если обнаружено 'User-agent: Yandex', директивы для 'User-agent: *' не учитываются.

Т.е. указывая

User-agent: *
Disallow: /?do=feedback
Disallow: /?do=register

User-agent: Yandex
Host: blabla.info

Disallow он перестает учитывать... Я правильно понимаю?

[eresik]

Сообщение от Sergoff

Стоит ли делать отдельно указание Яндексу, а потом дублировать для всех остальных,

Если разрешения/запреты одинаковые, то в этом нет никакого смысла

Добавлено через 1 минуту

Сообщение от Leonardo

роботс обязательно делать, пусть даже и не запрещать а просто прописать - правило хорошего тона
Цитата:
User-agent: *
Disallow: /
уже польза

Аналог пустого роботс:
User-agent: *
Disallow: