Файл Robots.txt

[DiAksID]

Сообщение от eresik

Где это он прям так написал?

Если вы заметили - на моём скрине есть вкладочка "используемые секции", если туда нажать - появится именно те строки которые вы привели в качестве доказательства "корректной работы роботс.тхт"

уже становится смешно , азбуку объяснять? функции панели ВМ Яши? извольте.

есть две вкладки "Результаты проверки robots.txt" и "Используемые секции"

вкладка "Результаты проверки robots.txt" - в ней должно быть перечисление корректных секций и строк в robots. если перечисления нет, а только ошибки - делайте вывод об отсутствии корректных секций. в свете поднятых вопросов интересовать может только она. появляется она только при наличии ошибок в robots.

вкладка "Используемые секции" - результат работы обработчика Яндекса, который нагло исправляет то, что считает нужным.

[eresik]

Блин, ну не верите не надо, чего я тут доказываю

Директивы отрабатываются? Отрабатываются.
В нужных секциях? В нужных.

А вы мне про то "где и что должно выводится, а если не выводится то значит всё плохо".

Нигде там не написано "всё плохо".
Точка.

Остальное на суд общественности.

[aship]

Сообщение от Alexa137

Здравствуйте!
Вот создаю новый сайт, хочу все сделать правильно, и возник вопрос:обязательно ли делать файл Robots.txt?

Категорически обязательно!

Сообщение от Alexa137

Все, что нужно закрыть от индексации, я закрыла тегами noindex.

Лучше использовать метатеги robots с параметрами noindex, nofollow

Сообщение от Alexa137

И не забанит ли Яша из-за отсутствия файла?

Не забанит, но будет относиться к сайту чуток похуже, чем если бы он был.

[XAHTOB]

Сообщение от aship

чуток похуже,

в продолжение жаркого спора на предыдущих страницах появился, может быть не совсем понятный, вопрос: "Что лучше: неправильно написанный роботс или отсутствие роботса?"

[Sergoff]

aship, ждал Вас здесь

Если не затруднит, скажите, как специалист, какой из двух вариантов robots правильнее:

User-agent: Yandex
Disallow: /?do=feedback
Disallow: /?do=register
Disallow: /?do=lastcomments
Disallow: /?do=stats
Disallow: /?do=lastnews
Disallow: /addnews.html
Disallow: /?do=search&mode=advanced
Disallow: /index.php?do=lostpassword
Disallow: /engine/rss.php
Host: blablabla.info

User-agent: *
Disallow: /?do=feedback
Disallow: /?do=register
Disallow: /?do=lastcomments
Disallow: /?do=stats
Disallow: /?do=lastnews
Disallow: /addnews.html
Disallow: /?do=search&mode=advanced
Disallow: /index.php?do=lostpassword
Disallow: /engine/rss.php
Sitemap: http://blablabla.info/sitemap.xml

или

User-agent: *
Disallow: /?do=feedback
Disallow: /?do=register
Disallow: /?do=lastcomments
Disallow: /?do=stats
Disallow: /?do=lastnews
Disallow: /addnews.html
Disallow: /?do=search&mode=advanced
Disallow: /index.php?do=lostpassword
Disallow: /engine/rss.php
Host: blablabla.info
Sitemap: http://blablabla.info/sitemap.xml

[Leonardo]

Sergoff, правильнее для каждого робота писать отдельную секцию

для гугля одно для яши друге, для яху третье и так далее

по своему опыту говорю, создал файлик и разделил на секции

User-agent: *
Disallow: /lраздел1/
Sitemap: http://www.сайт.info/sitemap.xml

User-agent: googlebot
Allow: /
Disallow: /раздел/материал.html

User-agent: Yandex
Disallow: /раздел/материал.html
Host: www.сайт.info

после чего посмотрел как яша смотрит на содержимое роботса и увидел главное - используемые секции

Sitemap: http://www.сайт.info/sitemap.xml
User-agent: Yandex
Disallow: /раздел/материал.html
Host: www.сайт.info

и пришёл к выводу, что директорию

Disallow: /lраздел1/

он не воспринял, поэтому её нужно дублировать в юзерагенте яши -если это критически

[INS]

Сообщение от DiAksID

млят, потому что все боты, кроме Яшиного не знают директивы Host и сочтут всю секцию User-agent ошибочной.

у себя ничего подобного не замечал, гугл нормально понимает роботс и с директивой Host.

[Sergoff]

Сообщение от Leonardo

и пришёл к выводу, что директорию
он не воспринял, поэтому её нужно дублировать в юзерагенте яши -если это критически

Это обсуждалось Выше и написано на сайте самого яндекса.

Если указано User-agent: Yandex, то все остальное Яша не воспринимает, в т.ч. User-agent: *

Если указано User-agent:* и не встречается User-agent: Yandex, то Яша кушает нормально все условия...

Тут основные обсуждения шли по поводу Host: www.сайт.info

Пока раздельные секции сделал. Посмотрим...

[informteh]

А есть ли разница если я напишу host: site.ru или host: www.site.ru, т.е. с www или без?

[chahlic]

Сообщение от informteh

А есть ли разница если я напишу host: site.ru или host: www.site.ru, т.е. с www или без?

Есть и большая: прописывать надо адрес, который является (или надо сделать его) главным зеркалом сайта