robots.txt

[Ruganin]

Я думал робот сапы игнорирует robots.txt , но по видимому это не так.
Составил роботс и разрешил только яндекс, гугл и рамблер - вопрос как правильно прописывается робот сапы? т.е. как он правильно обзывается поиск юзал ничего путного не нашел, сейчас роботс вот такой:

User-agent: Yandex
Disallow:
Host: www.site.ru

User-agent: Googlebot
Disallow:

User-agent: Mediapartners-Google
Disallow:

User-agent: StackRambler
Disallow:

User-agent: *
Disallow: /

все сылки свалились в эррор, в ошибках пишет страница запрещена в роботс. Такая конструкция будет правильная?

User-agent: Sape
Disallow:

[lay]

В ерор ссылки свалились, потому что вы запретили ПС индексацию своего сайта, диррективы для робота сапы тут ни при чем. Та же история приключилась бы, если бы вы заключили продажные ссылки в <noindex>

[MS555]

User-agent: *
Disallow: /

Это убери вообще) Сайт полностью запрещён таким образом.! Вот и Errorы вылезают

[Ruganin]

Сообщение от lay

В ерор ссылки свалились, потому что вы запретили ПС индексацию своего сайта, диррективы для робота сапы тут ни при чем. Та же история приключилась бы, если бы вы заключили продажные ссылки в <noindex>

Читайте внимательней роботс, я запретил всем КРОМЕ Яндекса, Гугла, и Рамблера.
Основной момент при приеме в сапу это индексация в Яндекс, т.е. все критерии соблюдены. А то что я закрыл от индесации все остальные ПС это мое дело не так ли?
Мне например не нужны роботы яхи, апорта, алехи, тартилы и еще кучи всего того что пасется на сайте.

Добавлено через 1 минуту

Сообщение от MS555

User-agent: *
Disallow: /

Это убери вообще) Сайт полностью запрещён таким образом.! Вот и Errorы вылезают

Уточните для кого запрещен, и поймете о чем речь. Ваше выражение сайт ПОЛНОСТЬЮ запрещен НЕ ВЕРНО, т.к. Яндекс и все остальные ПС кому разрешено прекрасно индексируют сайт.

[lay]

Прочитал внимательнее. Да, судя по всему вы правы. Только, не думаю, что индексирующий робот сапы, такой уж умный. Скорее всего, он не утруждает себя подробным анализом, а видя секцию:
User-agent: *
Disallow: /

просто считает, что сайт закрыт к индексации для всех. Чтобы получить равернутый ответ на ваш вопрос, прийдеться обратиться к администрации системы.

[Ruganin]

Сообщение от lay

Прочитал внимательнее. Да, судя по всему вы правы. Только, не думаю, что индексирующий робот сапы, такой уж умный. Скорее всего, он не утруждает себя подробным анализом, а видя секцию:
User-agent: *
Disallow: /

просто считает, что сайт закрыт к индексации для всех. Чтобы получить равернутый ответ на ваш вопрос, прийдеться обратиться к администрации системы.

Да по видимому так, просто я хотел пойти от обратного, запретить индексацию всем левым роботам, и оставить основные ПС, но по ходу придется вручную прописывать всякие в****ьты, алехи и мсны всякие.

[4ip]

В общем я как то не обращал внимание на robots.txt а щас хочу заполнить этот пробел в своем образовании. И хотел уточнить как создать типовый robots.txt который ботам все разрешает и имеются ссылки на хост и сайтмап. Поправьте если неправильно написал.

User-agent: *
Disallow:
Host: www.site.ru
Sitemap: www.site.ru/sitemap.xml

Так нормально, или нужно к каждому боту по имени обращаться

[MS555]

4ip, нормально ) а Disallow: впринципе в таком виде ненужен.

[4ip]

Уяснил спасибо. Слышал что когда в роботсе прописан сайтмап, то это хорошо. Может это и не сильно сказывается но лишним не будет

[Ank]

Сообщение от Ruganin

User-agent: *
Disallow: /

вот как раз сюда сапебот и попал