02.02.2009, 11:54 | #1 |
Специалист
Регистрация: 02.06.2007
Сообщений: 169
Вес репутации: 215
|
robots.txt
Я думал робот сапы игнорирует robots.txt , но по видимому это не так.
Составил роботс и разрешил только яндекс, гугл и рамблер - вопрос как правильно прописывается робот сапы? т.е. как он правильно обзывается поиск юзал ничего путного не нашел, сейчас роботс вот такой: User-agent: Yandex Disallow: Host: www.site.ru User-agent: Googlebot Disallow: User-agent: Mediapartners-Google Disallow: User-agent: StackRambler Disallow: User-agent: * Disallow: / все сылки свалились в эррор, в ошибках пишет страница запрещена в роботс. Такая конструкция будет правильная? User-agent: Sape Disallow: |
02.02.2009, 18:43 | #4 | |
Специалист
Регистрация: 02.06.2007
Сообщений: 169
Вес репутации: 215
|
Цитата:
Основной момент при приеме в сапу это индексация в Яндекс, т.е. все критерии соблюдены. А то что я закрыл от индесации все остальные ПС это мое дело не так ли? Мне например не нужны роботы яхи, апорта, алехи, тартилы и еще кучи всего того что пасется на сайте. Добавлено через 1 минуту Уточните для кого запрещен, и поймете о чем речь. Ваше выражение сайт ПОЛНОСТЬЮ запрещен НЕ ВЕРНО, т.к. Яндекс и все остальные ПС кому разрешено прекрасно индексируют сайт. Последний раз редактировалось Ruganin; 02.02.2009 в 18:43. Причина: Добавлено сообщение |
|
02.02.2009, 18:54 | #5 |
Мастер
Регистрация: 11.08.2007
Сообщений: 705
Вес репутации: 238
|
Прочитал внимательнее. Да, судя по всему вы правы. Только, не думаю, что индексирующий робот сапы, такой уж умный. Скорее всего, он не утруждает себя подробным анализом, а видя секцию:
User-agent: * Disallow: / просто считает, что сайт закрыт к индексации для всех. Чтобы получить равернутый ответ на ваш вопрос, прийдеться обратиться к администрации системы. |
02.02.2009, 19:00 | #6 | |
Специалист
Регистрация: 02.06.2007
Сообщений: 169
Вес репутации: 215
|
Цитата:
|
|
06.02.2009, 13:34 | #7 |
Мастер
|
В общем я как то не обращал внимание на robots.txt а щас хочу заполнить этот пробел в своем образовании. И хотел уточнить как создать типовый robots.txt который ботам все разрешает и имеются ссылки на хост и сайтмап. Поправьте если неправильно написал.
User-agent: * Disallow: Host: www.site.ru Sitemap: www.site.ru/sitemap.xml Так нормально, или нужно к каждому боту по имени обращаться
__________________
|
06.02.2009, 21:29 | #9 |
Мастер
|
Уяснил спасибо. Слышал что когда в роботсе прописан сайтмап, то это хорошо. Может это и не сильно сказывается но лишним не будет
__________________
|
07.02.2009, 00:11 | #10 |
Администратор
Регистрация: 05.02.2007
Сообщений: 18,405
Вес репутации: 720
|
__________________
Читаем ФАК |
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Robots.txt для DLE | NIG | Разработка и сопровождение сайтов | 8 | 04.08.2010 13:30 |
в robots.txt без www... | tito-m | Вопросы от новичков | 4 | 01.12.2008 20:34 |
robots.txt | Dr.Dream | Яндекс | 11 | 10.10.2008 16:18 |
301 для robots.txt | eveningspend | Вопросы от новичков | 4 | 24.02.2008 12:42 |
Robots.txt | leszkin | Вопросы по работе системы | 7 | 17.09.2007 09:37 |
Часовой пояс GMT +3, время: 18:37.