![]() |
#22 |
Эксперт
Регистрация: 12.12.2009
Адрес: Ростов-на-Дону
Сообщений: 1,537
Вес репутации: 244
![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() |
![]() Да никакой там логики не нарушено.
Просто для первых двух юзерагентов в этом роботсе отсутствуют директивы. И директива host должна стоять первой в списке директив для данного юзерагента (кстати, host кто-нибудь кроме яндекса поддерживает?), т.к. робот не просматривает весь список директив, а прерывается на первой подходящей для данного url, по крайней мере это-то я помню абсолютно точно ![]()
__________________
Самый удобный Хостинг (в т.ч. сейчас - бесплатное полугодовое тестирование хостинга Node.JS) |
![]() |
![]() |
![]() |
#23 |
Мастер
Регистрация: 29.03.2010
Адрес: <html></html>
Сообщений: 626
Вес репутации: 200
![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() |
![]() хорошо, все там отлично.
по теме уберите 2 последние строчки: User-agent: * Disallow: / и с сапой все должно быть ок. |
![]() |
![]() |
![]() |
#24 |
Эксперт
Регистрация: 12.12.2009
Адрес: Ростов-на-Дону
Сообщений: 1,537
Вес репутации: 244
![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() |
![]() Ну если по теме - то уж лучше узнать у ТС - каким роботам он хотел запретить полностью индексацию, и главное - зачем?
Другими словами - не проще ли для всех роботов указать одинаковые директивы. Ко мне кроме перечисленных активно заходит пожалуй только mail.ru
__________________
Самый удобный Хостинг (в т.ч. сейчас - бесплатное полугодовое тестирование хостинга Node.JS) |
![]() |
![]() |
![]() |
|
|
![]() |
||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Робот Сапы и Crawl-delay | Sea | Вопросы по работе системы | 10 | 13.02.2012 12:17 |
Робот сапы не видит установленный код | karizma | Установка кода на различные движки | 7 | 16.07.2009 11:22 |
Понимает ли робот сапы allow в robots.txt? | Danila | Вопросы по работе системы | 6 | 04.02.2009 17:59 |
робот сапы не видит ссылки | stremlenie1 | Ошибки при работе с системой | 2 | 26.11.2008 13:22 |
Робот сапы не видит код на .narod.ru | Эмка | Ошибки при работе с системой | 2 | 23.10.2008 11:47 |
Часовой пояс GMT +3, время: 13:01.