27.06.2007, 07:21 | #2 |
Специалист
Регистрация: 09.05.2007
Сообщений: 231
Вес репутации: 222
|
robots.txt по всякому должен действовать. Если не действует, это - серьезный баг системы.
|
27.06.2007, 10:27 | #3 | |
Администратор
Регистрация: 22.11.2006
Сообщений: 5,868
Вес репутации: 21475171
|
Цитата:
правда роботс нет отдельных директив роботу системы, и вы мне подали хорошую мысль, чтоб нашего юзер агента можно ставить пока при анализе роботс.тхт робот ориентируется на то что запрещено от яндекса |
|
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Влияние системы управления(CMS) на индексацию страниц Яшей | Valeriy007 | Яндекс | 6 | 14.05.2008 17:01 |
Sape и Google, возможно ли это? | wmcode | Курилка | 168 | 21.03.2008 21:34 |
Как проверить список страниц на индексацию в Гугле? | AffMaster | Вопросы по работе системы | 0 | 15.12.2007 18:35 |
Как добавить страницы в разделе - "Вебмастеру/Мои площадки" ? | МихАлыч | Вопросы по работе системы | 6 | 27.11.2007 18:24 |
Поясните про индексацию страниц пожалуйста | seo-mike | Вопросы по работе системы | 10 | 31.08.2007 13:39 |
Часовой пояс GMT +3, время: 02:48.