14.10.2008, 12:12 | #1 |
Новичок
|
Бот сапы смотрит на файл robots.txt?
Бот сапы смотрит на файл robots.txt?
__________________
|
14.10.2008, 12:18 | #2 |
Специалист
Регистрация: 15.07.2007
Адрес: Беларусь, но скоро будет РФ :)
Сообщений: 232
Вес репутации: 212
|
Да. Сеча не знаю, но раньше если страницы были закрыты от определенного поисковика, пусть и не Я, то сапа их не добавляла.
__________________
Каб любить Беларусь нашу милую... требо в росных краях побывать... |
14.10.2008, 12:47 | #5 |
Дикий
Регистрация: 02.06.2007
Адрес: <Noindex>
Сообщений: 2,551
Вес репутации: 355
|
Еще и чтит его как святыню
__________________
Делаю кулоны с опалами в стекле и не только! |
14.10.2008, 21:41 | #6 |
Новичок
|
тогда у меня вот такой интересный вопрос: я в роботсе запретил любым ботам смотреть папку "кэш", то есть если бот будет запрашивать определённую страницу что-бы посмотреть есть ли там купленная ссылка, то он её будет брать НЕ из кэша?
потому-что из-за кэша он может не видеть ссылок
__________________
|
14.10.2008, 22:27 | #7 |
Мастер
Регистрация: 13.11.2007
Адрес: понаехал тут...
Сообщений: 926
Вес репутации: 257
|
Вопрос к админам: может что-то (нужно) правильно указать в robots.txt, который у меня вообще пустой, дабы облегчить роботу Sape видеть ссылки на странице?
У меня сейчас 179 ссылок в еррор... обычно ерроры после обеда переходят в "ОК", но сегодня, что-то тормознулись - скоро полночь, а все ерроры... сил уже нет...
__________________
|
14.10.2008, 22:29 | #8 | |
Мастер
Регистрация: 08.06.2007
Адрес: Минск
Сообщений: 909
Вес репутации: 239
|
Цитата:
|
|
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Робот сапы пропускает станицы которые стоят в ноиндексе в файле robots.txt | gdv | Вопросы по работе системы | 2 | 14.10.2008 21:42 |
файл links... | lobo | Вопросы от новичков | 34 | 03.09.2008 14:20 |
Файл links.db - где найти его? | TzRD | Вопросы от новичков | 2 | 24.07.2008 02:22 |
Как создать файл .htaccess | borodun | Вопросы от новичков | 6 | 31.03.2008 13:15 |
Закачать файл 100 мб? | Mr.Wolf | Курилка | 21 | 11.03.2008 15:32 |
Часовой пояс GMT +3, время: 15:23.