Бот сапы смотрит на файл robots.txt?

[mekal]

Бот сапы смотрит на файл robots.txt?

[apple]

Да. Сеча не знаю, но раньше если страницы были закрыты от определенного поисковика, пусть и не Я, то сапа их не добавляла.

[lay]

Смотрит конечно

[Veles]

Сообщение от mekal

Бот сапы смотрит на файл robots.txt?

Не только смотрит, но и руководствуется. Так, что халява не прокатит...

[D.iK.iJ]

Сообщение от Veles

Не только смотрит, но и руководствуется. Так, что халява не прокатит...

Еще и чтит его как святыню

[mekal]

тогда у меня вот такой интересный вопрос: я в роботсе запретил любым ботам смотреть папку "кэш", то есть если бот будет запрашивать определённую страницу что-бы посмотреть есть ли там купленная ссылка, то он её будет брать НЕ из кэша?

потому-что из-за кэша он может не видеть ссылок

[awe]

Вопрос к админам: может что-то (нужно) правильно указать в robots.txt, который у меня вообще пустой, дабы облегчить роботу Sape видеть ссылки на странице?
У меня сейчас 179 ссылок в еррор... обычно ерроры после обеда переходят в "ОК", но сегодня, что-то тормознулись - скоро полночь, а все ерроры... сил уже нет...

[siarzhuk]

Сообщение от mekal

тогда у меня вот такой интересный вопрос: я в роботсе запретил любым ботам смотреть папку "кэш", то есть если бот будет запрашивать определённую страницу что-бы посмотреть есть ли там купленная ссылка, то он её будет брать НЕ из кэша?

потому-что из-за кэша он может не видеть ссылок

Причем тут кэш вообще? Робот брать ту страницу, на которую идет ссылка. А уж как вы эту страницу формируете -- ваше личное дело.

[synthpop]

Сообщение от mekal

я в роботсе запретил любым ботам смотреть папку "кэш"

любым? Интересно посмотреть, как вы отличаете бота от человека)

[dobrinia]

роботс сделан для роботов, а не людей.
* применяет правило для всех