17.03.2008, 10:11
|
#1 |
|
Специалист
Регистрация: 16.03.2008
Сообщений: 127
Вес репутации: 0
 |
Проблема индексации сайта (Важно)
Научите бот не ходить по файлам запрещенным в robots.txt, иначе его ip попадает в бан как желающий скачать сайт полностью. А лучше всего добавить в настройках площадки функцию запрета индексации ненужных страниц.
  Конечно не все поисковые системы парятся по поводу robots.txt но их можно отследить. Я думаю, что блокировщики стоят не только у меня. |
|
|
 |
|
|
Похожие темы
|
||||
| Тема | Автор | Раздел | Ответов | Последнее сообщение |
| напомните плз программу для проверки индексации сайта | zhito | Вопросы по работе системы | 4 | 30.06.2008 13:59 |
| Закрывать от индексации облегченную копию сайта? | ngs270 | Яндекс | 12 | 24.02.2008 10:16 |
| У меня возникла проблема индексации | ared | Ошибки при работе с системой | 3 | 12.02.2008 00:09 |
| «Карта сайта» для лучшей индексации сайта | mastersayt | Вопросы по работе системы | 8 | 19.12.2007 17:45 |
| Вопрос по индексации сайта В Яндекс | serj98 | Яндекс | 4 | 12.08.2007 09:46 |
Часовой пояс GMT +3, время: 07:01.