Бот яндекса не совсем адекватно ходит! Нужен совет!

[zhegloff]

Сообщение от webmasterown

Интересно, зачем бот просматривает столько страниц, и как долго мой vps будет держать эту нагрузку.

Есть же disallow и crawl-delay...

[webmasterown]

Сообщение от zhegloff

Есть же disallow и crawl-delay...

с помощью disallow я могу запретить название раздела, а тут судя по всему единственный раздел который можно наблюдать это /tags/ на него припадает 70% просмотров, а остальное это просто страницы.html (без раздела).

[kerpi]

Сообщение от webmasterown

добавил правило в robots.txt

не поможет

Сообщение от webmasterown

в вебмастере заказал Удаление каталога сайт.com/tags - это правильно?

отправьте в "Параметры url"

Сообщение от webmasterown

А как туда написать

Пишите или им на блог, а если поступляли сообщения любые на сайт то сразу в обратку