googlebot разбушевался
 

скачивает почти все страницы каждый день по несолько раз, привышая 1GB траффика за сутки, и с каждым днем все больше и больше. ппц! есть ли способ его тормознуть с ограничением хотябы в 1000 страниц за сутки? ато он весь мой лимит схавает.
это либо злая шутка, либо гоша решил протестировать свою мощь на моем серваке :eek:

в "инструментах для вебмастеров" поставьте ограничение частоты сканирования. хотя ... что-то не верится, 1ГБ трафа - что-то тут не так :confused:

Я больше не буду;)

pgolovko, а сколько весит Ваш сайт?

Такое бывает, и вполне реальная ситуация. А ограничение делается через вебматера, как было сказано ранее.

а есть ли какой либо способ ограничить гошу через .htaccess или или robots.txt?
вчера гоша схавал 14909 страниц на 1.04 GB траффика :(
опасения мои вызванны тем, что весь сайт весит около 2 мил. страниц (взависимости от того что делают посетители). сайт полностью динамический на php/mysql. гоша хавает стока же траффика скока и посетители, просто ппц.
вот такие пироги.

ну наверно так

Решение для гугла:

инструменты для веб мастеров в аккаунте гугла -> выбираете сайт -> настройки -> Задать пользовательскую скорость сканирования

(http://www.google.com/support/webmas...y?answer=48620)

(robots.txt) (яндекс, yahoo, ... но не съедается гуглом!)

User-agent: *
Crawl-delay: 25

Crawl-delay - это пауза между скачиванием страниц ботом с вашего сервера.
ну или укажите нужного вам робота вместо *

Anvi, хмм спасибки. вероятно выбора нет, придется лезть в гугл вмастер.

2 млн. страниц? ну и САЙТИЩЕ у вас. неужели все страницы нужны в выдаче поисковиков? может часть можно прикрыть, чтобы боты ходили только на нужные?

плевать гуглебот хотел на "Crawl-delay" - проверено неоднократно на практике (да он и сам этого не срывает :)). в .htaccess ему надо кислород перекрывать ;) по другому никак, ежли в панели вебмастера не получается/не хочется...