02.10.2009, 23:41 | #1 |
Специалист
Регистрация: 07.05.2009
Адрес: Las Vegas
Сообщений: 217
Вес репутации: 189
|
googlebot разбушевался
скачивает почти все страницы каждый день по несолько раз, привышая 1GB траффика за сутки, и с каждым днем все больше и больше. ппц! есть ли способ его тормознуть с ограничением хотябы в 1000 страниц за сутки? ато он весь мой лимит схавает.
это либо злая шутка, либо гоша решил протестировать свою мощь на моем серваке |
02.10.2009, 23:49 | #2 |
Новичок
Регистрация: 24.06.2008
Сообщений: 30
Вес репутации: 193
|
в "инструментах для вебмастеров" поставьте ограничение частоты сканирования. хотя ... что-то не верится, 1ГБ трафа - что-то тут не так
|
03.10.2009, 11:59 | #5 |
Специалист
|
Такое бывает, и вполне реальная ситуация. А ограничение делается через вебматера, как было сказано ранее.
__________________
Студия разработки и развития интернет-проектов StudioDizelBox |
03.10.2009, 12:15 | #6 |
Специалист
Регистрация: 07.05.2009
Адрес: Las Vegas
Сообщений: 217
Вес репутации: 189
|
а есть ли какой либо способ ограничить гошу через .htaccess или или robots.txt?
вчера гоша схавал 14909 страниц на 1.04 GB траффика опасения мои вызванны тем, что весь сайт весит около 2 мил. страниц (взависимости от того что делают посетители). сайт полностью динамический на php/mysql. гоша хавает стока же траффика скока и посетители, просто ппц. вот такие пироги. |
04.10.2009, 05:11 | #7 |
Новичок
Регистрация: 11.05.2009
Адрес: Vladimir
Сообщений: 53
Вес репутации: 184
|
ну наверно так
Решение для гугла: инструменты для веб мастеров в аккаунте гугла -> выбираете сайт -> настройки -> Задать пользовательскую скорость сканирования (http://www.google.com/support/webmas...y?answer=48620) (robots.txt) (яндекс, yahoo, ... но не съедается гуглом!) User-agent: * Crawl-delay: 25 Crawl-delay - это пауза между скачиванием страниц ботом с вашего сервера. ну или укажите нужного вам робота вместо * |
09.10.2009, 23:30 | #10 |
Специалист
|
плевать гуглебот хотел на "Crawl-delay" - проверено неоднократно на практике (да он и сам этого не срывает ). в .htaccess ему надо кислород перекрывать по другому никак, ежли в панели вебмастера не получается/не хочется...
|
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Сапобот разбушевался | WebFX | Вопросы по работе системы | 352 | 30.06.2012 23:36 |
Googlebot палит сайты на продажноть? С запросом ?hren=linkopomoika | HomoSAPEns | Курилка | 20 | 03.10.2009 00:43 |
Googlebot-Image | TaunT | Google, MSN, Yahoo | 8 | 03.10.2008 13:40 |
Часовой пояс GMT +3, время: 06:02.