Старый 02.10.2009, 23:41   #1
Специалист
 
Аватар для pgolovko
 
Регистрация: 07.05.2009
Адрес: Las Vegas
Сообщений: 217
Вес репутации: 133
pgolovko - как роза среди колючекpgolovko - как роза среди колючекpgolovko - как роза среди колючек
Question googlebot разбушевался

скачивает почти все страницы каждый день по несолько раз, привышая 1GB траффика за сутки, и с каждым днем все больше и больше. ппц! есть ли способ его тормознуть с ограничением хотябы в 1000 страниц за сутки? ато он весь мой лимит схавает.
это либо злая шутка, либо гоша решил протестировать свою мощь на моем серваке
pgolovko вне форума   Ответить с цитированием
Старый 02.10.2009, 23:49   #2
Новичок
 
Регистрация: 24.06.2008
Сообщений: 30
Вес репутации: 137
petruha666 на пути к лучшему
По умолчанию

в "инструментах для вебмастеров" поставьте ограничение частоты сканирования. хотя ... что-то не верится, 1ГБ трафа - что-то тут не так
petruha666 вне форума   Ответить с цитированием
Старый 03.10.2009, 00:36   #3
Эксперт
 
Аватар для googlebot
 
Регистрация: 06.04.2009
Сообщений: 1,076
Вес репутации: 170
googlebot - прекрасное будущееgooglebot - прекрасное будущееgooglebot - прекрасное будущееgooglebot - прекрасное будущееgooglebot - прекрасное будущееgooglebot - прекрасное будущееgooglebot - прекрасное будущееgooglebot - прекрасное будущееgooglebot - прекрасное будущееgooglebot - прекрасное будущееgooglebot - прекрасное будущее
По умолчанию

Я больше не буду
googlebot вне форума   Ответить с цитированием
Старый 03.10.2009, 02:45   #4
VMR - друг сапобота
 
Аватар для videomostru
 
Регистрация: 12.06.2009
Адрес: Рядом Крым - далеко Рым
Сообщений: 2,497
Вес репутации: 214
videomostru - прекрасное будущееvideomostru - прекрасное будущееvideomostru - прекрасное будущееvideomostru - прекрасное будущееvideomostru - прекрасное будущееvideomostru - прекрасное будущееvideomostru - прекрасное будущееvideomostru - прекрасное будущееvideomostru - прекрасное будущееvideomostru - прекрасное будущееvideomostru - прекрасное будущее
Отправить сообщение для videomostru с помощью ICQ
По умолчанию

pgolovko, а сколько весит Ваш сайт?
__________________
Покупаю недорогие сайты - бюджет до 500$
Кредит 100$ без % тут
videomostru вне форума   Ответить с цитированием
Старый 03.10.2009, 11:59   #5
Специалист
 
Аватар для dizelbox
 
Регистрация: 01.01.2009
Адрес: Киров
Сообщений: 250
Вес репутации: 138
dizelbox - весьма и весьма положительная личностьdizelbox - весьма и весьма положительная личностьdizelbox - весьма и весьма положительная личность
Отправить сообщение для dizelbox с помощью ICQ
По умолчанию

Такое бывает, и вполне реальная ситуация. А ограничение делается через вебматера, как было сказано ранее.
__________________
Когда-нибудь это случится.
Студия разработки и развития интернет-проектов StudioDizelBox
dizelbox вне форума   Ответить с цитированием
Старый 03.10.2009, 12:15   #6
Специалист
 
Аватар для pgolovko
 
Регистрация: 07.05.2009
Адрес: Las Vegas
Сообщений: 217
Вес репутации: 133
pgolovko - как роза среди колючекpgolovko - как роза среди колючекpgolovko - как роза среди колючек
По умолчанию

а есть ли какой либо способ ограничить гошу через .htaccess или или robots.txt?
вчера гоша схавал 14909 страниц на 1.04 GB траффика
опасения мои вызванны тем, что весь сайт весит около 2 мил. страниц (взависимости от того что делают посетители). сайт полностью динамический на php/mysql. гоша хавает стока же траффика скока и посетители, просто ппц.
вот такие пироги.
pgolovko вне форума   Ответить с цитированием
Старый 04.10.2009, 05:11   #7
Новичок
 
Аватар для Anvi
 
Регистрация: 11.05.2009
Адрес: Vladimir
Сообщений: 53
Вес репутации: 128
Anvi на пути к лучшему
По умолчанию

ну наверно так

Решение для гугла:

инструменты для веб мастеров в аккаунте гугла -> выбираете сайт -> настройки -> Задать пользовательскую скорость сканирования

(http://www.google.com/support/webmas...y?answer=48620)

(robots.txt) (яндекс, yahoo, ... но не съедается гуглом!)

User-agent: *
Crawl-delay: 25

Crawl-delay - это пауза между скачиванием страниц ботом с вашего сервера.
ну или укажите нужного вам робота вместо *
Anvi вне форума   Ответить с цитированием
Старый 04.10.2009, 20:12   #8
Специалист
 
Аватар для pgolovko
 
Регистрация: 07.05.2009
Адрес: Las Vegas
Сообщений: 217
Вес репутации: 133
pgolovko - как роза среди колючекpgolovko - как роза среди колючекpgolovko - как роза среди колючек
По умолчанию

Anvi, хмм спасибки. вероятно выбора нет, придется лезть в гугл вмастер.
pgolovko вне форума   Ответить с цитированием
Старый 09.10.2009, 21:27   #9
Специалист
 
Аватар для Communist
 
Регистрация: 18.09.2008
Адрес: Kyiv
Сообщений: 157
Вес репутации: 138
Communist - весьма и весьма положительная личностьCommunist - весьма и весьма положительная личность
По умолчанию

2 млн. страниц? ну и САЙТИЩЕ у вас. неужели все страницы нужны в выдаче поисковиков? может часть можно прикрыть, чтобы боты ходили только на нужные?
Communist вне форума   Ответить с цитированием
Старый 09.10.2009, 23:30   #10
Специалист
 
Аватар для DiAksID
 
Регистрация: 02.08.2008
Сообщений: 304
Вес репутации: 150
DiAksID - просто великолепная личностьDiAksID - просто великолепная личностьDiAksID - просто великолепная личностьDiAksID - просто великолепная личностьDiAksID - просто великолепная личностьDiAksID - просто великолепная личностьDiAksID - просто великолепная личность
Отправить сообщение для DiAksID с помощью ICQ
По умолчанию

плевать гуглебот хотел на "Crawl-delay" - проверено неоднократно на практике (да он и сам этого не срывает ). в .htaccess ему надо кислород перекрывать по другому никак, ежли в панели вебмастера не получается/не хочется...
DiAksID вне форума   Ответить с цитированием
Ответ

Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Сапобот разбушевался WebFX Вопросы по работе системы 352 30.06.2012 23:36
Googlebot палит сайты на продажноть? С запросом ?hren=linkopomoika HomoSAPEns Курилка 20 03.10.2009 00:43
Googlebot-Image TaunT Google, MSN, Yahoo 8 03.10.2008 13:40


Часовой пояс GMT +3, время: 19:13.