Форум SAPE.RU

Форум SAPE.RU (http://forum.sape.ru/index.php)
-   Курилка (http://forum.sape.ru/forumdisplay.php?f=22)
-   -   У Google роботы восстание подняли? (http://forum.sape.ru/showthread.php?t=90317)

Lesnik59 29.08.2013 21:02

У Google роботы восстание подняли?
 
Получаю от хостера предупреждение, превышение нагрузки на сайте. Полез в логи. Сайт представляет собой некий каталог в котором всего около 80 сайтов. По каждому сайту ведется статистика. Страница вида /stat.php& и т.д. Страниц таких ровно столько сколько сайтов в рейтинге. Так вот этот сумашедший гугл загнал своего робота на эти 80 страниц с 00:00 до 07:00 часов сегодня 72451 раз. )))) Бывает робота не загнать, а тут досс какой то со стороны гугла ))))))))))))))))))))

zhegloff 29.08.2013 21:19

Lesnik59, может это не гугл... Айпишники какие?

Lesnik59 29.08.2013 21:25

Цитата:

Сообщение от zhegloff (Сообщение 1354496)
Lesnik59, может это не гугл... Айпишники какие?

Вуаля http://whois.net/ip-address-lookup/66.249.78.147
Он зараза приставучая.

zhegloff 30.08.2013 02:48

Ну пропишите crawl-delay в роботсы.

Lesnik59 30.08.2013 08:30

Цитата:

Сообщение от zhegloff (Сообщение 1354531)
Ну пропишите crawl-delay в роботсы.

Уже сделали

elia_ua 30.08.2013 09:46

Цитата:

Сообщение от Lesnik59 (Сообщение 1354497)
Вуаля http://whois.net/ip-address-lookup/66.249.78.147
Он зараза приставучая.

Это "быстробот". Он же у меня стабильно передергивает по два раза страницы с ответами на запросы.

Добавлено через 5 минут
Цитата:

Сообщение от zhegloff (Сообщение 1354531)
Ну пропишите crawl-delay в роботсы.

в панели ВМ в Гоше при этом мне сообщают, что данная директива не учитывается.

Для надежности сначала стоит посмотреть статистику работы роботов по адресу https://www.google.com/webmasters/to...iteUrl=http://сайт.ру/ - если тут не будет всплеска, то адрес скорее всего подменный. Если всплеск таки есть, то где-то в панели ВМ можно регулировать нагрузку на сайт от робота Гоши - это точно сработает в отличие от robots.txt


Часовой пояс GMT +3, время: 03:34.

Работает на vBulletin® версия 3.8.7.
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Перевод: zCarot
SAPE.RU — система купли-продажи ссылок с главных и внутренних страниц сайтов.