27.04.2012, 22:02 | #1 |
Новичок
Регистрация: 19.12.2010
Сообщений: 6
Вес репутации: 0
|
Гугль очень часто индексирует сайты
Возникла у нас проблема. Может она странная, но мы действительно уже не знаем что делать. Дело в том, что гугль стал буквально круглосуточно индексировать сайты на VPS (2.2 ггц Х 2, 3 гб озу, debian). Такое ощущение, что круглосуточно досят сайт с помощью Loic. Ложится Apache за Nginx'ом, забивается память.
Проверял ип - гугла. Юзер агент его тоже (хотя это не показатель). Но поведение на него похоже, как так на одном домене переставили форум, а были запросы от гугла по старым (досеры вряд ли бы заморачивались). Такое поведение длится около недели. Проблема буквально на ровном месте. До этого месяц было все спокойно, даже Apache был фронтом (сейчас только как бэк, иначе бы запросто ложился постоянно с такой нагрузкой). Что можете посоветовать? Написать в гугль? Вообще думал блокировать запросы, но 99% что это гугль и тогда пострадает индексация. |
28.04.2012, 00:33 | #2 |
Новичок
Регистрация: 17.04.2012
Сообщений: 44
Вес репутации: 0
|
заворачивайте этот ip на localhost (херте т.е.) у Гугла есть и другие айпи с которых он ходит.
Ещё попробуйте зарегить сайт в их вебмастере, посмотреть, что там и оттуда же написать им в сапорт с описанием проблемы. |
28.04.2012, 18:24 | #3 |
Эксперт
Регистрация: 11.04.2010
Адрес: Поближе к кухне ,подальше от начальства!
Сообщений: 1,062
Вес репутации: 208
|
Ticksy,
В robots.txt Есть волшебная директива Craw-delay С помощью которой можно управлять скоростью индексации сайта. Гуглите в этом направлении и будет вам счастье. |
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Sape очень плохо сайт индексирует, помогите | monotonik | Вопросы от новичков | 18 | 03.09.2010 13:28 |
Как часто Яху индексирует сайты? | Штрафная РОТА | Google, MSN, Yahoo | 1 | 02.03.2010 18:19 |
Очень важно Гугль Линкс | Abramovich | Google, MSN, Yahoo | 9 | 06.01.2010 03:15 |
ERROR очень часто | alches | Вопросы от новичков | 11 | 20.07.2009 12:29 |
Как часто бот индексирует сайт? | volgolan | Вопросы от новичков | 11 | 06.06.2008 14:31 |
Часовой пояс GMT +3, время: 19:04.