Проблема с переиндексацией.

[Leshiy]

Сайт на Джумле.
В мае была индексация, саповский бот нашёл около 30 страниц. В августе-сентябре прошла переиндексация, саповский бот нашёл около 140 страниц из 500. Заказывал переиндексацию в конце ноября и начале декабря - толку ноль, саповский бот не находит страницы. При этом наблюдается интересный глюк - подавляющее большинство ссылок на сайте выпадает в Эрор, а хостер (Мажордомо) показывает что нагрузка на ЦПУ площадки приблежается к критической (15% согласно тарифному плану). Ссылке в Эроре находятся не более 8 часов. Поймать самому момент индексации сайта саповским роботом не представляется возможным (фиг его поймаешь).

Первым что приходит в голову - саповский бот вешает сайт, дополнения хотя и ставились (код мейнлинка), но с другим сайтом была такая же беда, а там мейлинка нет. Или всё-таки мейнлинк глючит.

Может кто сталкивался с подобной проблемой и знает как её решать?

На всякий случай код сайта в сапе - 41380.

Буду крайне признателен за помощь.

[Yappie]

Сапобот вполне может вешать сайт (особенно на бесплатных движках и шаред хостингах). Реклама (обсуждение) других бирж запрещена.

[Leshiy]

В том то и дело, что глобальных изменений в код не вносилось, но до последних 2-х переиндексаций всё нормально работало

[Avelon]

попробовал переиндексировать 2009-12-08 21:37:37 робот съел 9 страниц и сдох. Попробовал еще раз, опять 9 страниц.

чето не так
анализируйте логи

[Leshiy]

Сообщение от Avelon

попробовал переиндексировать 2009-12-08 21:37:37 робот съел 9 страниц и сдох. Попробовал еще раз, опять 9 страниц.

чето не так
анализируйте логи

Это понятно, что что-то там не так .

Вопрос, что искать? Пожалуста, объясните дураку.

Добавлено через 32 минуты
График нагрузки на CPU показывает, что именно в этот период нагрузка на этот самый пресловутый ЦПУ была превышенна примерно в полтора раза и составляла около 22,5, при то что хостер гарантирует устойчивость площадки при нагрузке не более 15%.

Вывод напрашивается сам собой - бот сапы слишком грузит сервак хостера. Исходя из этого следует вопрос, реально ли настроить робота, чтобы он не так сильно грузил процессор хостера?

Хотя с другой стороны, мои познания в данной области столь малы, что я могу и ошибаться.

[Avelon]

Сообщение от Leshiy

Это понятно, что что-то там не так .

Вопрос, что искать? Пожалуста, объясните дураку.

Добавлено через 32 минуты
График нагрузки на CPU показывает, что именно в этот период нагрузка на этот самый пресловутый ЦПУ была превышенна примерно в полтора раза и составляла около 22,5, при то что хостер гарантирует устойчивость площадки при нагрузке не более 15%.

Вывод напрашивается сам собой - бот сапы слишком грузит сервак хостера. Исходя из этого следует вопрос, реально ли настроить робота, чтобы он не так сильно грузил процессор хостера?

Хотя с другой стороны, мои познания в данной области столь малы, что я могу и ошибаться.

это чтож за сервер такой, что загрузка 10 страниц его вешает.

значит ваш сайт неоптимизирован и тяжел.

[Leshiy]

Сообщение от Avelon

это чтож за сервер такой, что загрузка 10 страниц его вешает.

значит ваш сайт неоптимизирован и тяжел.

Ну раньше то не вешал!
Проходил индексацию и всё было ок.
Хостер - Мажордомо, тариф Мастер+ .

В сентябре сайт прошёл переиндексацию - всё было отлично.

Как понять что у меня криво на сайте?

З.Ы. Смотрел логи и линк.дб. Там явно не 10 страниц, там 546 обращений за полторы минуты. При необходимости могу выслать лог и линк.дб.

Ну почему мне всегда не везёт, или свистки закончатся, или акула глухая попадётся (с).

Avelon - Вы моя надежда и компас земной!