Старый 08.12.2009, 16:18   #1
Новичок
 
Регистрация: 20.07.2007
Сообщений: 57
Вес репутации: 164
Leshiy на пути к лучшему
По умолчанию Проблема с переиндексацией.

Сайт на Джумле.
В мае была индексация, саповский бот нашёл около 30 страниц. В августе-сентябре прошла переиндексация, саповский бот нашёл около 140 страниц из 500. Заказывал переиндексацию в конце ноября и начале декабря - толку ноль, саповский бот не находит страницы. При этом наблюдается интересный глюк - подавляющее большинство ссылок на сайте выпадает в Эрор, а хостер (Мажордомо) показывает что нагрузка на ЦПУ площадки приблежается к критической (15% согласно тарифному плану). Ссылке в Эроре находятся не более 8 часов. Поймать самому момент индексации сайта саповским роботом не представляется возможным (фиг его поймаешь).

Первым что приходит в голову - саповский бот вешает сайт, дополнения хотя и ставились (код мейнлинка), но с другим сайтом была такая же беда, а там мейлинка нет. Или всё-таки мейнлинк глючит.

Может кто сталкивался с подобной проблемой и знает как её решать?

На всякий случай код сайта в сапе - 41380.

Буду крайне признателен за помощь.
Leshiy вне форума   Ответить с цитированием
Старый 08.12.2009, 16:46   #2
Специалист
 
Регистрация: 10.11.2009
Сообщений: 231
Вес репутации: 141
Yappie - как роза среди колючекYappie - как роза среди колючекYappie - как роза среди колючек
По умолчанию

Сапобот вполне может вешать сайт (особенно на бесплатных движках и шаред хостингах). Реклама (обсуждение) других бирж запрещена.
Yappie вне форума   Ответить с цитированием
Старый 08.12.2009, 20:53   #3
Новичок
 
Регистрация: 20.07.2007
Сообщений: 57
Вес репутации: 164
Leshiy на пути к лучшему
По умолчанию

В том то и дело, что глобальных изменений в код не вносилось, но до последних 2-х переиндексаций всё нормально работало
Leshiy вне форума   Ответить с цитированием
Старый 08.12.2009, 21:45   #4
Администратор
 
Регистрация: 22.11.2006
Сообщений: 5,868
Вес репутации: 21475124
Avelon - репутация неоспоримаAvelon - репутация неоспоримаAvelon - репутация неоспоримаAvelon - репутация неоспоримаAvelon - репутация неоспоримаAvelon - репутация неоспоримаAvelon - репутация неоспоримаAvelon - репутация неоспоримаAvelon - репутация неоспоримаAvelon - репутация неоспоримаAvelon - репутация неоспорима
По умолчанию

попробовал переиндексировать 2009-12-08 21:37:37 робот съел 9 страниц и сдох. Попробовал еще раз, опять 9 страниц.

чето не так
анализируйте логи
Avelon вне форума   Ответить с цитированием
Старый 09.12.2009, 03:50   #5
Новичок
 
Регистрация: 20.07.2007
Сообщений: 57
Вес репутации: 164
Leshiy на пути к лучшему
По умолчанию

Цитата:
Сообщение от Avelon Посмотреть сообщение
попробовал переиндексировать 2009-12-08 21:37:37 робот съел 9 страниц и сдох. Попробовал еще раз, опять 9 страниц.

чето не так
анализируйте логи
Это понятно, что что-то там не так .

Вопрос, что искать? Пожалуста, объясните дураку.

Добавлено через 32 минуты
График нагрузки на CPU показывает, что именно в этот период нагрузка на этот самый пресловутый ЦПУ была превышенна примерно в полтора раза и составляла около 22,5, при то что хостер гарантирует устойчивость площадки при нагрузке не более 15%.

Вывод напрашивается сам собой - бот сапы слишком грузит сервак хостера. Исходя из этого следует вопрос, реально ли настроить робота, чтобы он не так сильно грузил процессор хостера?

Хотя с другой стороны, мои познания в данной области столь малы, что я могу и ошибаться.

Последний раз редактировалось Leshiy; 09.12.2009 в 03:50. Причина: Добавлено сообщение
Leshiy вне форума   Ответить с цитированием
Старый 09.12.2009, 10:13   #6
Администратор
 
Регистрация: 22.11.2006
Сообщений: 5,868
Вес репутации: 21475124
Avelon - репутация неоспоримаAvelon - репутация неоспоримаAvelon - репутация неоспоримаAvelon - репутация неоспоримаAvelon - репутация неоспоримаAvelon - репутация неоспоримаAvelon - репутация неоспоримаAvelon - репутация неоспоримаAvelon - репутация неоспоримаAvelon - репутация неоспоримаAvelon - репутация неоспорима
По умолчанию

Цитата:
Сообщение от Leshiy Посмотреть сообщение
Это понятно, что что-то там не так .

Вопрос, что искать? Пожалуста, объясните дураку.

Добавлено через 32 минуты
График нагрузки на CPU показывает, что именно в этот период нагрузка на этот самый пресловутый ЦПУ была превышенна примерно в полтора раза и составляла около 22,5, при то что хостер гарантирует устойчивость площадки при нагрузке не более 15%.

Вывод напрашивается сам собой - бот сапы слишком грузит сервак хостера. Исходя из этого следует вопрос, реально ли настроить робота, чтобы он не так сильно грузил процессор хостера?

Хотя с другой стороны, мои познания в данной области столь малы, что я могу и ошибаться.
это чтож за сервер такой, что загрузка 10 страниц его вешает.

значит ваш сайт неоптимизирован и тяжел.
Avelon вне форума   Ответить с цитированием
Старый 09.12.2009, 11:35   #7
Новичок
 
Регистрация: 20.07.2007
Сообщений: 57
Вес репутации: 164
Leshiy на пути к лучшему
По умолчанию

Цитата:
Сообщение от Avelon Посмотреть сообщение
это чтож за сервер такой, что загрузка 10 страниц его вешает.

значит ваш сайт неоптимизирован и тяжел.
Ну раньше то не вешал!
Проходил индексацию и всё было ок.
Хостер - Мажордомо, тариф Мастер+ .

В сентябре сайт прошёл переиндексацию - всё было отлично.

Как понять что у меня криво на сайте?

З.Ы. Смотрел логи и линк.дб. Там явно не 10 страниц, там 546 обращений за полторы минуты. При необходимости могу выслать лог и линк.дб.

Ну почему мне всегда не везёт, или свистки закончатся, или акула глухая попадётся (с).

Avelon - Вы моя надежда и компас земной!
Leshiy вне форума   Ответить с цитированием
Ответ

Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Проблема с переиндексацией moretti Вопросы от новичков 1 30.08.2009 22:01
Проблема с переиндексацией сайта. BurnLife Вопросы по работе системы 3 11.08.2009 13:49
Проблема с переиндексацией nez Ошибки при работе с системой 12 09.03.2009 08:19
Проблема с переиндексацией... Arom Вопросы от новичков 3 13.06.2008 09:30
Проблема с переиндексацией сайта (добавление новых страниц) WaRNeT Ошибки при работе с системой 9 31.05.2008 11:09


Часовой пояс GMT +3, время: 12:09.