19.09.2007, 15:01 | #1 |
Новичок
Регистрация: 17.05.2007
Сообщений: 57
Вес репутации: 213
|
Нагрузка на ЦП ботом сапы
Доброго.
По-моему, похожая тема уже была. Паук сапы грузит цп хостера. Сегодня опять пришло письмо уведомляющее о превышении нагрузки: 5.67 % - 81.176.228.73 (mail3.q0.ru) Раньше такого не было. Количество страниц, на которых стоит код сапы, не менялось, кол-во ссылок тоже. Неужели опять тарифный план менять? Оговорюсь, пауки ПС на сайте пасутся постоянно но цп так не грузят.
__________________
|
19.09.2007, 15:34 | #2 |
Администратор
Регистрация: 10.11.2006
Сообщений: 166
Вес репутации: 257
|
Наш робот один раз в сутки высасывает все страницы на сайте. Причём, последовательно, а не параллельно, поэтому нагрузка постоянная и умеренная. Если все ссылки ОК, то больше не будет в течение суток обращений.
Если какие-то ссылки в ERROR, то только страницы с этими ссылками выкачиваются ещё несколько раз в поисках ссылок. Для любого сайта это не может считаться высокой нагрузкой, но допускаю, что она выше, чем дают пауки ПС, которые не каждый день бегают по сайту. Может быть, у этого хостера много сайтов зарегистрированы в сапе? |
19.09.2007, 23:11 | #4 |
Мастер
|
грузит при запросе страниц или при скачивании ссылок (заполнении линкс.дб)?
если первое - то при чем тут сапа? а если я буду ходить по страницам и просто их смотреть - это будет считаться превышением допустимой нагрузки?
__________________
|
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Нагрузка на сервер | new | Разработка и сопровождение сайтов | 21 | 13.05.2008 21:16 |
Нагрузка на сервер | Skipper | Вопросы по работе системы | 21 | 12.03.2008 15:06 |
С ботом чтоли проблема. | mymind | Вопросы по работе системы | 12 | 19.08.2007 10:27 |
добавление страниц ботом | MeRcuRiO | Вопросы по работе системы | 0 | 12.08.2007 20:16 |
Глюки с ботом | kot | Ошибки при работе с системой | 6 | 28.03.2007 20:17 |
Часовой пояс GMT +3, время: 04:04.