Нагрузка на сервер

[Skipper]

Вот что сегодня получил от хостера....

Здравствуйте,

Уведомляю, что скриптами Вашего аккаунта xxx.xxx создается повышенная нагрузка на сервере, приводящая к проблемам с работой всего сервера.

User Domain %CPU %MEM MySQL Processes
xxx xxx.xxx 70.90 16.70 0.1
Top Process %CPU 90.5 /usr/bin/php
Top Process %CPU 38.5 /usr/bin/php
Top Process %CPU 34.7 /usr/bin/php

Скриптами php пользователя xxx используется до 70% CPU и 16% памяти, что является очень большим значением.

На этот момент ситуация усилилась критическим образом, сейчас:

[root@russia2 public_html]# ps aux | grep xxxx | wc -l
38

38 подобных процессов, которые перегружают сервер.

Мы вынужденны заблокировать аккаунт до решения этой ситуации.

Все php скрипты выполняют подключения к IP: 217.107.36.132, который по нашим данным принадлежит сервису SAPE.

Брр....что могло случится? Все пол года работало и ничего, и вот нате....

Запросам к страниц с ссылками не много - не более 1000-1500 в день. Ссылок тоже не много примерно 3000

Можно как я понимаю изменить

var $_cache_lifetime = 3600; // Пожалейте наш сервер :о)
// Если скачать базу ссылок не удалось, то следующая попытка будет через столько секунд
var $_cache_reloadtime = 600;

Если поставить проверку не раз в час, а два раза в день нормально все будет?

Но в этом ли дело? Может произошел какой либо сбой - и при каждом запросе каждые десять минут ($_cache_reloadtime) - происходил запрос в САПЕ?

Вот доступа к аккаунту нет пока, ничео про состояние файла с ссылками сказать не могу..

Кто что подскажет?

[new]

Наверняка где то писали, ток не нашел...
Где нить написано про то, как робот работает?
1-2 раза в сутки проверяет нахождение ссылок, это понятно, что открывает все страницы, где проданы урлы. А те страницы, где нет ссылок - не трогает?
При покупке ссылки - трогает только ту страницу, на которой купили?

Т.е. у меня вот в сапе примерно 1500 страниц, проданы ссылки только на 80-100 (вот только к ним он и делает запросы?)

Просто если ко всем, то поудаляю часть страниц тогда. Т.к. нагрузка тоже волнует сейчас, но как мне кажется, это гугль грузит Т.к при одинаковой посещаемости, нагрузка в некоторые дни возрастает в 2 раза.

[Skipper]

Робот тут не причем.... Пускай хоть пооткрывается страницами...все равно пользователи на пару порядков больше страниц открывают.... Тут речь если я правильно понял, о том что из МОИХ скриптов идут обращения к внешнему IP и именно это вызывает проблему.

[new]

не скажите, если у вас 3000 ссылок, то если бот сапы проверяет их 2 раза в сутки, то грузить будет ровно столько, сколько 6000 хитов юзерами.
Соотв. если юзеры делают меньше, то только одна сапа нагрузит серв больше, чем юзвери.

[Skipper]

Юзвери делают минимум 30к в сутки. Плюс ссылок порядка 3к уже как месяца четыре, а нагрузка говорят появилась только в середине февраля. До этого была в 4-6 меньше. И по дате подхдит что как раз обновил до 1.0.1 версию sape.php

[sergey9]

Сообщение от Skipper

Юзвери делают минимум 30к в сутки.

так они постепенно, в течение суток, а сапин робот за короткое время сканирует кучу страниц - вот и нагрузка

[Serboy]

Сообщение от sergey9

так они постепенно, в течение суток, а сапин робот за короткое время сканирует кучу страниц - вот и нагрузка

Тоже задавался подобным вопросом.
Как робот САПы проверяет ссылки? Все разом и одновременно?
Возможно ли сделать (или так и есть - поправьте), чтобы страницы со ссылками скачивал постепенно (к примеру, случайно среди всех пользователей, либо в течение дня)?

[sin]

Для начала: Вы не можете у хостера уточнить, о каком именно скрипте(-ах) идет речь? Они ж на логи ориентируются, должно быть зафиксировано. А зная скрипты, можно уже что-то точнее предположить... Если речь идет о sape.php напр. - одно дело, о других (напр., выводящих страницы) - другое. /usr/bin/php ваще наводит на мысли о кроне...

[Skipper]

Речь идет на 99% о sape.php - потому что только оттуда есть исходящие соединения на данный IP. Вообщем давайте подразумевать что нагрузку создает sape.php запросами к серверу САПЕ. Вопрос почему в середине февраля могла возрасти нагрузка в 5-6 раз?

[Wink]

Вопрос почему этих процессов оказалось целых 38? Или это выборка за какой-то промежуток времени была?