Решение вопросов нагрузки как на сервера SAPE, так и на сервера вебмастеров
 

Добрый день, друзья!

Достаточно часто мы наблюдаем картину когда у пользователя вешается его любимая VDS из-за пришествия робота SAPE, банит хостинг, возрастает нагрузка. Давайте посмотрим, как сейчас робот индексирует клиентские сайты. Понятно, что модель упрощена, на самом деле все это работает во много потоков, однако в рамках 1 потока дело обстоит как-то так:

Очевидно, что сапе выгодна маленькая задержка т.к. она съедает ресурсы сервера, а владельцам сайтов наоборот чем больше задержка между запросами, тем равномерней нагрузка и тем лучше. Налицо конфликт. Однако как учит одна хорошая книжка «Конфликтов не существует. Проверьте свои исходные посылки!»

Однако простое перепроектирование запросов таким образом, чтобы мы на каждом этапе брали ссылку с разного сайта дало бы такую картину:

Т.е. если бы робот-индексатор проверял по одной ссылке с сайта, потом с другого, потом со следующего, то:

• Со стороны SAPE: нам не нужны больше задержки т.к. между 2 проверками одного сайта идет серия проверок других сайтов. Это значит снижение ресурсоемкости и требований к серверам системы!
• Со стороны вебмастеров: т.к. сайтов очень много, то задержка при индексации значительно вырастет. Возможно, до 2-3 минут на 1 запрос. При этом полностью исчезают проблемы с нагрузкой т.к. такую интенсивность может выдержать даже самый дешевый VDS.

Profit!

Alexey, так и есть.

просто народ вешает на один маленький вебсервер тысячи ГСов с сапой. предложишь по айпи нагрузку распределять? тоже не вариант, нет гарантий, что поисковики не будут вешать сайты, да и смысла нет держать ссылки в ОК, если ПС не видит их. ну и как вариант на один малюсенький говновебсервер можно навесить несколько огромненьких подсетей IPv4 класса C, чтобы на каждый ГС был свой айпи.

Тот куто так делает уже ССЗБ. Речь идет про нормальные сайты и ситуации, а исключения — это их проблемы. Нет смысла делать приход робота в какой-то определенный час. Можно опрашивать площадку хоть целые сутки, какая нам разница-то?

забыли еще про биллинг, по идее проверка должна идти постоянно (со стороны САПЫ) - т.е. распределить проверку в течении всего дня, но это все лирика, в САПЕ умные разработчики им виднее, если так не сделали - то значит были на то причины :D

а вообще это проблема вебмастера, если сайт приносит нормальный доход, то надо его размещать на нормальном техническом решении, а то как заведено - возьмут VPS на 128Мб ОЗУ, повесят туда 100 джумла магазинов, а потом удивляются, откуда у них там ERROR вечный берется :D

seocore, вебмастеры безусловно умные, это и так все тут понимают. Я лишь предлагаю идею, которая может сделать систему еще лучше.

идей кстати нормальная, ведь бывает провисает сервера у всех, если идет проверка подрят, то выпадает куча эрроров, а так, может за пару минут и отпустило бы...

Согласен.

Вероятно, разработчикам надо подсказать алгоритм рандомизации выборки ссылок с сохранением таймстампа последнего успешного обращения. Заодно и с "внезапными" error-ами можно будет таким же образом разобраться...

У сапы нет денег, чтобы поставить сервера помощнее, которые потянут две дополнительные строчки кода рандомизации.
Просто кто-то рекламу дедиков на сапе пустил за откат, вот и стараются :)

P.S. А я-то думал, чего это ссылки засбоили на сервере, который до того 2 года работал под 40% загрузки - а это оказывается улучшенные алгоритмы :D
Пришлось сделать, чтобы если боты сапы больше раза в сутки на одну и ту же страницу лезут отдавать им простой статик со ссылкой - нечего мои сайты проверять больше раза в сутки по пустякам, они годами уже проверены и у оптимизаторов в почёте - оптимизаторы и их ссылки не должны страдать из-за неадекватности системы. А то боты ПС придут, а сапа сервер завалила – беспокоится о клиентах, лол. :D

SellOut.Name, за такое можно бан пожизненный получить в системе.