Решение вопросов нагрузки как на сервера SAPE, так и на сервера вебмастеров

[Alexey]

Добрый день, друзья!

Достаточно часто мы наблюдаем картину когда у пользователя вешается его любимая VDS из-за пришествия робота SAPE, банит хостинг, возрастает нагрузка. Давайте посмотрим, как сейчас робот индексирует клиентские сайты. Понятно, что модель упрощена, на самом деле все это работает во много потоков, однако в рамках 1 потока дело обстоит как-то так:

http://site1.ru/....
(задержка)
http://site1.ru/....
(задержка)
http://site1.ru/....
(задержка)
http://site1.ru/....
(задержка)
…
http://site2.ru/....
(задержка)
http://site2.ru/....
(задержка)
http://site2.ru/....
(задержка)
http://site2.ru/....
(задержка)
….
http://site100500.ru/.…
(задержка)
http://site100500.ru/.…
(задержка)
http://site100500.ru/.…
(задержка)
http://site100500.ru/.…
(задержка)

Очевидно, что сапе выгодна маленькая задержка т.к. она съедает ресурсы сервера, а владельцам сайтов наоборот чем больше задержка между запросами, тем равномерней нагрузка и тем лучше. Налицо конфликт. Однако как учит одна хорошая книжка «Конфликтов не существует. Проверьте свои исходные посылки!»

Однако простое перепроектирование запросов таким образом, чтобы мы на каждом этапе брали ссылку с разного сайта дало бы такую картину:

http://site1.ru/....
http://site2.ru/....
http://site3.ru/....
http://site4.ru/....
…
http://site1.ru/....
http://site2.ru/....
http://site3.ru/....
http://site4.ru/....
….
http://site1.ru/....
http://site2.ru/....
http://site3.ru/....
http://site4.ru/....
http://site100500.ru/.…

Т.е. если бы робот-индексатор проверял по одной ссылке с сайта, потом с другого, потом со следующего, то:

• Со стороны SAPE: нам не нужны больше задержки т.к. между 2 проверками одного сайта идет серия проверок других сайтов. Это значит снижение ресурсоемкости и требований к серверам системы!
• Со стороны вебмастеров: т.к. сайтов очень много, то задержка при индексации значительно вырастет. Возможно, до 2-3 минут на 1 запрос. При этом полностью исчезают проблемы с нагрузкой т.к. такую интенсивность может выдержать даже самый дешевый VDS.

Profit!

[Последний Герой]

Alexey, так и есть.

просто народ вешает на один маленький вебсервер тысячи ГСов с сапой. предложишь по айпи нагрузку распределять? тоже не вариант, нет гарантий, что поисковики не будут вешать сайты, да и смысла нет держать ссылки в ОК, если ПС не видит их. ну и как вариант на один малюсенький говновебсервер можно навесить несколько огромненьких подсетей IPv4 класса C, чтобы на каждый ГС был свой айпи.

[Alexey]

Тот куто так делает уже ССЗБ. Речь идет про нормальные сайты и ситуации, а исключения — это их проблемы. Нет смысла делать приход робота в какой-то определенный час. Можно опрашивать площадку хоть целые сутки, какая нам разница-то?

[seocore]

Сообщение от Alexey

Тот куто так делает уже ССЗБ.

забыли еще про биллинг, по идее проверка должна идти постоянно (со стороны САПЫ) - т.е. распределить проверку в течении всего дня, но это все лирика, в САПЕ умные разработчики им виднее, если так не сделали - то значит были на то причины

а вообще это проблема вебмастера, если сайт приносит нормальный доход, то надо его размещать на нормальном техническом решении, а то как заведено - возьмут VPS на 128Мб ОЗУ, повесят туда 100 джумла магазинов, а потом удивляются, откуда у них там ERROR вечный берется

[Alexey]

seocore, вебмастеры безусловно умные, это и так все тут понимают. Я лишь предлагаю идею, которая может сделать систему еще лучше.

[jcrush]

идей кстати нормальная, ведь бывает провисает сервера у всех, если идет проверка подрят, то выпадает куча эрроров, а так, может за пару минут и отпустило бы...

[Jooz]

Сообщение от seocore

а вообще это проблема вебмастера

Согласен.

[aost_spb]

Вероятно, разработчикам надо подсказать алгоритм рандомизации выборки ссылок с сохранением таймстампа последнего успешного обращения. Заодно и с "внезапными" error-ами можно будет таким же образом разобраться...

[SellOut.Name]

У сапы нет денег, чтобы поставить сервера помощнее, которые потянут две дополнительные строчки кода рандомизации.
Просто кто-то рекламу дедиков на сапе пустил за откат, вот и стараются

P.S. А я-то думал, чего это ссылки засбоили на сервере, который до того 2 года работал под 40% загрузки - а это оказывается улучшенные алгоритмы
Пришлось сделать, чтобы если боты сапы больше раза в сутки на одну и ту же страницу лезут отдавать им простой статик со ссылкой - нечего мои сайты проверять больше раза в сутки по пустякам, они годами уже проверены и у оптимизаторов в почёте - оптимизаторы и их ссылки не должны страдать из-за неадекватности системы. А то боты ПС придут, а сапа сервер завалила – беспокоится о клиентах, лол.

[zhegloff]

SellOut.Name, за такое можно бан пожизненный получить в системе.