Решение вопросов нагрузки как на сервера SAPE, так и на сервера вебмастеров
Добрый день, друзья!
Достаточно часто мы наблюдаем картину когда у пользователя вешается его любимая VDS из-за пришествия робота SAPE, банит хостинг, возрастает нагрузка. Давайте посмотрим, как сейчас робот индексирует клиентские сайты. Понятно, что модель упрощена, на самом деле все это работает во много потоков, однако в рамках 1 потока дело обстоит как-то так:
Код:
http://site1.ru/....
(задержка)
http://site1.ru/....
(задержка)
http://site1.ru/....
(задержка)
http://site1.ru/....
(задержка)
…
http://site2.ru/....
(задержка)
http://site2.ru/....
(задержка)
http://site2.ru/....
(задержка)
http://site2.ru/....
(задержка)
….
http://site100500.ru/.…
(задержка)
http://site100500.ru/.…
(задержка)
http://site100500.ru/.…
(задержка)
http://site100500.ru/.…
(задержка)
Очевидно, что сапе выгодна маленькая задержка т.к. она съедает ресурсы сервера, а владельцам сайтов наоборот чем больше задержка между запросами, тем равномерней нагрузка и тем лучше. Налицо конфликт. Однако как учит одна хорошая книжка «Конфликтов не существует. Проверьте свои исходные посылки!»
Однако простое перепроектирование запросов таким образом, чтобы мы на каждом этапе брали ссылку с разного сайта дало бы такую картину:
Код:
http://site1.ru/....
http://site2.ru/....
http://site3.ru/....
http://site4.ru/....
…
http://site1.ru/....
http://site2.ru/....
http://site3.ru/....
http://site4.ru/....
….
http://site1.ru/....
http://site2.ru/....
http://site3.ru/....
http://site4.ru/....
http://site100500.ru/.…
Т.е. если бы робот-индексатор проверял по одной ссылке с сайта, потом с другого, потом со следующего, то:
- Со стороны SAPE: нам не нужны больше задержки т.к. между 2 проверками одного сайта идет серия проверок других сайтов. Это значит снижение ресурсоемкости и требований к серверам системы!
- Со стороны вебмастеров: т.к. сайтов очень много, то задержка при индексации значительно вырастет. Возможно, до 2-3 минут на 1 запрос. При этом полностью исчезают проблемы с нагрузкой т.к. такую интенсивность может выдержать даже самый дешевый VDS.
Profit!
|