Вернуться   Форум SAPE.RU > Система SAPE.ru > Пожелания пользователей системы

-->
Ответ
 
Опции темы
Старый 02.08.2011, 12:25   #1
Мне повезёт!
 
Аватар для Alexey
 
Регистрация: 05.05.2007
Сообщений: 1,076
Вес репутации: 211
Alexey - прекрасное будущееAlexey - прекрасное будущееAlexey - прекрасное будущееAlexey - прекрасное будущееAlexey - прекрасное будущееAlexey - прекрасное будущееAlexey - прекрасное будущееAlexey - прекрасное будущееAlexey - прекрасное будущееAlexey - прекрасное будущееAlexey - прекрасное будущее
По умолчанию Решение вопросов нагрузки как на сервера SAPE, так и на сервера вебмастеров

Добрый день, друзья!

Достаточно часто мы наблюдаем картину когда у пользователя вешается его любимая VDS из-за пришествия робота SAPE, банит хостинг, возрастает нагрузка. Давайте посмотрим, как сейчас робот индексирует клиентские сайты. Понятно, что модель упрощена, на самом деле все это работает во много потоков, однако в рамках 1 потока дело обстоит как-то так:

Код:
http://site1.ru/....
(задержка)
http://site1.ru/....
(задержка)
http://site1.ru/....
(задержка)
http://site1.ru/....
(задержка)
…
http://site2.ru/....
(задержка)
http://site2.ru/....
(задержка)
http://site2.ru/....
(задержка)
http://site2.ru/....
(задержка)
….
http://site100500.ru/.…
(задержка)
http://site100500.ru/.…
(задержка)
http://site100500.ru/.…
(задержка)
http://site100500.ru/.…
(задержка)
Очевидно, что сапе выгодна маленькая задержка т.к. она съедает ресурсы сервера, а владельцам сайтов наоборот чем больше задержка между запросами, тем равномерней нагрузка и тем лучше. Налицо конфликт. Однако как учит одна хорошая книжка «Конфликтов не существует. Проверьте свои исходные посылки!»

Однако простое перепроектирование запросов таким образом, чтобы мы на каждом этапе брали ссылку с разного сайта дало бы такую картину:

Код:
http://site1.ru/....
http://site2.ru/....
http://site3.ru/....
http://site4.ru/....
…
http://site1.ru/....
http://site2.ru/....
http://site3.ru/....
http://site4.ru/....
….
http://site1.ru/....
http://site2.ru/....
http://site3.ru/....
http://site4.ru/....
http://site100500.ru/.…
Т.е. если бы робот-индексатор проверял по одной ссылке с сайта, потом с другого, потом со следующего, то:
  • Со стороны SAPE: нам не нужны больше задержки т.к. между 2 проверками одного сайта идет серия проверок других сайтов. Это значит снижение ресурсоемкости и требований к серверам системы!
  • Со стороны вебмастеров: т.к. сайтов очень много, то задержка при индексации значительно вырастет. Возможно, до 2-3 минут на 1 запрос. При этом полностью исчезают проблемы с нагрузкой т.к. такую интенсивность может выдержать даже самый дешевый VDS.

Profit!
__________________
Everything will be great in the end.
If it's not great, it's not the end.
Alexey вне форума   Ответить с цитированием
Старый 02.08.2011, 12:53   #2
Bannеd
 
Регистрация: 17.09.2008
Сообщений: 6,447
Вес репутации: 303
Последний Герой - прекрасное будущееПоследний Герой - прекрасное будущееПоследний Герой - прекрасное будущееПоследний Герой - прекрасное будущееПоследний Герой - прекрасное будущееПоследний Герой - прекрасное будущееПоследний Герой - прекрасное будущееПоследний Герой - прекрасное будущееПоследний Герой - прекрасное будущееПоследний Герой - прекрасное будущееПоследний Герой - прекрасное будущее
По умолчанию

Alexey, так и есть.

просто народ вешает на один маленький вебсервер тысячи ГСов с сапой. предложишь по айпи нагрузку распределять? тоже не вариант, нет гарантий, что поисковики не будут вешать сайты, да и смысла нет держать ссылки в ОК, если ПС не видит их. ну и как вариант на один малюсенький говновебсервер можно навесить несколько огромненьких подсетей IPv4 класса C, чтобы на каждый ГС был свой айпи.
Последний Герой вне форума   Ответить с цитированием
Старый 02.08.2011, 13:11   #3
Мне повезёт!
 
Аватар для Alexey
 
Регистрация: 05.05.2007
Сообщений: 1,076
Вес репутации: 211
Alexey - прекрасное будущееAlexey - прекрасное будущееAlexey - прекрасное будущееAlexey - прекрасное будущееAlexey - прекрасное будущееAlexey - прекрасное будущееAlexey - прекрасное будущееAlexey - прекрасное будущееAlexey - прекрасное будущееAlexey - прекрасное будущееAlexey - прекрасное будущее
По умолчанию

Тот куто так делает уже ССЗБ. Речь идет про нормальные сайты и ситуации, а исключения — это их проблемы. Нет смысла делать приход робота в какой-то определенный час. Можно опрашивать площадку хоть целые сутки, какая нам разница-то?
__________________
Everything will be great in the end.
If it's not great, it's not the end.
Alexey вне форума   Ответить с цитированием
Старый 02.08.2011, 13:28   #4
Эксперт
 
Аватар для seocore
 
Регистрация: 18.06.2007
Адрес: Картофель
Сообщений: 2,417
Вес репутации: 290
seocore - прекрасное будущееseocore - прекрасное будущееseocore - прекрасное будущееseocore - прекрасное будущееseocore - прекрасное будущееseocore - прекрасное будущееseocore - прекрасное будущееseocore - прекрасное будущееseocore - прекрасное будущееseocore - прекрасное будущееseocore - прекрасное будущее
По умолчанию

Цитата:
Сообщение от Alexey Посмотреть сообщение
Тот куто так делает уже ССЗБ.
забыли еще про биллинг, по идее проверка должна идти постоянно (со стороны САПЫ) - т.е. распределить проверку в течении всего дня, но это все лирика, в САПЕ умные разработчики им виднее, если так не сделали - то значит были на то причины

а вообще это проблема вебмастера, если сайт приносит нормальный доход, то надо его размещать на нормальном техническом решении, а то как заведено - возьмут VPS на 128Мб ОЗУ, повесят туда 100 джумла магазинов, а потом удивляются, откуда у них там ERROR вечный берется
__________________
Инструменты для веб-мастера: кластеризатор СЯ, все запросы конкурента, XML-лимиты для плагина Wink'а
seocore вне форума   Ответить с цитированием
Старый 02.08.2011, 14:02   #5
Мне повезёт!
 
Аватар для Alexey
 
Регистрация: 05.05.2007
Сообщений: 1,076
Вес репутации: 211
Alexey - прекрасное будущееAlexey - прекрасное будущееAlexey - прекрасное будущееAlexey - прекрасное будущееAlexey - прекрасное будущееAlexey - прекрасное будущееAlexey - прекрасное будущееAlexey - прекрасное будущееAlexey - прекрасное будущееAlexey - прекрасное будущееAlexey - прекрасное будущее
По умолчанию

seocore, вебмастеры безусловно умные, это и так все тут понимают. Я лишь предлагаю идею, которая может сделать систему еще лучше.
__________________
Everything will be great in the end.
If it's not great, it's not the end.
Alexey вне форума   Ответить с цитированием
Старый 02.08.2011, 15:07   #6
Специалист
 
Аватар для jcrush
 
Регистрация: 12.02.2008
Сообщений: 299
Вес репутации: 139
jcrush - весьма и весьма положительная личностьjcrush - весьма и весьма положительная личность
Отправить сообщение для jcrush с помощью ICQ
По умолчанию

идей кстати нормальная, ведь бывает провисает сервера у всех, если идет проверка подрят, то выпадает куча эрроров, а так, может за пару минут и отпустило бы...
__________________
» Пресс-релизы компаний - бесплатное & платное размещение.
jcrush вне форума   Ответить с цитированием
Старый 02.08.2011, 15:23   #7
Вредина
 
Аватар для Jooz
 
Регистрация: 03.07.2007
Адрес: д.Коноплянка
Сообщений: 3,535
Вес репутации: 367
Jooz - прекрасное будущееJooz - прекрасное будущееJooz - прекрасное будущееJooz - прекрасное будущееJooz - прекрасное будущееJooz - прекрасное будущееJooz - прекрасное будущееJooz - прекрасное будущееJooz - прекрасное будущееJooz - прекрасное будущееJooz - прекрасное будущее
По умолчанию

Цитата:
Сообщение от seocore Посмотреть сообщение
а вообще это проблема вебмастера
Согласен.
__________________
Чтобы произошло чудо нужно обязательно дунуть. Если не дунуть - чуда не произойдет!
Jooz вне форума   Ответить с цитированием
Старый 02.08.2011, 15:26   #8
Специалист
 
Регистрация: 13.03.2011
Сообщений: 112
Вес репутации: 0
aost_spb может только надеяться на улучшение
По умолчанию

Вероятно, разработчикам надо подсказать алгоритм рандомизации выборки ссылок с сохранением таймстампа последнего успешного обращения. Заодно и с "внезапными" error-ами можно будет таким же образом разобраться...
aost_spb вне форума   Ответить с цитированием
Старый 30.08.2011, 00:00   #9
Новичок
 
Регистрация: 28.07.2010
Сообщений: 12
Вес репутации: 0
SellOut.Name может только надеяться на улучшение
Отправить сообщение для SellOut.Name с помощью ICQ
По умолчанию

У сапы нет денег, чтобы поставить сервера помощнее, которые потянут две дополнительные строчки кода рандомизации.
Просто кто-то рекламу дедиков на сапе пустил за откат, вот и стараются

P.S. А я-то думал, чего это ссылки засбоили на сервере, который до того 2 года работал под 40% загрузки - а это оказывается улучшенные алгоритмы
Пришлось сделать, чтобы если боты сапы больше раза в сутки на одну и ту же страницу лезут отдавать им простой статик со ссылкой - нечего мои сайты проверять больше раза в сутки по пустякам, они годами уже проверены и у оптимизаторов в почёте - оптимизаторы и их ссылки не должны страдать из-за неадекватности системы. А то боты ПС придут, а сапа сервер завалила – беспокоится о клиентах, лол.
SellOut.Name вне форума   Ответить с цитированием
Старый 30.08.2011, 00:09   #10
Добрый модератор
 
Аватар для zhegloff
 
Регистрация: 09.07.2007
Адрес: глобус Украины
Сообщений: 27,574
Вес репутации: 958
zhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущее
По умолчанию

SellOut.Name, за такое можно бан пожизненный получить в системе.
__________________
Установка кода сапы от $9.95. Пишите в личку.
Правильный хостинг.
В личке бесплатно не отвечаю обычно.
zhegloff вне форума   Ответить с цитированием
Ответ

Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
ДНС-сервера artoff Вопросы от новичков 9 05.08.2010 01:00
Ошибка сервера при входе https://auth.sape.ru/login denisy Ошибки при работе с системой 8 29.12.2009 00:33
Размещение сервера mbmarket Деловое сотрудничество 1 22.10.2009 18:21
сменился IP сервера Svolochek Вопросы по работе системы 2 13.07.2009 13:32


Часовой пояс GMT +3, время: 11:58.