02.08.2011, 12:25 | #1 |
Мне повезёт!
Регистрация: 05.05.2007
Сообщений: 1,076
Вес репутации: 281
|
Решение вопросов нагрузки как на сервера SAPE, так и на сервера вебмастеров
Добрый день, друзья!
Достаточно часто мы наблюдаем картину когда у пользователя вешается его любимая VDS из-за пришествия робота SAPE, банит хостинг, возрастает нагрузка. Давайте посмотрим, как сейчас робот индексирует клиентские сайты. Понятно, что модель упрощена, на самом деле все это работает во много потоков, однако в рамках 1 потока дело обстоит как-то так: Код:
http://site1.ru/.... (задержка) http://site1.ru/.... (задержка) http://site1.ru/.... (задержка) http://site1.ru/.... (задержка) … http://site2.ru/.... (задержка) http://site2.ru/.... (задержка) http://site2.ru/.... (задержка) http://site2.ru/.... (задержка) …. http://site100500.ru/.… (задержка) http://site100500.ru/.… (задержка) http://site100500.ru/.… (задержка) http://site100500.ru/.… (задержка) Однако простое перепроектирование запросов таким образом, чтобы мы на каждом этапе брали ссылку с разного сайта дало бы такую картину: Код:
http://site1.ru/.... http://site2.ru/.... http://site3.ru/.... http://site4.ru/.... … http://site1.ru/.... http://site2.ru/.... http://site3.ru/.... http://site4.ru/.... …. http://site1.ru/.... http://site2.ru/.... http://site3.ru/.... http://site4.ru/.... http://site100500.ru/.…
Profit!
__________________
If it's not great, it's not the end. |
02.08.2011, 12:53 | #2 |
Bannеd
Регистрация: 17.09.2008
Сообщений: 6,446
Вес репутации: 374
|
Alexey, так и есть.
просто народ вешает на один маленький вебсервер тысячи ГСов с сапой. предложишь по айпи нагрузку распределять? тоже не вариант, нет гарантий, что поисковики не будут вешать сайты, да и смысла нет держать ссылки в ОК, если ПС не видит их. ну и как вариант на один малюсенький говновебсервер можно навесить несколько огромненьких подсетей IPv4 класса C, чтобы на каждый ГС был свой айпи. |
02.08.2011, 13:11 | #3 |
Мне повезёт!
Регистрация: 05.05.2007
Сообщений: 1,076
Вес репутации: 281
|
Тот куто так делает уже ССЗБ. Речь идет про нормальные сайты и ситуации, а исключения — это их проблемы. Нет смысла делать приход робота в какой-то определенный час. Можно опрашивать площадку хоть целые сутки, какая нам разница-то?
__________________
If it's not great, it's not the end. |
02.08.2011, 13:28 | #4 |
Эксперт
Регистрация: 18.06.2007
Адрес: Картофель
Сообщений: 2,417
Вес репутации: 361
|
забыли еще про биллинг, по идее проверка должна идти постоянно (со стороны САПЫ) - т.е. распределить проверку в течении всего дня, но это все лирика, в САПЕ умные разработчики им виднее, если так не сделали - то значит были на то причины
а вообще это проблема вебмастера, если сайт приносит нормальный доход, то надо его размещать на нормальном техническом решении, а то как заведено - возьмут VPS на 128Мб ОЗУ, повесят туда 100 джумла магазинов, а потом удивляются, откуда у них там ERROR вечный берется |
02.08.2011, 14:02 | #5 |
Мне повезёт!
Регистрация: 05.05.2007
Сообщений: 1,076
Вес репутации: 281
|
seocore, вебмастеры безусловно умные, это и так все тут понимают. Я лишь предлагаю идею, которая может сделать систему еще лучше.
__________________
If it's not great, it's not the end. |
02.08.2011, 15:07 | #6 |
Специалист
|
идей кстати нормальная, ведь бывает провисает сервера у всех, если идет проверка подрят, то выпадает куча эрроров, а так, может за пару минут и отпустило бы...
__________________
|
02.08.2011, 15:26 | #8 |
Специалист
Регистрация: 13.03.2011
Сообщений: 112
Вес репутации: 0
|
Вероятно, разработчикам надо подсказать алгоритм рандомизации выборки ссылок с сохранением таймстампа последнего успешного обращения. Заодно и с "внезапными" error-ами можно будет таким же образом разобраться...
|
30.08.2011, 00:00 | #9 |
Новичок
|
У сапы нет денег, чтобы поставить сервера помощнее, которые потянут две дополнительные строчки кода рандомизации.
Просто кто-то рекламу дедиков на сапе пустил за откат, вот и стараются P.S. А я-то думал, чего это ссылки засбоили на сервере, который до того 2 года работал под 40% загрузки - а это оказывается улучшенные алгоритмы Пришлось сделать, чтобы если боты сапы больше раза в сутки на одну и ту же страницу лезут отдавать им простой статик со ссылкой - нечего мои сайты проверять больше раза в сутки по пустякам, они годами уже проверены и у оптимизаторов в почёте - оптимизаторы и их ссылки не должны страдать из-за неадекватности системы. А то боты ПС придут, а сапа сервер завалила – беспокоится о клиентах, лол. |
30.08.2011, 00:09 | #10 |
Добрый модератор
Регистрация: 09.07.2007
Адрес: глобус Украины
Сообщений: 27,600
Вес репутации: 1030
|
SellOut.Name, за такое можно бан пожизненный получить в системе.
__________________
Правильный хостинг. В личке бесплатно не отвечаю обычно. |
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
ДНС-сервера | artoff | Вопросы от новичков | 9 | 05.08.2010 01:00 |
Ошибка сервера при входе https://auth.sape.ru/login | denisy | Ошибки при работе с системой | 8 | 29.12.2009 00:33 |
Размещение сервера | mbmarket | Деловое сотрудничество | 1 | 22.10.2009 18:21 |
сменился IP сервера | Svolochek | Вопросы по работе системы | 2 | 13.07.2009 13:32 |
Часовой пояс GMT +3, время: 18:58.