Старый 17.06.2008, 14:06   #1
Новичок
 
Регистрация: 17.06.2008
Сообщений: 3
Вес репутации: 0
zarezan на пути к лучшему
Question Распределенная проверка - это возможно?

Здравствуйте!

В последнее время стал сталкиваться с досадной проблемой: одна из моих площадок, на которой продано свыше 2 тысяч ссылок, выходит из строя во время утреннего визита робота Сапы (примерно в 5:00 Мск): слишком большой становится нагрузка на SQL-базы. Уверен, с такой проблемой сталкиваюсь не я один.

В связи с этим вопрос: можно ли для сайтов, на которых продано больше тысячи ссылок, организовать распределенную проверку -- чтобы робот за один заход проверял, скажем, 50 страниц и возвращался через какое-то время опять?
zarezan вне форума   Ответить с цитированием
Старый 17.06.2008, 14:25   #2
Специалист
 
Аватар для Kashey
 
Регистрация: 02.07.2007
Сообщений: 453
Вес репутации: 175
Kashey - очень-очень хороший человекKashey - очень-очень хороший человекKashey - очень-очень хороший человекKashey - очень-очень хороший человек
По умолчанию

Не проше научить сайт кешированию?
__________________
Нужны новости? - На скане полмиллиона новостей. Всяко разных.
И как всегда это все ScanLog записывает
Kashey вне форума   Ответить с цитированием
Старый 17.06.2008, 15:45   #3
Специалист
 
Аватар для Jak1777
 
Регистрация: 15.06.2007
Адрес: Kiev
Сообщений: 303
Вес репутации: 169
Jak1777 скоро станет известен
По умолчанию

уверены что sql слишком нагружает? 2000 ссылок это не много чтоб валить мускуль.. но вполне может быть достаточно чтоб фаервол заблокировал временно ИП бота, попробуйте добавить все ИП сапы с белый список фаервола, мне именно это помогло решить похожую проблему...
Jak1777 вне форума   Ответить с цитированием
Старый 17.06.2008, 15:49   #4
Эксперт
 
Регистрация: 12.03.2008
Адрес: будете смеяться, но я-таки нерезидент
Сообщений: 2,663
Вес репутации: 253
sergbond - прекрасное будущееsergbond - прекрасное будущееsergbond - прекрасное будущееsergbond - прекрасное будущееsergbond - прекрасное будущееsergbond - прекрасное будущееsergbond - прекрасное будущееsergbond - прекрасное будущееsergbond - прекрасное будущееsergbond - прекрасное будущееsergbond - прекрасное будущее
По умолчанию

Цитата:
Сообщение от Jak1777 Посмотреть сообщение
уверены что sql слишком нагружает? 2000 ссылок это не много чтоб валить мускуль..
Однако, мы не знаем, как у ТС напрягается скуль для формирования одной страницы. Движки - они разные бывают.
__________________
Подыскиваю умных реферралов.
sergbond вне форума   Ответить с цитированием
Старый 17.06.2008, 16:08   #5
Специалист
 
Регистрация: 04.01.2008
Сообщений: 386
Вес репутации: 164
K0rwin - весьма и весьма положительная личностьK0rwin - весьма и весьма положительная личность
По умолчанию

ИМХО, движок надо, попросту, выкинуть в помойку и писать заново. 2000 ссылок - не повод для тормозов.
K0rwin вне форума   Ответить с цитированием
Старый 17.06.2008, 16:35   #6
Эксперт
 
Регистрация: 12.03.2008
Адрес: будете смеяться, но я-таки нерезидент
Сообщений: 2,663
Вес репутации: 253
sergbond - прекрасное будущееsergbond - прекрасное будущееsergbond - прекрасное будущееsergbond - прекрасное будущееsergbond - прекрасное будущееsergbond - прекрасное будущееsergbond - прекрасное будущееsergbond - прекрасное будущееsergbond - прекрасное будущееsergbond - прекрасное будущееsergbond - прекрасное будущее
По умолчанию

Цитата:
Сообщение от K0rwin Посмотреть сообщение
ИМХО, движок надо, попросту, выкинуть в помойку и писать заново. 2000 ссылок - не повод для тормозов.
Движку насрать на ссылки. Мы не знаем, за какой промежуток времени сапобот заставляет его выдавать какое количество страниц.

11 сентября (если кто помнит) ленте пришлось по-быстрому выкинуть весь дизайн, и выдавать голый фид одного раздела. Потому что она не справлялась с количеством запросов в единицу времени.

Добавлено через 15 часов 31 минуту
http://forum.sape.ru/showthread.php?t=14588
__________________
Подыскиваю умных реферралов.

Последний раз редактировалось sergbond; 18.06.2008 в 08:07. Причина: Добавлено сообщение
sergbond вне форума   Ответить с цитированием
Старый 18.06.2008, 10:53   #7
Новичок
 
Регистрация: 17.06.2008
Сообщений: 3
Вес репутации: 0
zarezan на пути к лучшему
По умолчанию

Цитата:
Сообщение от Kashey Посмотреть сообщение
Не проше научить сайт кешированию?
Хостер (Majordomo) ответил, что кэширование сделать не сможет.

Цитата:
Сообщение от K0rwin Посмотреть сообщение
ИМХО, движок надо, попросту, выкинуть в помойку и писать заново. 2000 ссылок - не повод для тормозов.
Всё больше склоняюсь к этой мысли
zarezan вне форума   Ответить с цитированием
Старый 18.06.2008, 13:30   #8
Специалист
 
Аватар для Pikasso_40
 
Регистрация: 18.03.2008
Сообщений: 304
Вес репутации: 164
Pikasso_40 - очень-очень хороший человекPikasso_40 - очень-очень хороший человекPikasso_40 - очень-очень хороший человекPikasso_40 - очень-очень хороший человекPikasso_40 - очень-очень хороший человек
По умолчанию

zarezan
А каким движком собвственно пользуетесь ?
__________________
Чудеса случаются. Это вам любой программист скажет...
Pikasso_40 вне форума   Ответить с цитированием
Старый 18.06.2008, 13:35   #9
Ваnnеd
 
Аватар для V!rus
 
Регистрация: 07.07.2007
Адрес: нет? :) Танцысбубном: да
Сообщений: 1,967
Вес репутации: 237
V!rus - прекрасное будущееV!rus - прекрасное будущееV!rus - прекрасное будущееV!rus - прекрасное будущееV!rus - прекрасное будущееV!rus - прекрасное будущееV!rus - прекрасное будущееV!rus - прекрасное будущееV!rus - прекрасное будущееV!rus - прекрасное будущееV!rus - прекрасное будущее
Отправить сообщение для V!rus с помощью ICQ
По умолчанию

Цитата:
Сообщение от zarezan Посмотреть сообщение
Хостер (Majordomo) ответил, что кэширование сделать не сможет.
свое кэширование пишите
__________________
Помогаю рефералам.
Осуществляю поддержку сайтов с OpenCart, Bitrix, Wordpress, DLE, Drupal, WebAsyst и пр. Скайп agriboed
V!rus вне форума   Ответить с цитированием
Старый 18.06.2008, 13:41   #10
Специалист
 
Аватар для Pikasso_40
 
Регистрация: 18.03.2008
Сообщений: 304
Вес репутации: 164
Pikasso_40 - очень-очень хороший человекPikasso_40 - очень-очень хороший человекPikasso_40 - очень-очень хороший человекPikasso_40 - очень-очень хороший человекPikasso_40 - очень-очень хороший человек
По умолчанию

V!rus
Наверняка в движке уже есть встроенная система кэширования, нужно только её включить...
ЗЫ
Оффтоп.
Как то попробовал поставить сайт на джумле на хост маджордомо, это было просто жуть
__________________
Чудеса случаются. Это вам любой программист скажет...
Pikasso_40 вне форума   Ответить с цитированием
Ответ

Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Возможно ли наростить PR borodun Google, MSN, Yahoo 23 11.06.2008 23:58
RP5 за 3 месяца. Ну как такое возможно? XAOC Курилка 4 30.05.2008 13:20
Sape и Google, возможно ли это? wmcode Курилка 168 21.03.2008 21:34
возможно кидалово? Maks2009 Вопросы от новичков 3 06.12.2007 15:15
Возможно ошибка Turbo Ошибки при работе с системой 8 05.09.2007 11:53


Часовой пояс GMT +3, время: 22:42.