17.06.2008, 14:06 | #1 |
Новичок
Регистрация: 17.06.2008
Сообщений: 3
Вес репутации: 0
|
Распределенная проверка - это возможно?
Здравствуйте!
В последнее время стал сталкиваться с досадной проблемой: одна из моих площадок, на которой продано свыше 2 тысяч ссылок, выходит из строя во время утреннего визита робота Сапы (примерно в 5:00 Мск): слишком большой становится нагрузка на SQL-базы. Уверен, с такой проблемой сталкиваюсь не я один. В связи с этим вопрос: можно ли для сайтов, на которых продано больше тысячи ссылок, организовать распределенную проверку -- чтобы робот за один заход проверял, скажем, 50 страниц и возвращался через какое-то время опять? |
17.06.2008, 14:25 | #2 |
Специалист
Регистрация: 02.07.2007
Сообщений: 453
Вес репутации: 222
|
Не проше научить сайт кешированию?
__________________
И как всегда это все ScanLog записывает |
17.06.2008, 15:45 | #3 |
Специалист
Регистрация: 15.06.2007
Адрес: Kiev
Сообщений: 303
Вес репутации: 217
|
уверены что sql слишком нагружает? 2000 ссылок это не много чтоб валить мускуль.. но вполне может быть достаточно чтоб фаервол заблокировал временно ИП бота, попробуйте добавить все ИП сапы с белый список фаервола, мне именно это помогло решить похожую проблему...
|
17.06.2008, 15:49 | #4 |
Эксперт
Регистрация: 12.03.2008
Адрес: будете смеяться, но я-таки нерезидент
Сообщений: 2,663
Вес репутации: 301
|
Однако, мы не знаем, как у ТС напрягается скуль для формирования одной страницы. Движки - они разные бывают.
__________________
|
17.06.2008, 16:08 | #5 |
Специалист
Регистрация: 04.01.2008
Сообщений: 386
Вес репутации: 212
|
ИМХО, движок надо, попросту, выкинуть в помойку и писать заново. 2000 ссылок - не повод для тормозов.
__________________
|
17.06.2008, 16:35 | #6 | |
Эксперт
Регистрация: 12.03.2008
Адрес: будете смеяться, но я-таки нерезидент
Сообщений: 2,663
Вес репутации: 301
|
Цитата:
11 сентября (если кто помнит) ленте пришлось по-быстрому выкинуть весь дизайн, и выдавать голый фид одного раздела. Потому что она не справлялась с количеством запросов в единицу времени. Добавлено через 15 часов 31 минуту http://forum.sape.ru/showthread.php?t=14588
__________________
Последний раз редактировалось sergbond; 18.06.2008 в 08:07. Причина: Добавлено сообщение |
|
18.06.2008, 10:53 | #7 |
Новичок
Регистрация: 17.06.2008
Сообщений: 3
Вес репутации: 0
|
|
18.06.2008, 13:30 | #8 |
Специалист
Регистрация: 18.03.2008
Сообщений: 304
Вес репутации: 212
|
zarezan
А каким движком собвственно пользуетесь ?
__________________
|
18.06.2008, 13:41 | #10 |
Специалист
Регистрация: 18.03.2008
Сообщений: 304
Вес репутации: 212
|
V!rus
Наверняка в движке уже есть встроенная система кэширования, нужно только её включить... ЗЫ Оффтоп. Как то попробовал поставить сайт на джумле на хост маджордомо, это было просто жуть
__________________
|
Опции темы | |
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Возможно ли наростить PR | borodun | Google, MSN, Yahoo | 23 | 11.06.2008 23:58 |
RP5 за 3 месяца. Ну как такое возможно? | XAOC | Курилка | 4 | 30.05.2008 13:20 |
Sape и Google, возможно ли это? | wmcode | Курилка | 168 | 21.03.2008 21:34 |
возможно кидалово? | Maks2009 | Вопросы от новичков | 3 | 06.12.2007 15:15 |
Возможно ошибка | Turbo | Ошибки при работе с системой | 8 | 05.09.2007 11:53 |
Часовой пояс GMT +3, время: 14:28.