Распределенная проверка - это возможно?
 

Здравствуйте!

В последнее время стал сталкиваться с досадной проблемой: одна из моих площадок, на которой продано свыше 2 тысяч ссылок, выходит из строя во время утреннего визита робота Сапы (примерно в 5:00 Мск): слишком большой становится нагрузка на SQL-базы. Уверен, с такой проблемой сталкиваюсь не я один.

В связи с этим вопрос: можно ли для сайтов, на которых продано больше тысячи ссылок, организовать распределенную проверку -- чтобы робот за один заход проверял, скажем, 50 страниц и возвращался через какое-то время опять?

Не проше научить сайт кешированию?

уверены что sql слишком нагружает? 2000 ссылок это не много чтоб валить мускуль.. но вполне может быть достаточно чтоб фаервол заблокировал временно ИП бота, попробуйте добавить все ИП сапы с белый список фаервола, мне именно это помогло решить похожую проблему...

Однако, мы не знаем, как у ТС напрягается скуль для формирования одной страницы. Движки - они разные бывают.

ИМХО, движок надо, попросту, выкинуть в помойку и писать заново. 2000 ссылок - не повод для тормозов.

Движку насрать на ссылки. Мы не знаем, за какой промежуток времени сапобот заставляет его выдавать какое количество страниц.

11 сентября (если кто помнит) ленте пришлось по-быстрому выкинуть весь дизайн, и выдавать голый фид одного раздела. Потому что она не справлялась с количеством запросов в единицу времени.

Добавлено через 15 часов 31 минуту
http://forum.sape.ru/showthread.php?t=14588

Хостер (Majordomo) ответил, что кэширование сделать не сможет.

Всё больше склоняюсь к этой мысли :(

zarezan
А каким движком собвственно пользуетесь ?

свое кэширование пишите

V!rus
Наверняка в движке уже есть встроенная система кэширования, нужно только её включить...
ЗЫ
Оффтоп.
Как то попробовал поставить сайт на джумле на хост маджордомо, это было просто жуть ;)