Предложение по оптимизации :)
 

Вчерашний сбой и глюки со скоростью работы системы, в последнее время, наводят на мысль, что количество стало угнетать качество.
Обвал базы? Мой личный опыт работы с БД подсказывает мне, что произошло это из-за нехватки свободных ресурсов системы, диск, память, кеш...
Не мудрено, такое количество страниц в системе... Быть может пора произвести чистку? Удалить откровенные ГС и сайты совсем без показателей. Или хотя бы ограничить кол-во страниц для продажи с сайтов без показателей (тиц0 пр0). Ну и конечно же не принимать в систему новые совсем нулевые сайты, имхо, с таких и для оптимизаторов толк очень маленький, т.к. веса страниц порой не хватает даже для того, чтоб попасть в индекс ПС.

Вобщем предлагаю тему к конструктивному обсуждению :).

ps: извиняюсь, запостил не в тот раздел.

А как вы думаете сколько в базе этих ГС? Их тут наверняка не меньше 50-70%, представляете какой это денежный оборот! Эти ГС уйдут на другие биржи. Сапа готова пожертвовать таким объемом денег?
Что сделать будет правильнее, вложить денег еще и увеличить ресурсы или отказаться от ежедневной прибыли в 50-70%...

Да вкладывается САПА по полной.. И ресурсы растут не по дням, а по часам.. Но не все сразу..

Хм... первый раз слышу что для попадания в индекс нужен вес...
Но так или иначе - какая разница - уже И ТАК наличие в индексе требуется при модерации насколько я знаю.

По сути вопроса.
Я не знаю, что проще - нарастить мощность системы или производить чистки и ограничения. Если думать о втором - то в качестве информации к размышлению было бы интересно посмотеть СТАТИСТИКУ - сколько каких страниц в системе (с каким УВ-ПР-ТИЦ) и сколько % из них распродано. А то вдруг окажется что "жирные морды" как раз никому и не нужны, а нулевые ГС распроданы на 99% и требуются ещё? ;)

По своим сайтам могу сказать что ссылки с ГС раскупают достаточно быстро и ссылки не залеживаются. Но у меня хорошие ГС :)

Примерно представляя уровень "среднестатистического оптимизатора", не удивлюсь такому раскладу

ни нада исключать ГС. не все готовы покупать ссылки за 100$ в месяц :)
лучше проапгрейдить серваки :)

Т.е. если перефразировать сказанное вами - SAPE - биржа говносайтов?
Ну и какие планы на будущее могут быть у такой биржи?

Кстати, откуда уверенность, что в системе 50-70% ГС и почему такой большой разброс? ;)

К тому же я не говорю, что нужно чистить все на корню, только самые откровенные ГС. А для нулевок - ограничить кол-во страниц.

Наглядный пример НЕабсурдности такой гипотезы я вижу ежедневно в своей админке. Среди прочих там есть мой старый "жирный" сайт и свеженький, этого года 10/0 сайт школьника ни о чём (просто блог-дневник подростка). На "жирном" сайте цены в районе средних, а отдельные на 10-15% ниже. На "тощем" сайте подростка - все заметно выше средних. Тем не менее тощий сразу, МГНОВЕННО раскуплен на 99%, а жирный - очень мееедленно, МЕСЯЦАМИ подбирается к 80-90%.

Нет, сапа не биржа говносайтов, просто на ней как и на любом рынке представлен товар в широком ассортименте, каждый покупатель найдет что-то для себя!
Разброс такой потому что 50% - вроде как и мало, а 70% возможно и много :)
А уверенность такая все от туда же - из форума, не появлялись бы топики про говносайты не будь их так много...

Мамы - всякие нужны, мамы - всякие важны! (С)
Если ссылки покупают - значит это кому-то нужно... :D

Надо провести опрос только для ВМ
убрать или оставить
90% скажут оставить 10% затруднятся ответить.

Есть мнение, что общее количество страниц в бирже на "раздатчик" (который и упал, если верить админам) никак не влияет. Он работает с ссылками, а не страницами.

Бывает... вы наверное не знаете, что от веса страниц сайта зависит сколько их попадет в индекс и от этого будет зависить частота их переиндексации (а не только от "revisit-after")? И что лучший способ отправить страницу в индекс ПС - поставить на нее ссылку на другом сайте, тоже не слышали?

Это вы про месячный бюджет или про стоимость 1 ссылки? :)

Это зачастую проще сказать, чем сделать. Это не просто "всунул новый проц и память" или "добавил еще сервак". Это масштабирование системы, а это бывает не так просто сделать.

там смайл стоял в конце))) знаю я все про это - одмином работаю :)

Некоторые всю жизнь думают, что им жизненно необходим телевизор :D...

Чье это мнение? Я хоть и не знаю архитектуру БД сапы, но мне кажется, что влияет. Если все хранится в одной БД, например, то разрушение какой либо таблицы может привести к неправильной работе того же раздатчика.

В свое время с подобной проблемой столкнулся liveinternet.ru Огромное количество блогов, которые способны пожрать все ресурсы, сколько ни дай. Они тогда разделили базу, выделив по определенному критерию неактивные дневники и перенесли их в своеобразный архив, исключив из основной базы. Если в архивном дневнике возникала какая-то активность, то он переносился обратно в основную часть.

Может и в этом случае часть сайтов и проектов можно просто исключить из основного оборота, не удаляя совсем, но это надо знать статистику таких площадок.

Хм... А разве он не "линкс.дб" раздаёт грубо говоря раз в час?
Тогда количество ЗАПРОСОВ именно на раздачу пропорционально количеству САЙТОВ, а не сылок или страниц...
Но ОБЪЁМ раздачи пропорционален ссылкам, это верно.
Но вот что критичнее по нагрузке - число запросов или объём базы - априори неочевидно.

Если проблема в количестве запросов, то links.db вообще можно раздавать просто через апач. Генерить раз в час файлы links.db по количеству сайтов и отдавать по запросу нужный. Если запросов совсем много, то под эту незатейливую операцию можно даже отдельный веб-сервер выделить.

Если проблема в объеме базы (во что я слабо верю, по работе сталкивался с базами размером по несколько терабайт и все работало, тут же она сильно меньше), то под раздатчик можно выделить отдельную БД и синхронизировать ее с основной раз в час, перенося туда только ту информацию, которая в данный момент необходима. Такая схема к тому же основную базу от лишних запросов разгрузит.

Особенно если учесть что вчерашний сбой связан с: "Вчера поставили новый реплицирующий сервер БД для раздавальщика ссылок. Ночью что-то пошло не так..." то тема немного не в то русло уводит :)))

Можно не статистику брать а количество страниц и их параметры. Т.е. не плодить лишние сущности. Причем не нужно удалять совсем, просто держать отдельно, чтоб они не участвовали в расчетах. А когда будут раскуплены все имеющиеся места на активных страница - подгружать из доп. базы неактивные, небольшими порциями, зависящими от активности покупок уже проданных.

Это никак не отменяет периодических тормозов системы.

Вот такое в репу приехало по поводу темы :).
Дорогой ты мой косноязычный балбес :), ты бы потрудился в тему отписать хоть пару своих вумных словей. А то х..ней чужое называть - много ума не надо, а вот свое мнение высказать - это надо как миниму смелость иметь и вообще свое мнение для начала... Вот возьми и докажи, что твое мнение хотябы достойно внимания.

пля, на том же СРАЧе есть пипка - типо подписаццо при отправке в репу.
Почему тут её принудительно не поставят?
Давно бы *******ов в гавно втоптали...

как говорится, аффтар жжот...

Как говорится - не сри там где ешь. Что вы тут по теме сказали? Есть хоть одно слово? Нет и сказать нечего? GOTO курилка и там испражняйтесь в словоблудии с себеподобными!

я тоже недавно пару раз получил минус в репу за вполне безобидные посты. ессно анонимные. походу, что повадки серча и сюда перебираются...

Систему бы прежде всего наверное можно очистить от "мертвых" автоматов, таких хватает еще, несмотря на пополняемые блэклисты, находятся новые и шлют и шлют заявки в Wait