SapExtension - open-source программа для сбора статистики

[glavriba]

Приветствую всех, дамы и господа!

Я тут на досуге написал несколько скриптиков, которые скапливают статистику для вебмастера. Общее название для комплекса этих скриптиков - SapExtension (пока они заточены для сбора статистики только для вебмастера, т.к. для них очень мало какой-либо статистической информации, а тем не менее, она нужна.)

Скрипты хранят в БД все изменения, происходящие с объектами: сайтами, страницами, ссылками. Добавляют новые, если они есть. создают новую запись в истории, если какой-то параметр, например PR у сайта, или число ВС на странице изменяется.

Таким образом, можно отслеживать жизнь своих проектов во всех подробностях, что иногда просто необходимо.

Путём запросов к БД можно сформировать для себя статистику за любой залогированный промежуток времени, получить любую выборку, которую затем можно анализировать в пакетах статистики или в том же Excel'e.

К сожалению, сейчас для того, чтобы работать с пакетом SapExtension, Вы должны обладать знаниями в области PHP и MySQL. Но особо подробных и крепких знаний всё же не требуется, если вы хотя бы раз в жизни писали программы на PHP и написали хотя бы один SQL-запрос, то справитесь.

Это Open-Source проект, и распространяется по лицензии GNU/GPL v2. Сайт проекта: http://sapextension.org/

Вся подробная инструкция по установке доступна на вышеуказанном сайте.

Приглашаются все желающие для бета-тестинга и развития проекта.

В настоящее время проект сохраняет статистику для:

• сайтов,
• страниц,
• ссылок,
• общая статистика сапы (пользователи, сайты, страницы)

В планах сделать учёт и анализ извещений.

[den78ru]

Замечательно.., но при чём тут раздел "Вопросы по работе системы "?

[9dVSnVN6]

Сообщение от glavriba

В настоящее время проект сохраняет статистику для:

• сайтов,
• страниц,
• ссылок,
• общая статистика сапы (пользователи, сайты, страницы)

Реальный интерес представляет только анализ ссылок. Все остальное уже реализовано в бесчисленном количестве вариантов и не представляет особого интереса. Причем, уж коли тут php+mysql и возможна установка на серверной стороне, то нужно и должно сделать это без парсинга саповского хтмла, а прямым анализом links.db. Уже второй раз дарю эту идею. Причем особый интерес представляет частый анализ, например раз в 5 мин по крону, размещаемых на площадке ссылок на предмет выявляния моргальщиков и прочих уродов. Эта проблема никем еще не решена, а явление носит массовый характер и реально мешает работать.

Других смыслов в очередном "сапа-браузере" на данный момент уже наверное нет.

[glavriba]

Замечательно.., но при чём тут раздел "Вопросы по работе системы "?

Так вроде программы подобного рода здесь анонсируются.

Реальный интерес представляет только анализ ссылок. Все остальное уже реализовано в бесчисленном количестве вариантов и не представляет особого интереса.

Ссылки на бесчисленные варианты можно? я бы посмотрел. а то одной из причин, почему я взялся это делать, была та, что я под свои потребности не нашёл софтину. Кроме того, Open-Source - ную.

прямым анализом links.db

Пожалуй, мысль здравая. Я не в курсе что такое "мигуны", может, объясните, чтобы был ясен алгоритм явления?

[9dVSnVN6]

Сообщение от glavriba

Пожалуй, мысль здравая. Я не в курсе что такое "мигуны", может, объясните, чтобы был ясен алгоритм явления?

Есть тут многочисленная прослойка уродов-оптимизаторов, которые экономят деньги, постоянно моргая ссылками. Те включают ее например через механизм SLEEP-ов на пару часов в день и все. Схема может быть и другая. Средства экономятся значительно, вероятность индексации ссылки роботом не равна нулю. Процесс этот у них автоматизирован. Администрация бессильна.

Что нужно: отслеживание полной истории всех ссылок. Ну и какой то базовый анализ, типа ссылка на такой то домен за такой то промежуток времени появлялась на площадке столько то раз. И все.

Проще конечно же это было бы решить введением минимально оплачиваемого порога, например в неделю, но обсуждалось это уже неоднократно и все бестолку. Единственное что сделали, только оплату за "выморганное" время размещения, раньше вообще вхаляву уроды жили.

[9dVSnVN6]

Сообщение от glavriba

Ссылки на бесчисленные варианты можно?

http://forum.sape.ru/showthread.php?t=4787
http://forum.sape.ru/showthread.php?t=7049

[glavriba]

Что нужно: отслеживание полной истории всех ссылок. Ну и какой то базовый анализ, типа ссылка на такой то домен за такой то промежуток времени появлялась на площадке столько то раз. И все.

И вы предлагаете сделать это через анализ links.db... где хранится сериализованный массив всех ссылок. Этот файл обновляется раз в час (по умолчанию), если в течении какого-то промежутка времени (например, день или несколько дней) ссылка мигает (т.е. меняет свой статус), то тогда вывести её как подозрительную?

вроде ничего сложного...написать что ли?

задачка-то не очень сложная, что сами-то не напишите?

За ссылки спасибо. Я вообще в веб-мастерстве новичок. YaChecker и Яндексоид даже не смотрел, ибо не знаю чем может мне пригодится... да вот такой вот я лох начинающий, да.

а Web-Analyzer к сожалению, с закрытыми исходниками, а то я конечно бы попросился в разработчики. я планирую статистику анализировать хитромудрыми способами стат.анализа, тут без спец. пакетов вроде MatLab не обойтись. Для этого мне нужна открытая БД, в которой хранится стата, и возможность делать АБСОЛЮТНО любые выборки.

[9dVSnVN6]

Сообщение от glavriba

задачка-то не очень сложная, что сами-то не напишите?

А мне лениво - это раз, а во вторых я всех слиперов и прочих просто подозрительных сразу, на всякий случай, в GBL отправляю.
Если бы все ВМ так принципиально делали, не было бы проблемы.

[glavriba]

А мне лениво - это раз, а во вторых я всех слиперов и прочих просто подозрительных сразу, на всякий случай, в GBL отправляю.
Если бы все ВМ так принципиально делали, не было бы проблемы.

А. ну тогда ладно. я-то думал вам надо и вы просите. я с подозрительными так же жесток. SapExtension этих подозрительных как на ладони показывает. статистика ссылок у меня занимает уже около 1 мегабайта, за несколько дней всего (1000 ссылок) что говорит о том, что некоторые действительно слишком часто меняют статус.

[medus_a]

а Web-Analyzer к сожалению, с закрытыми исходниками, а то я конечно бы попросился в разработчики

чесно говоря, на моей памяти, да и в последние года, я практически не видел программ к комерческим проэктам, с открытым исходным кодом
не web, а именно софтварных
платность версии 2.0 обусловливается только тем, что было слишком уж много затраченно времени на разработку

тем более, то, на чём писалось, устарело лет так на 9, но на удивление, справляется со всеми современными запросами, не считая "недебагируемых багов"
насчёт сбора статистики, актуально сейчас делать это для Оптимизаторов, а не для Вэбмастеров
у меня к примеру, тоже почти ничего нету сейчас, чтобы предложить Оптимизатору, только на стадии разработки