SapExtension - open-source программа для сбора статистики

glavriba · 24.02.2008, 11:38

Приветствую всех, дамы и господа!

Я тут на досуге написал несколько скриптиков, которые скапливают статистику для вебмастера. Общее название для комплекса этих скриптиков - SapExtension (пока они заточены для сбора статистики только для вебмастера, т.к. для них очень мало какой-либо статистической информации, а тем не менее, она нужна.)

Скрипты хранят в БД все изменения, происходящие с объектами: сайтами, страницами, ссылками. Добавляют новые, если они есть. создают новую запись в истории, если какой-то параметр, например PR у сайта, или число ВС на странице изменяется.

Таким образом, можно отслеживать жизнь своих проектов во всех подробностях, что иногда просто необходимо.

Путём запросов к БД можно сформировать для себя статистику за любой залогированный промежуток времени, получить любую выборку, которую затем можно анализировать в пакетах статистики или в том же Excel'e.

К сожалению, сейчас для того, чтобы работать с пакетом SapExtension, Вы должны обладать знаниями в области PHP и MySQL. Но особо подробных и крепких знаний всё же не требуется, если вы хотя бы раз в жизни писали программы на PHP и написали хотя бы один SQL-запрос, то справитесь.

Это Open-Source проект, и распространяется по лицензии GNU/GPL v2. Сайт проекта: http://sapextension.org/

Вся подробная инструкция по установке доступна на вышеуказанном сайте.

Приглашаются все желающие для бета-тестинга и развития проекта.

В настоящее время проект сохраняет статистику для:

сайтов,
страниц,
ссылок,
общая статистика сапы (пользователи, сайты, страницы)

В планах сделать учёт и анализ извещений.

den78ru · 24.02.2008, 11:53

Замечательно.., но при чём тут раздел "Вопросы по работе системы "?

9dVSnVN6 · 24.02.2008, 12:07

Цитата:

Сообщение от glavriba

В настоящее время проект сохраняет статистику для:

сайтов,
страниц,
ссылок,
общая статистика сапы (пользователи, сайты, страницы)

Реальный интерес представляет только анализ ссылок. Все остальное уже реализовано в бесчисленном количестве вариантов и не представляет особого интереса. Причем, уж коли тут php+mysql и возможна установка на серверной стороне, то нужно и должно сделать это без парсинга саповского хтмла, а прямым анализом links.db. Уже второй раз дарю эту идею. Причем особый интерес представляет частый анализ, например раз в 5 мин по крону, размещаемых на площадке ссылок на предмет выявляния моргальщиков и прочих уродов. Эта проблема никем еще не решена, а явление носит массовый характер и реально мешает работать.

Других смыслов в очередном "сапа-браузере" на данный момент уже наверное нет.

glavriba · 24.02.2008, 12:33

Цитата:

Замечательно.., но при чём тут раздел "Вопросы по работе системы "?

Так вроде программы подобного рода здесь анонсируются.

Цитата:

Реальный интерес представляет только анализ ссылок. Все остальное уже реализовано в бесчисленном количестве вариантов и не представляет особого интереса.

Ссылки на бесчисленные варианты можно? я бы посмотрел. а то одной из причин, почему я взялся это делать, была та, что я под свои потребности не нашёл софтину. Кроме того, Open-Source - ную.

Цитата:

прямым анализом links.db

Пожалуй, мысль здравая. Я не в курсе что такое "мигуны", может, объясните, чтобы был ясен алгоритм явления?

9dVSnVN6 · 24.02.2008, 12:46

Цитата:

Сообщение от glavriba

Пожалуй, мысль здравая. Я не в курсе что такое "мигуны", может, объясните, чтобы был ясен алгоритм явления?

Есть тут многочисленная прослойка уродов-оптимизаторов, которые экономят деньги, постоянно моргая ссылками. Те включают ее например через механизм SLEEP-ов на пару часов в день и все. Схема может быть и другая. Средства экономятся значительно, вероятность индексации ссылки роботом не равна нулю. Процесс этот у них автоматизирован. Администрация бессильна.

Что нужно: отслеживание полной истории всех ссылок. Ну и какой то базовый анализ, типа ссылка на такой то домен за такой то промежуток времени появлялась на площадке столько то раз. И все.

Проще конечно же это было бы решить введением минимально оплачиваемого порога, например в неделю, но обсуждалось это уже неоднократно и все бестолку. Единственное что сделали, только оплату за "выморганное" время размещения, раньше вообще вхаляву уроды жили.

9dVSnVN6 · 24.02.2008, 12:52

Цитата:

Сообщение от glavriba

Ссылки на бесчисленные варианты можно?

http://forum.sape.ru/showthread.php?t=4787
http://forum.sape.ru/showthread.php?t=7049

glavriba · 24.02.2008, 13:15

Цитата:

Что нужно: отслеживание полной истории всех ссылок. Ну и какой то базовый анализ, типа ссылка на такой то домен за такой то промежуток времени появлялась на площадке столько то раз. И все.

И вы предлагаете сделать это через анализ links.db... где хранится сериализованный массив всех ссылок. Этот файл обновляется раз в час (по умолчанию), если в течении какого-то промежутка времени (например, день или несколько дней) ссылка мигает (т.е. меняет свой статус), то тогда вывести её как подозрительную?

вроде ничего сложного...написать что ли?

задачка-то не очень сложная, что сами-то не напишите?

За ссылки спасибо. Я вообще в веб-мастерстве новичок. YaChecker и Яндексоид даже не смотрел, ибо не знаю чем может мне пригодится... да вот такой вот я лох начинающий, да.

а Web-Analyzer к сожалению, с закрытыми исходниками, а то я конечно бы попросился в разработчики. я планирую статистику анализировать хитромудрыми способами стат.анализа, тут без спец. пакетов вроде MatLab не обойтись. Для этого мне нужна открытая БД, в которой хранится стата, и возможность делать АБСОЛЮТНО любые выборки.

9dVSnVN6 · 24.02.2008, 13:36

Цитата:

Сообщение от glavriba

задачка-то не очень сложная, что сами-то не напишите?

А мне лениво - это раз, а во вторых я всех слиперов и прочих просто подозрительных сразу, на всякий случай, в GBL отправляю.
Если бы все ВМ так принципиально делали, не было бы проблемы.

glavriba · 24.02.2008, 13:46

Цитата:

А мне лениво - это раз, а во вторых я всех слиперов и прочих просто подозрительных сразу, на всякий случай, в GBL отправляю.
Если бы все ВМ так принципиально делали, не было бы проблемы.

А. ну тогда ладно. я-то думал вам надо и вы просите. я с подозрительными так же жесток. SapExtension этих подозрительных как на ладони показывает. статистика ссылок у меня занимает уже около 1 мегабайта, за несколько дней всего (1000 ссылок) что говорит о том, что некоторые действительно слишком часто меняют статус.

medus_a · 24.02.2008, 14:02

Цитата:

а Web-Analyzer к сожалению, с закрытыми исходниками, а то я конечно бы попросился в разработчики

чесно говоря, на моей памяти, да и в последние года, я практически не видел программ к комерческим проэктам, с открытым исходным кодом
не web, а именно софтварных
платность версии 2.0 обусловливается только тем, что было слишком уж много затраченно времени на разработку

тем более, то, на чём писалось, устарело лет так на 9

, но на удивление, справляется со всеми современными запросами, не считая "недебагируемых багов"

насчёт сбора статистики, актуально сейчас делать это для Оптимизаторов, а не для Вэбмастеров
у меня к примеру, тоже почти ничего нету сейчас, чтобы предложить Оптимизатору, только на стадии разработки

24.02.2008, 11:38	#1
glavriba Специалист Регистрация: 11.11.2007 Сообщений: 105 Вес репутации: 217	SapExtension - open-source программа для сбора статистики Приветствую всех, дамы и господа! Я тут на досуге написал несколько скриптиков, которые скапливают статистику для вебмастера. Общее название для комплекса этих скриптиков - SapExtension (пока они заточены для сбора статистики только для вебмастера, т.к. для них очень мало какой-либо статистической информации, а тем не менее, она нужна.) Скрипты хранят в БД все изменения, происходящие с объектами: сайтами, страницами, ссылками. Добавляют новые, если они есть. создают новую запись в истории, если какой-то параметр, например PR у сайта, или число ВС на странице изменяется. Таким образом, можно отслеживать жизнь своих проектов во всех подробностях, что иногда просто необходимо. Путём запросов к БД можно сформировать для себя статистику за любой залогированный промежуток времени, получить любую выборку, которую затем можно анализировать в пакетах статистики или в том же Excel'e. К сожалению, сейчас для того, чтобы работать с пакетом SapExtension, Вы должны обладать знаниями в области PHP и MySQL. Но особо подробных и крепких знаний всё же не требуется, если вы хотя бы раз в жизни писали программы на PHP и написали хотя бы один SQL-запрос, то справитесь. Это Open-Source проект, и распространяется по лицензии GNU/GPL v2. Сайт проекта: http://sapextension.org/ Вся подробная инструкция по установке доступна на вышеуказанном сайте. Приглашаются все желающие для бета-тестинга и развития проекта. В настоящее время проект сохраняет статистику для: сайтов, страниц, ссылок, общая статистика сапы (пользователи, сайты, страницы) В планах сделать учёт и анализ извещений. __________________ SapExtension - open-source программа для сбора статистики SAPE.RU Модуль интеграции Drupal версий 5,6,7 с SAPE

Похожие темы
Тема	Автор	Раздел	Ответов	Последнее сообщение
установка на Boundless source - каталог ссылок	has	Установка кода на различные движки	0	14.06.2008 22:52
технология сбора пожеланий пользователей системы	kikimora17	Пожелания пользователей системы	1	16.05.2008 08:22
Open SEF	mbmarket	Яндекс	0	30.12.2007 21:47
Программа подробного анализа статистики для sape.ru v1.1	medus_a	Вопросы по работе системы	62	16.12.2007 15:34
Программа подробного анализа статистики для sape.ru	medus_a	Вопросы по работе системы	65	11.12.2007 23:32

24.02.2008, 11:53	#2
den78ru Погулять вышел Регистрация: 15.05.2007 Адрес: С-Пб! О/ВМ 50/50 Сообщений: 1,921 Вес репутации: 330	Замечательно.., но при чём тут раздел "Вопросы по работе системы "?