Старый 24.02.2008, 11:38   #1
Специалист
 
Регистрация: 11.11.2007
Сообщений: 105
Вес репутации: 148
glavriba на пути к лучшему
По умолчанию SapExtension - open-source программа для сбора статистики

Приветствую всех, дамы и господа!

Я тут на досуге написал несколько скриптиков, которые скапливают статистику для вебмастера. Общее название для комплекса этих скриптиков - SapExtension (пока они заточены для сбора статистики только для вебмастера, т.к. для них очень мало какой-либо статистической информации, а тем не менее, она нужна.)

Скрипты хранят в БД все изменения, происходящие с объектами: сайтами, страницами, ссылками. Добавляют новые, если они есть. создают новую запись в истории, если какой-то параметр, например PR у сайта, или число ВС на странице изменяется.

Таким образом, можно отслеживать жизнь своих проектов во всех подробностях, что иногда просто необходимо.

Путём запросов к БД можно сформировать для себя статистику за любой залогированный промежуток времени, получить любую выборку, которую затем можно анализировать в пакетах статистики или в том же Excel'e.

К сожалению, сейчас для того, чтобы работать с пакетом SapExtension, Вы должны обладать знаниями в области PHP и MySQL. Но особо подробных и крепких знаний всё же не требуется, если вы хотя бы раз в жизни писали программы на PHP и написали хотя бы один SQL-запрос, то справитесь.

Это Open-Source проект, и распространяется по лицензии GNU/GPL v2. Сайт проекта: http://sapextension.org/

Вся подробная инструкция по установке доступна на вышеуказанном сайте.

Приглашаются все желающие для бета-тестинга и развития проекта.

В настоящее время проект сохраняет статистику для:
  • сайтов,
  • страниц,
  • ссылок,
  • общая статистика сапы (пользователи, сайты, страницы)

В планах сделать учёт и анализ извещений.
__________________
SapExtension - open-source программа для сбора статистики SAPE.RU
Модуль интеграции Drupal версий 5,6,7 с SAPE
glavriba вне форума   Ответить с цитированием
Старый 24.02.2008, 11:53   #2
Погулять вышел
 
Аватар для den78ru
 
Регистрация: 15.05.2007
Адрес: С-Пб! О/ВМ 50/50
Сообщений: 1,921
Вес репутации: 261
den78ru - прекрасное будущееden78ru - прекрасное будущееden78ru - прекрасное будущееden78ru - прекрасное будущееden78ru - прекрасное будущееden78ru - прекрасное будущееden78ru - прекрасное будущееden78ru - прекрасное будущееden78ru - прекрасное будущееden78ru - прекрасное будущееden78ru - прекрасное будущее
По умолчанию

Замечательно.., но при чём тут раздел "Вопросы по работе системы "?
den78ru вне форума   Ответить с цитированием
Старый 24.02.2008, 12:07   #3
Специалист
 
Аватар для 9dVSnVN6
 
Регистрация: 29.05.2007
Сообщений: 486
Вес репутации: 164
9dVSnVN6 - очень-очень хороший человек9dVSnVN6 - очень-очень хороший человек9dVSnVN6 - очень-очень хороший человек9dVSnVN6 - очень-очень хороший человек9dVSnVN6 - очень-очень хороший человек
По умолчанию

Цитата:
Сообщение от glavriba Посмотреть сообщение
В настоящее время проект сохраняет статистику для:
  • сайтов,
  • страниц,
  • ссылок,
  • общая статистика сапы (пользователи, сайты, страницы)
Реальный интерес представляет только анализ ссылок. Все остальное уже реализовано в бесчисленном количестве вариантов и не представляет особого интереса. Причем, уж коли тут php+mysql и возможна установка на серверной стороне, то нужно и должно сделать это без парсинга саповского хтмла, а прямым анализом links.db. Уже второй раз дарю эту идею. Причем особый интерес представляет частый анализ, например раз в 5 мин по крону, размещаемых на площадке ссылок на предмет выявляния моргальщиков и прочих уродов. Эта проблема никем еще не решена, а явление носит массовый характер и реально мешает работать.

Других смыслов в очередном "сапа-браузере" на данный момент уже наверное нет.
__________________
Просто было лень ник придумывать.
9dVSnVN6 вне форума   Ответить с цитированием
Старый 24.02.2008, 12:33   #4
Специалист
 
Регистрация: 11.11.2007
Сообщений: 105
Вес репутации: 148
glavriba на пути к лучшему
По умолчанию

Цитата:
Замечательно.., но при чём тут раздел "Вопросы по работе системы "?
Так вроде программы подобного рода здесь анонсируются.

Цитата:
Реальный интерес представляет только анализ ссылок. Все остальное уже реализовано в бесчисленном количестве вариантов и не представляет особого интереса.
Ссылки на бесчисленные варианты можно? я бы посмотрел. а то одной из причин, почему я взялся это делать, была та, что я под свои потребности не нашёл софтину. Кроме того, Open-Source - ную.

Цитата:
прямым анализом links.db
Пожалуй, мысль здравая. Я не в курсе что такое "мигуны", может, объясните, чтобы был ясен алгоритм явления?
__________________
SapExtension - open-source программа для сбора статистики SAPE.RU
Модуль интеграции Drupal версий 5,6,7 с SAPE
glavriba вне форума   Ответить с цитированием
Старый 24.02.2008, 12:46   #5
Специалист
 
Аватар для 9dVSnVN6
 
Регистрация: 29.05.2007
Сообщений: 486
Вес репутации: 164
9dVSnVN6 - очень-очень хороший человек9dVSnVN6 - очень-очень хороший человек9dVSnVN6 - очень-очень хороший человек9dVSnVN6 - очень-очень хороший человек9dVSnVN6 - очень-очень хороший человек
По умолчанию

Цитата:
Сообщение от glavriba Посмотреть сообщение
Пожалуй, мысль здравая. Я не в курсе что такое "мигуны", может, объясните, чтобы был ясен алгоритм явления?
Есть тут многочисленная прослойка уродов-оптимизаторов, которые экономят деньги, постоянно моргая ссылками. Те включают ее например через механизм SLEEP-ов на пару часов в день и все. Схема может быть и другая. Средства экономятся значительно, вероятность индексации ссылки роботом не равна нулю. Процесс этот у них автоматизирован. Администрация бессильна.

Что нужно: отслеживание полной истории всех ссылок. Ну и какой то базовый анализ, типа ссылка на такой то домен за такой то промежуток времени появлялась на площадке столько то раз. И все.

Проще конечно же это было бы решить введением минимально оплачиваемого порога, например в неделю, но обсуждалось это уже неоднократно и все бестолку. Единственное что сделали, только оплату за "выморганное" время размещения, раньше вообще вхаляву уроды жили.
__________________
Просто было лень ник придумывать.

Последний раз редактировалось 9dVSnVN6; 24.02.2008 в 12:49.
9dVSnVN6 вне форума   Ответить с цитированием
Старый 24.02.2008, 12:52   #6
Специалист
 
Аватар для 9dVSnVN6
 
Регистрация: 29.05.2007
Сообщений: 486
Вес репутации: 164
9dVSnVN6 - очень-очень хороший человек9dVSnVN6 - очень-очень хороший человек9dVSnVN6 - очень-очень хороший человек9dVSnVN6 - очень-очень хороший человек9dVSnVN6 - очень-очень хороший человек
По умолчанию

Цитата:
Сообщение от glavriba Посмотреть сообщение
Ссылки на бесчисленные варианты можно?
http://forum.sape.ru/showthread.php?t=4787
http://forum.sape.ru/showthread.php?t=7049
__________________
Просто было лень ник придумывать.
9dVSnVN6 вне форума   Ответить с цитированием
Старый 24.02.2008, 13:15   #7
Специалист
 
Регистрация: 11.11.2007
Сообщений: 105
Вес репутации: 148
glavriba на пути к лучшему
По умолчанию

Цитата:
Что нужно: отслеживание полной истории всех ссылок. Ну и какой то базовый анализ, типа ссылка на такой то домен за такой то промежуток времени появлялась на площадке столько то раз. И все.
И вы предлагаете сделать это через анализ links.db... где хранится сериализованный массив всех ссылок. Этот файл обновляется раз в час (по умолчанию), если в течении какого-то промежутка времени (например, день или несколько дней) ссылка мигает (т.е. меняет свой статус), то тогда вывести её как подозрительную?

вроде ничего сложного...написать что ли?

задачка-то не очень сложная, что сами-то не напишите?

За ссылки спасибо. Я вообще в веб-мастерстве новичок. YaChecker и Яндексоид даже не смотрел, ибо не знаю чем может мне пригодится... да вот такой вот я лох начинающий, да.

а Web-Analyzer к сожалению, с закрытыми исходниками, а то я конечно бы попросился в разработчики. я планирую статистику анализировать хитромудрыми способами стат.анализа, тут без спец. пакетов вроде MatLab не обойтись. Для этого мне нужна открытая БД, в которой хранится стата, и возможность делать АБСОЛЮТНО любые выборки.
__________________
SapExtension - open-source программа для сбора статистики SAPE.RU
Модуль интеграции Drupal версий 5,6,7 с SAPE
glavriba вне форума   Ответить с цитированием
Старый 24.02.2008, 13:36   #8
Специалист
 
Аватар для 9dVSnVN6
 
Регистрация: 29.05.2007
Сообщений: 486
Вес репутации: 164
9dVSnVN6 - очень-очень хороший человек9dVSnVN6 - очень-очень хороший человек9dVSnVN6 - очень-очень хороший человек9dVSnVN6 - очень-очень хороший человек9dVSnVN6 - очень-очень хороший человек
По умолчанию

Цитата:
Сообщение от glavriba Посмотреть сообщение
задачка-то не очень сложная, что сами-то не напишите?
А мне лениво - это раз, а во вторых я всех слиперов и прочих просто подозрительных сразу, на всякий случай, в GBL отправляю.
Если бы все ВМ так принципиально делали, не было бы проблемы.
__________________
Просто было лень ник придумывать.
9dVSnVN6 вне форума   Ответить с цитированием
Старый 24.02.2008, 13:46   #9
Специалист
 
Регистрация: 11.11.2007
Сообщений: 105
Вес репутации: 148
glavriba на пути к лучшему
По умолчанию

Цитата:
А мне лениво - это раз, а во вторых я всех слиперов и прочих просто подозрительных сразу, на всякий случай, в GBL отправляю.
Если бы все ВМ так принципиально делали, не было бы проблемы.
А. ну тогда ладно. я-то думал вам надо и вы просите. я с подозрительными так же жесток. SapExtension этих подозрительных как на ладони показывает. статистика ссылок у меня занимает уже около 1 мегабайта, за несколько дней всего (1000 ссылок) что говорит о том, что некоторые действительно слишком часто меняют статус.
__________________
SapExtension - open-source программа для сбора статистики SAPE.RU
Модуль интеграции Drupal версий 5,6,7 с SAPE
glavriba вне форума   Ответить с цитированием
Старый 24.02.2008, 14:02   #10
Guest
 
Сообщений: n/a
По умолчанию

Цитата:
а Web-Analyzer к сожалению, с закрытыми исходниками, а то я конечно бы попросился в разработчики
чесно говоря, на моей памяти, да и в последние года, я практически не видел программ к комерческим проэктам, с открытым исходным кодом
не web, а именно софтварных
платность версии 2.0 обусловливается только тем, что было слишком уж много затраченно времени на разработку

тем более, то, на чём писалось, устарело лет так на 9, но на удивление, справляется со всеми современными запросами, не считая "недебагируемых багов"
насчёт сбора статистики, актуально сейчас делать это для Оптимизаторов, а не для Вэбмастеров
у меня к примеру, тоже почти ничего нету сейчас, чтобы предложить Оптимизатору, только на стадии разработки
  Ответить с цитированием
Ответ

Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
установка на Boundless source - каталог ссылок has Установка кода на различные движки 0 14.06.2008 22:52
технология сбора пожеланий пользователей системы kikimora17 Пожелания пользователей системы 1 16.05.2008 08:22
Open SEF mbmarket Яндекс 0 30.12.2007 21:47
Программа подробного анализа статистики для sape.ru v1.1 medus_a Вопросы по работе системы 62 16.12.2007 15:34
Программа подробного анализа статистики для sape.ru medus_a Вопросы по работе системы 65 11.12.2007 23:32


Часовой пояс GMT +3, время: 21:18.