Форум SAPE.RU

Форум SAPE.RU (http://forum.sape.ru/index.php)
-   Общие вопросы оптимизации (http://forum.sape.ru/forumdisplay.php?f=33)
-   -   SapExtension - open-source программа для сбора статистики (http://forum.sape.ru/showthread.php?t=9464)

glavriba 24.02.2008 11:38

SapExtension - open-source программа для сбора статистики
 
Приветствую всех, дамы и господа!

Я тут на досуге написал несколько скриптиков, которые скапливают статистику для вебмастера. Общее название для комплекса этих скриптиков - SapExtension (пока они заточены для сбора статистики только для вебмастера, т.к. для них очень мало какой-либо статистической информации, а тем не менее, она нужна.)

Скрипты хранят в БД все изменения, происходящие с объектами: сайтами, страницами, ссылками. Добавляют новые, если они есть. создают новую запись в истории, если какой-то параметр, например PR у сайта, или число ВС на странице изменяется.

Таким образом, можно отслеживать жизнь своих проектов во всех подробностях, что иногда просто необходимо.

Путём запросов к БД можно сформировать для себя статистику за любой залогированный промежуток времени, получить любую выборку, которую затем можно анализировать в пакетах статистики или в том же Excel'e.

К сожалению, сейчас для того, чтобы работать с пакетом SapExtension, Вы должны обладать знаниями в области PHP и MySQL. Но особо подробных и крепких знаний всё же не требуется, если вы хотя бы раз в жизни писали программы на PHP и написали хотя бы один SQL-запрос, то справитесь.

Это Open-Source проект, и распространяется по лицензии GNU/GPL v2. Сайт проекта: http://sapextension.org/

Вся подробная инструкция по установке доступна на вышеуказанном сайте.

Приглашаются все желающие для бета-тестинга и развития проекта.

В настоящее время проект сохраняет статистику для:
  • сайтов,
  • страниц,
  • ссылок,
  • общая статистика сапы (пользователи, сайты, страницы)

В планах сделать учёт и анализ извещений.

den78ru 24.02.2008 11:53

Замечательно.., но при чём тут раздел "Вопросы по работе системы "?

9dVSnVN6 24.02.2008 12:07

Цитата:

Сообщение от glavriba (Сообщение 93137)
В настоящее время проект сохраняет статистику для:
  • сайтов,
  • страниц,
  • ссылок,
  • общая статистика сапы (пользователи, сайты, страницы)

Реальный интерес представляет только анализ ссылок. Все остальное уже реализовано в бесчисленном количестве вариантов и не представляет особого интереса. Причем, уж коли тут php+mysql и возможна установка на серверной стороне, то нужно и должно сделать это без парсинга саповского хтмла, а прямым анализом links.db. Уже второй раз дарю эту идею. Причем особый интерес представляет частый анализ, например раз в 5 мин по крону, размещаемых на площадке ссылок на предмет выявляния моргальщиков и прочих уродов. Эта проблема никем еще не решена, а явление носит массовый характер и реально мешает работать.

Других смыслов в очередном "сапа-браузере" на данный момент уже наверное нет.

glavriba 24.02.2008 12:33

Цитата:

Замечательно.., но при чём тут раздел "Вопросы по работе системы "?
Так вроде программы подобного рода здесь анонсируются.

Цитата:

Реальный интерес представляет только анализ ссылок. Все остальное уже реализовано в бесчисленном количестве вариантов и не представляет особого интереса.
Ссылки на бесчисленные варианты можно? я бы посмотрел. а то одной из причин, почему я взялся это делать, была та, что я под свои потребности не нашёл софтину. Кроме того, Open-Source - ную.

Цитата:

прямым анализом links.db
Пожалуй, мысль здравая. Я не в курсе что такое "мигуны", может, объясните, чтобы был ясен алгоритм явления?

9dVSnVN6 24.02.2008 12:46

Цитата:

Сообщение от glavriba (Сообщение 93163)
Пожалуй, мысль здравая. Я не в курсе что такое "мигуны", может, объясните, чтобы был ясен алгоритм явления?

Есть тут многочисленная прослойка уродов-оптимизаторов, которые экономят деньги, постоянно моргая ссылками. Те включают ее например через механизм SLEEP-ов на пару часов в день и все. Схема может быть и другая. Средства экономятся значительно, вероятность индексации ссылки роботом не равна нулю. Процесс этот у них автоматизирован. Администрация бессильна.

Что нужно: отслеживание полной истории всех ссылок. Ну и какой то базовый анализ, типа ссылка на такой то домен за такой то промежуток времени появлялась на площадке столько то раз. И все.

Проще конечно же это было бы решить введением минимально оплачиваемого порога, например в неделю, но обсуждалось это уже неоднократно и все бестолку. Единственное что сделали, только оплату за "выморганное" время размещения, раньше вообще вхаляву уроды жили.

9dVSnVN6 24.02.2008 12:52

Цитата:

Сообщение от glavriba (Сообщение 93163)
Ссылки на бесчисленные варианты можно?

http://forum.sape.ru/showthread.php?t=4787
http://forum.sape.ru/showthread.php?t=7049

glavriba 24.02.2008 13:15

Цитата:

Что нужно: отслеживание полной истории всех ссылок. Ну и какой то базовый анализ, типа ссылка на такой то домен за такой то промежуток времени появлялась на площадке столько то раз. И все.
И вы предлагаете сделать это через анализ links.db... где хранится сериализованный массив всех ссылок. Этот файл обновляется раз в час (по умолчанию), если в течении какого-то промежутка времени (например, день или несколько дней) ссылка мигает (т.е. меняет свой статус), то тогда вывести её как подозрительную?

вроде ничего сложного...написать что ли?

задачка-то не очень сложная, что сами-то не напишите?

За ссылки спасибо. Я вообще в веб-мастерстве новичок. YaChecker и Яндексоид даже не смотрел, ибо не знаю чем может мне пригодится... да вот такой вот я лох начинающий, да.

а Web-Analyzer к сожалению, с закрытыми исходниками, а то я конечно бы попросился в разработчики. я планирую статистику анализировать хитромудрыми способами стат.анализа, тут без спец. пакетов вроде MatLab не обойтись. Для этого мне нужна открытая БД, в которой хранится стата, и возможность делать АБСОЛЮТНО любые выборки.

9dVSnVN6 24.02.2008 13:36

Цитата:

Сообщение от glavriba (Сообщение 93182)
задачка-то не очень сложная, что сами-то не напишите?

А мне лениво - это раз, а во вторых я всех слиперов и прочих просто подозрительных сразу, на всякий случай, в GBL отправляю.
Если бы все ВМ так принципиально делали, не было бы проблемы. ;)

glavriba 24.02.2008 13:46

Цитата:

А мне лениво - это раз, а во вторых я всех слиперов и прочих просто подозрительных сразу, на всякий случай, в GBL отправляю.
Если бы все ВМ так принципиально делали, не было бы проблемы.
А. ну тогда ладно. я-то думал вам надо и вы просите. я с подозрительными так же жесток. SapExtension этих подозрительных как на ладони показывает. статистика ссылок у меня занимает уже около 1 мегабайта, за несколько дней всего (1000 ссылок) что говорит о том, что некоторые действительно слишком часто меняют статус.

medus_a 24.02.2008 14:02

Цитата:

а Web-Analyzer к сожалению, с закрытыми исходниками, а то я конечно бы попросился в разработчики
чесно говоря, на моей памяти, да и в последние года, я практически не видел программ к комерческим проэктам, с открытым исходным кодом
не web, а именно софтварных
платность версии 2.0 обусловливается только тем, что было слишком уж много затраченно времени на разработку

тем более, то, на чём писалось, устарело лет так на 9:), но на удивление, справляется со всеми современными запросами, не считая "недебагируемых багов":)
насчёт сбора статистики, актуально сейчас делать это для Оптимизаторов, а не для Вэбмастеров
у меня к примеру, тоже почти ничего нету сейчас, чтобы предложить Оптимизатору, только на стадии разработки


Часовой пояс GMT +3, время: 20:56.

Работает на vBulletin® версия 3.8.7.
Copyright ©2000 - 2020, Jelsoft Enterprises Ltd.
Перевод: zCarot
SAPE.RU — система купли-продажи ссылок с главных и внутренних страниц сайтов.