Программа для мониторинга сайтов [desktop]
 

История: владею небольшой количеством сайтов , после каждого апа проверяю их в site-auditor - удовольствие ниже среднего. Возникла идея сделать программу которая занималась мониторингом состояния сайтика в ПС и вела их историю. Программу только десктопную, по многим причинам. :-D

Сделано: Была выпущена первая программа на QT(C++) под лицензией GPL, программа работает под Windows и Linux OS. Программа бесплатная.
Сайт программы: http://dwatcher.ru/
Ссылка на бинарник
Ссылка на исходники.

Что умеет: базовые возможности видны из скриншота

http://dwatcher.ru/sites/default/fil...her_sc_0_1.png

+ ведеться суточная история по каждому параметру.

PS: Автор программы я. После написания первой версии я забыл про сайт аудиторы и подобные проги. Готовлю к выпуску 2 версию программы. Хотелось бы отметить, что эта прога не для экспресс анализа сайтов, а суточного мониторинга, желательно что бы она висела постоянно( круглосуточно). Считает она медленно, что бы не словить бан в ПС. Рассчитана она на 100-1000 сайтов. Если есть вопросы или пожелания - спрашивайте тут или на сайте.

PS2: Сайт проги пока в разработке, базовые вещи есть, но есть и косяки).

тестирую!
спасибо!!!!
мне ОЧЕНЬ ПОНРАВИЛОСЬ!!!

Добавлено через 4 минуты
пожелание
одновременное добавление нескольких сайтов

К сожалению что бы выпустить релиз, отключил много функциональности. Щас пишу 2 версию - там это будет.

У вас на сайте написано про скрипт статистики с Sape. Планируете встроить модуль в программу?
С какой переодичностью обновляются данные?

а тут нужны идеи, как вы его видите, к примеру:

1) нужен столбец "SAPE" с галкой что сайт участвует в этой бирже
2) нужен доход с сайта за этот день
3) сколько ссылок продано

или что то еще.

насчет переодичности, раз в сутки, тоесть если ночью был АП выдачи яндекса, то ВСЕ данные вы получите не утром, а в течении суток. тут можно тподумать - но если у вас в списке 1000 сайтов - все их с одного IP за час проверить не реално, можно бан схватить.

PS: с помощью программы, хотелось бы упростить жизнь сателиттчикам с количеством сайтов( >50), а так же оптимизаторам, которые наблюдают за конкурентами, к примеру регистрировать резкое увеличение ссылочной массы.

а как насчет нескольких профилей?
один для себя,а другой для наблюдения за канкурентами...

тут планируется ввести группы, типа группа ТОР 10 по "слоникам"
группа "перелинкованая сеть из 10 сайтиков"

группы могут быть любыми, по названию, группу задает пользователь.

Поолезная вещица! Зачет.
Тестирую

Спасибо тебе огромное, добрый человек. Очень кстати!
Пожелание: принудительная проверка выбранного домена (правой кнопкой например- проверить сейчас)

Заметил баг, незнаю как у остальных но у меня не показывает страницы в индексе Яши (0) и беки у него же.
Остально все нормально.

Добавил пока 8. Ошибка у одного: в индексе яши показывает 0 хотя не ноль совсем)) Вот я и говорю - кнопочку бы для перепроверки если какой нибудь косяк. А так все четко.

Да, у меня тоже показало 0 у одного крупного сайта. Чуть не посидел, пока полез и проверил ручками :)

Добавлено через 5 минут
Да, добавил еще сайт, та же бодяга.

:D

Есть вопрос: насчет суточной проверки. Программа проверяет при запуске параметры всех сайтов(т.е. перезапуск равносилен кнопке обновить) или по счетчику конкретно(например сегодня в час дня проверила а следующая проверка будет завтра тоже в 13.00)?

Про Sape
Вполне достаточно, по статистике видно будет динамику продаж и доходов ( запарило в ексель забивать!)

При перезапуске не проверяет, по крайней мере у меня. А кнопка "Обновить" очень нужна. При такой скорости проверки попасть в бан думаю не реально. А если уж умудрится попасть, то есть прокси. Ну или динамический ип у кого.

Спасибо :) Развивайте и дальше :)

По багам - баги конечно есть и будут.Если у вас сайт не определяется, то может пришлете мне его в личку:) У самого сетка - некоторые URL лучше не палить. Попробуйте найти какой нить нейтральный URL.

По обновлениям - конечно принудительность нужна, обновляется информация по сайту ровно через сутки. Тоесть если вы добавили сайт в 13 часов, то через сутки в 13 часов по нему все обновиться. Если вы запустили программу через 2 дня, то все сайтики сразу пойдут обновляться. Про обновления пока сильно думается, типа делать его всегда после часу ночи)

PS: хватает ли поисковых параметров, думаеться добавить еще поддержки alexa, li.ru.

удобно, давно такую хотел, добавь номер кошелька для благодарности.

хорошо б еще сделать забивку пачки доменов сразу

прога зачетная

По одному сайту показала беки в яндексе, но реально их нет. Сайт нигде еще не светился.
Ради интереса даже добавил сайт в панель яндекса - беков нет.
Есть разница в добавлении сайта в программу с www и без?
Например cайт добавлен в программу без www. По рамблеру показывает 1 страницу в индексе. На рамблере в поиск ввожу
site.ru - в выдаче сайта нет совсем.
www.site.ru - в выдаче сайт есть и "Искать на сайте (всего: 1197)"

Несколько общих и частных пожеланий:

Общее:
-Сделайте возможность выгрузки данных в несколько разных типов субд (тоесть софтина висит и полученные данные кладет куда ей сказали);
-Если добавить аналитику- то будет здорово- самое примитивное- построение графиков- очень интересные вещи иногда углядываешь на них; Более продвинутое- сделать возможность добавлять события и привязывать их к графикам и тд;

Частное- если вдруг захотите подключить софтинку к сапе:
-получать цифры по площадкам- доход, количество ссылок, количество заявок по каждому сайту;
-тоже сделать отправку в разнотипные субд;
-аналитика- так же, как я описывал выше; обязательно с привязкой событий (очень интересно смотреть на сведенные воедино графики с пометками типа "поднял цены в 5 раз" или "увеличил количество ВС до столькито" :)

Когдато подобная тема поднималась- вот тут гляньте пожелания к софтинке:
http://forum.sape.ru/showpost.php?p=390867&postcount=15

Тоже понравилось. Поставил в автозагрузку, понаблюдаю )

Там бы столбцы пересортировать, чтобы все по яндексу стояло, скажем, рядом, а не вразнобой. А яху можно и взад, подальше.
А чего по гуглю бэков нету?

И еще суперски было бы, если бы, скажем, кликнуть по цифирке Yandex Pages - и в браузере откроется страница яндекса с этим запросом. Ну и по остальным цифиркам тоже. Для детального разглядывания.

Такую прогу и купить не влом. Как доделаете - я первый покупатель )

Короче по яндексу у меня лично трабла, показывает нули. Пробовал добавлять и с www и без, результат один.

Всем спасибо!

Продавать программу я не планирую, у продажных программ есть 3 минуса: аудитория меньше раз в 10 и обязательства перед покупателями, дистрибутив под все Linux я не осилю, минимум ubuntu и debian.

Баги исправлю, щас готовиться версия с группами и фильтрацией по IP.
Удобно фильтровать по группам. Примерно через 1-2 недели. За основу буду брать теперь site-auditor, нужно будет посмотреть какие запросы он генерит.


Если есть пожелания - пишите.

еще бы возможность сворачивать в трей
и индикатор апов PR, ТИЦ, ап выдачи )))

за трей согласен)

а как вы себе алгоритмы апов преставляете? PR у сайтов в любой момент может сброситься, ТИЦ 1-2 дня может штормить перед апом)

с какого нибудь сервиса брать

ну и пусть будет через пару дней после апа
просто уведомление что ап был такого-то числа

Для этого панель вебмастера есть))) там и подписаться можно от первоисточника)

То что надо. Давно искал. Спасибо автору.

и подписка на свжий номер журнала "Мурзилка".


а по теме, оч не хватает принудительного обновления параметров.
седня был ап индекса, я запустил прожку, и так и не понял - она взяла или не взяла свежие данные. по идее новых страниц добавилось. но прога молчит как партизан.

уже делаем

как я понимаю нужно 2 кнопки - проверить все и проверить конкретный сайт
+ индикация проверки, типа проверено 34 из 254

да !!!
и кошелек укажите на первой странице - куда благодарить...

Кошелек указал :) Если будут пожертвования - можно будет заказать набор иконок - сам я их не нарисую.

Обновление программы будет в течении 3-4 дней.

PS: развитие программы самому интересно, так как когда сайтов больше 100, следить за ними становиться туговато.

sespider посмотрите тоже, очень неплох

Спасибо добавил в копилку. Есть пара интересных моментов, но как я понял она больше для анализа ключевиков.

попользовался несколько дней ...
Самое неудобное - установил к примеру программу в час дня в выходной. А во все остальные дни я на работе в это время и компьютер выключен и прихожу только вечером, когда программа уже не обновится. То есть получается, что параметры сайтов не обновятся, пока я в очередной выходной не включу компьютер в час дня.

Вобщем даешь кнопку принудительного обновления параметров !!!

присоединяюсь

и если можно еще - где-то выводить дату последнего обновления данных

Программа обновляет в случае когда данные протухли более чем на 24 часа. То есть запускали ее в пятницу и запустили в воскресенье - то она сразу полезла обновляться.

В новом релизе планируется сделать 3 вещи: кнопку проверки 1 сайта, всех сайтов, частоту запроса параметра - щас каждые 10 секунд, тоесть 100 сайтов * 7 параметров будут обновляться около 2 часов.

Было бы неплохо.Лично для меня.Добавить столбец окончание регистрации домена.(хотя бы для ru).