Форум SAPE.RU

Форум SAPE.RU (http://forum.sape.ru/index.php)
-   Софт для оптимизаторов и вебмастеров (http://forum.sape.ru/forumdisplay.php?f=36)
-   -   Определение технологий на веб-сайтах (http://forum.sape.ru/showthread.php?t=97557)

sslab 13.06.2017 10:52

Определение технологий на веб-сайтах
 
Привет всем.

Вдруг у кого есть необходимость узнать CMS, библиотеки и прочие технологии, которые использовались при создании сайта, можете воспользоваться небольшим инструментом, который находится здесь.

Инструмент абсолютно бесплатен. Создавался в рамках вспомогательного инструмента для другого сервиса.

qkowlew 14.06.2017 10:23

интересный факт - оный сервис считает для некоторых лежащих у меня сайтов, что на сервере стоят две разных версии nginx ;-)
http://c2n.qkowlew.org/qhome-q-2017-06-14_102259.png

sslab 14.06.2017 10:50

Цитата:

Сообщение от qkowlew (Сообщение 1484028)
интересный факт - оный сервис считает для некоторых лежащих у меня сайтов, что на сервере стоят две разных версии nginx ;-)

Интересно. Видимо просматривая какую-то из страничек, скрипт неправильно определил версию nginx-а (а может специально подменили ее на данном сайте в каких-то случаях?), а учитывая то, что найденные технологии я вывожу не только в разрезе названия, но и в разрезе версии, то и получилась такая картинка.
А в разрезе версии вывожу для того, чтобы было видно, например, что на сайте используется несколько версий jQuery на разных страницах.

qkowlew 14.06.2017 13:00

Цитата:

Сообщение от sslab (Сообщение 1484030)
Интересно. Видимо просматривая какую-то из страничек, скрипт неправильно определил версию nginx-а (а может специально подменили ее на данном сайте в каких-то случаях?),

На этом конкретном сайте точно не подменял (хотя да, в принципе такое технически вполне реализуемо).

Но там есть iframe, js с других серверов и доменов.
Иными словами - я бы, делая такой сервис, сделал бы опции:
- сканируем "в пределах указанного домена"
- сканируем *.домен
- ?

Цитата:

на сайте используется несколько версий jQuery на разных страницах.
Это как раз тривиально.
Знаком с проектом, в котором на одной странице грузится 6 разных версий JQuery.

А вот два разных нгинкса - менее тривиально.

sslab 14.06.2017 20:56

Цитата:

Сообщение от qkowlew (Сообщение 1484031)
Знаком с проектом, в котором на одной странице грузится 6 разных версий JQuery.

А вот два разных нгинкса - менее тривиально.

Ну вот в итоге и можно рассматривать результат, как то, что инструмент подал сигнал о том, что на сайте где-то, возможно, дублируется по версиям.

Возможно, в будущем и заморочусь над какими то надстройками для инструмента, но на данный момент он выполняет ту задачу, для которой создавался. Ошибки и недочеты есть и они активно устраняются по результатам пользовательских проверок.

sslab 20.06.2017 10:59

Оказывается, далеко не все корректно работало до выкладки в открытый доступ. Много чего исправлено, что правда внешне не видно. Статистику проверенных сайтов пришлось частично обнулить.

sslab 28.06.2017 09:46

В обновлении учел некоторые замечания по ошибкам от пользователей.

В инструменте "Мои сайты", который также представлен на сайте сервиса LinkOnAvt, тоже есть поиск технологий тех сайтов, которые заведены в вашей панели сайтов.

sslab 28.08.2017 16:18

Вложений: 1
По чуть-чуть инструмент добрался до первой тысячи проверенных сайтов

qkowlew 29.08.2017 13:30

С распознаванием кодировки не всё хорошо.
Раз уж выводите title - смотрите, в какой он отдался кодировке. :)

http://c2n.qkowlew.org/qhome-q-2017-08-29_132638.png

sslab 30.08.2017 10:12

Цитата:

Сообщение от qkowlew (Сообщение 1485088)
С распознаванием кодировки не всё хорошо.
Раз уж выводите title - смотрите, в какой он отдался кодировке. :)

Спасибо за обратную связь. Исправлено и обновлено.

sslab 04.09.2017 12:47

Выложено очередное небольшое обновление, в котором основным новшеством является история проверок всех сайтов и история проверок конкретного сайта, например, одного из сайтов о футболе

sslab 13.09.2017 17:43

Новая версия стала уметь определять чуть больше различных технологий, чем раньше. Помимо этого и сам инструмент в этой версии выполнен по другой технологии, по сравнению с предыдущей версией.

sslab 02.10.2017 12:19

Возможности инструмента к версии 3.0:

Проверка сайта идет не только на основе главной страницы, но и включает в себя проверку от 1-й до 19-ти внутренних страниц. На основе этих проверенных страниц, инструмент выводит пользователю следующие данные:
  1. заголовок сайта. Здесь выводится title главной страницы сайта.
  2. список технологий на сайте. Здесь будут выведены все те технологии, которые были использованы при создании сайта и которые смог определить инструмент. Данные сформированы на основе как главной страницы, так и проверенных внутренних.
  3. список проверенных страниц. Здесь в табличном виде выводится список проверенных внутренних страниц. Для каждой страницы указан:
    • заголовок (title) страницы. Он кликабелен и при клике на него вы перейдете на страниц сайта;
    • размер (вес) страницы
    • количество заголовков H1-H6 на странице;
    • Moz PA страницы;
    • Moz Rank страницы;
  4. список заголовков H1-H6 главной страницы сайта;
  5. список заголовков HTTP главной страницы сайта;
  6. информация из Moz по главной странице сайта:
    • Domain Authority;
    • Page Authority;
    • Rank;
    • Дата;
  7. список мета-тегов главной страницы сайта;
  8. список изображений, найденных на главной странице сайта. Для каждого изображения указано:
    • URL изображения. Он кликабелен. При клике откроется изображение в новой вкладке;
    • аттрибут alt;
    • HTTP code по URL картинки. На его основании можно, например, судить, доступна ли вообще картинка по указанному URL.
  9. список иконок сайта, найденных на главной странице сайта;
  10. дата проверки. Здесь выводится та дата, на которую идет просмотр текущей страницы с результатами проверки.
  11. история проверок сайта. Здесь выводится список дат, в которые был проверен сайт. При клике на дату будет сделан переход на просмотр результатов проверки на выбранную дату.
  12. скриншот главной страницы сайта;

Инструмент по-прежнему здесь.
Пример страницы с выводом данных по проверенному сайту - здесь.

sslab 04.10.2017 11:07

Добавлено определение новых технологий:
  • Ecommerce
    • Bizweb (bizweb.vn)
    • Ideasoft (ideasoft.com)
    • JET Enterprise (etecommerce.com.br)
    • KobiMaster (kobimaster.com.tr)
    • NEO - Omnichannel Commerce Platform (jetecommerce.com.br)
    • Rayo (rayo.ir)
    • Textalk (textalk.se)
    • Ticimax (ticimax.com)
    • Tictail (tictail.com)
    • T-Soft (tsoft.com.tr)
    • WebSite X5 (websitex5.com)
    • Wikinggruppen (wikinggruppen.se)
  • Dev Tools
    • Jahia DX (jahia.com/dx)
    • PHPDebugBar (phpdebugbar.com)
  • JavaScript Frameworks
    • ef.js (ef.js.org)
    • Neonclear (neon.atm.re)
  • CMS
    • Jahia DX (jahia.com/dx)
    • Simplébo (simplebo.fr)
  • Web Frameworks
    • Material Design Lite (getmdl.io)
    • Next.js (zeit.co/next)
  • Web Servers
    • Next.js (zeit.co/next)
    • Now (zeit.co/now)
  • Live Chat
    • Raychat (raychat.io)

Полный список того, что умеет определять инструмент - здесь

sslab 11.10.2017 11:34

Выложены очередные обновления. В них среди прочих исправлений, добавлено:
  • данные по домену (пример):
    • дата регистрации домена;
    • дата завершения регистрации домена;
    • возраст домена в днях;
    • количество дней до завершения регистрации домена;
    • список NS;
    • регистратор домена;
    • IPv4;
  • данные по SSL сертификату (пример):
    • кому выдано:
      • общее имя (CN);
      • организация (O);
      • подразделение (OU);
      • серийный номер;
    • кем выдано:
      • общее имя (CN);
      • организация (O);
      • подразделение (OU);
    • срок действия:
      • действителен с;
      • действителен до;
      • осталось (дней);
    • отпечатки:
      • алгоритм подписания сертификата;
    • прочее:
      • версия;
      • домены;
      • основные ограничения сертификата;
      • использование сертификата ключа;
      • адреса распространения CRL;
      • политики сертификата;
      • расширенное использование ключа;
      • идентификатор ключа центра сертификации;
      • доступ к информации о центре;

  • информация из Google:
    • PageSpeed общий балл по главной странице сайта;

sslab 16.10.2017 11:21

Добавлено:
  • проверка наличия и содержимого файла robots;
  • определение названия internet-хоста сервера, на котором расположен сайт;
  • проверка местоположения сервера, на котором расположен сайт;
  • переход на https и HTTP/2;

Полный список возможностей по-прежнему здесь.

Проверить сайт

sslab 30.10.2017 14:27

Выложены очередные обновления.

Добавлено:
  • вывод местоположения сервера на карте;
  • обработчики ошибок сбора технологий;
  • определение категории сайта по версии VirusTotal;
  • определение категории сайта по версии Forcepoint;
  • определение категории сайта по версии BitDefender;
  • определение родственных доменов сайта (sibling domain);
  • определение поддоменов сайта;
  • определение датацентра;
  • определение доменов, разрешенных для IP-адреса сайта;
  • определение IP-адресов, на которых расположен сайт;
  • определение данных по безопасности по версии Webutation;
  • проверка на вирусы;

Исправлено:
  • определение кодировки проверяемого сайта;
  • валидация ввода доменов - исправлена ошибка, при которой нельзя было проверять сайты, в домене которого 4 символа, например, asia;
  • мелкие правки по выводу данных;

Полный список возможностей инструмента - здесь.

sslab 04.12.2017 08:59

Добавлено определение новых технологий:
  • в категории Ecommerce:
    • Afosto (afosto.com);
  • в категории Miscellaneous:
    • Crypto-Loot (crypto-loot.com);
    • JSEcoin (jsecoin.com);
    • Prism (prismjs.com);
    • ProjectPoi (ppoi.org);
  • в категории JavaScript Frameworks:
    • Gatsby (gatsbyjs.org);
  • в категории Editors:
    • Microsoft Excel (office.microsoft.com/excel);
    • Microsoft PowerPoint (office.microsoft.com/powerpoint);
    • Microsoft Publisher (office.microsoft.com/publisher);
    • Microsoft Word (office.microsoft.com/word);
  • в категории Payment Processors:
    • Braintree (braintreepayments.com);
  • в категории CMS:
    • SeamlessCMS (seamlesscms.com);
    • Tilda (tilda.cc);
    • Vigbo (vigbo.com);
  • в категории Blogs:
    • Svbtle (svbtle.com);
  • в категории Web Frameworks, Web Servers, Programming Languages:
    • Xeora (xeora.org);
  • в категории Accounting:
    • Akaunting (akaunting.com);

Добавлено:
  • поддержка доменной зоны .wiki при определении whois;
  • определение Open PageRank от сервиса DomCop;
  • определение Open Rank от сервиса DomCop;

Исправлено:
  • определение кодировки сайта;

Полный список возможностей инструмента - здесь.

sslab 15.12.2017 11:32

Добавлено:
  • поддержка доменной зоны kz;
  • определение Visit Rank - метрика посещаемости по версии сервиса Webfinery.

Исправлено:
  • переработан функционал очередности проверки сайтов;
  • переработан функционал проверки данных по сайту;
  • переработан ход проверки - добавлена визуализация хода проверки с выводом прогресс-бара и лога проверки;

Полный список возможностей инструмента - здесь.

sslab 22.12.2017 09:43

Добавлено:
Исправлено:
  • получение данных из Moz;

Полный список возможностей инструмента - здесь.

sslab 11.01.2018 10:07

Всех с наступившим Новым Годом.

Выложено очередное обновление:

Добавлено:
Исправлено:
  • получение данных из Moz;
  • переход на новый API сервиса DomCop;
  • мелкие правки по выводу данных;

Полный список возможностей здесь.

sslab 28.03.2018 17:07

Добавлено:
  • поддержка доменной зоны .media;
  • получение информации по наличию IP сайта в черных списках DNS;
  • получение информации по посещаемости из LiveInternet;

Добавлено определение новых технологий:
  • в категории Analytics:
    • Google Analytics Enhanced eCommerce (developers.google.com/analytics/devguides/collection/analyticsjs/enhanced-ecommerce);
    • ip-label (ip-label.com);
    • Freshmarketer (freshworks.com/marketing-automation/conversion-rate-optimization/);
    • GoSquared (gosquared.com/);
    • Amplitude (amplitude.com/);
    • Inspectlet (inspectlet.com/);
    • Mouse Flow (mouseflow.com/);
    • Visual Website Optimizer (vwo.com/);
  • в категории Web Frameworks:
    • animate.css (daneden.github.io/animate.css/);
    • AngularDart (webdev.dartlang.org/angular/);
    • Flat UI (designmodo.github.io/Flat-UI/);
    • Vaadin (vaadin.com);
    • Genexus (genexus.com);
  • в категории JavaScript Graphics:
    • A-Frame (aframe.io);
    • particles.js (vincentgarreau.com/particles.js/);
  • в категории JavaScript Frameworks:
    • Accelerated Mobile Pages (ampproject.org);
    • Ant Design (ant.design);
    • Flickity (flickity.metafizzy.co/);
    • OpenUI5 (openui5.org/);
    • styled-components (styled-components.com);
    • Transifex (transifex.com);
    • jQuery Migrate (github.com/jquery/jquery-migrate);
  • в категории Video Players:
    • Asciinema (asciinema.org/);
  • в категории Search Engines:
    • Awesomplete (leaverou.github.io/awesomplete/);
    • Gazelle (whatcd.github.io/Gazelle/);
  • в категории Miscellaneous:
    • Sqreen (sqreen.io);
    • Revslider (revolution.themepunch.com/);
  • в категории CDN:
    • CDN77 (cdn77.com);
  • в категории Cryptominer:
    • Cloudcoins (cloudcoins.co);
    • Coinimp (coinimp.com);
    • Coinlab (coinlab.biz/en);
    • deepMiner (github.com/deepwn/deepMiner);
    • Inwemo (inwemo.com/);
    • Monerominer (monerominer.rocks/);
    • Minero.cc (minero.cc/);
    • Coinhave (coin-have.com/);
  • в категории Ecommerce:
    • Craft Commerce (craftcommerce.com);
    • Kajabi (newkajabi.com);
    • Shopcada (shopcada.com);
    • Shoper (shoper.pl);
    • Shopfa (shopfa.com);
  • в категории Programming Languages:
    • Dart (dartlang.org);
  • в категории CMS:
    • CNV Platform (cnv.vn);
    • MYPAGE Platform (mypage.vn);
    • Pelican (blog.getpelican.com/);
    • Woosa (woosa.nl);
  • в категории Static Site Generator:
    • Hexo (hexo.io);
  • в категории Payment Processors:
    • Laterpay (laterpay.net/);
    • Adyen (adyen.com);
  • в категории Documentation Tools:
    • MkDocs (mkdocs.org/);
  • в категории Photo Galleries:
    • NextGEN Gallery (imagely.com/wordpress-gallery-plugin);
  • в категории Cache Tools:
    • wpCache (wpcache.co);
  • в категории Wikis:
    • XWiki (xwiki.org);
Полный список возможностей инструмента - здесь.

sslab 19.04.2018 13:33

Выложено небольшое обновление, в котором:

Добавлено
  • определение тИЦ Яндекс;
Исправлено

sslab 28.04.2018 18:24

Добавлено:
  • поддержка доменной зоны .рус;
  • поддержка доменной зоны .pe;
  • поддержка доменной зоны .az;

Добавлено для инструмента "Мои сайты":
  • поддержка ввода кириллических доменов;
  • поддержка whois доменной зоны .рус;
  • поддержка whois доменной зоны .pe;
  • поддержка whois доменной зоны .az;
  • опциональная возможность получения по электронной почте напоминаний об окончании срока SSL сертификата;

sslab 03.09.2018 15:46

Выложено обновление, связанное с ИКС от Яндекс

sslab 15.04.2019 09:02

Выложены обновления инструмента "Технический анализ сайта" - версии 4.6 и 4.7

Добавлено:
- определение новых технологий в категориях "JavaScript Libraries", "Containers", "SaaS", "PaaS", "IaaS". Полный список тут;

Исправлено:
- перевод на PHP 7.3 и MariaDB 10.3;


Часовой пояс GMT +3, время: 02:18.

Работает на vBulletin® версия 3.8.7.
Copyright ©2000 - 2020, Jelsoft Enterprises Ltd.
Перевод: zCarot
SAPE.RU — система купли-продажи ссылок с главных и внутренних страниц сайтов.