alekswatch, дождитесь пока модераторы мозиллы проверят новую версию, обычно это сутки-двое занимает последнее время. Или, как вариант, можно вернуться на Firefox 47 и отключить в нем автообновление версий.

Спасибо за вашу помощь. Аналогичная ситуация произошла у меня при парсинге с меджестик при получении (cf и tf) как выше было описано с мозранк. Можно как-то разрешить эту ситуацию. Как я понял поисковые системы и все сервисы решили, что халяву пара прикрывать.
А в меджестик есть что-то аналогичное как вы написали "поэтому будем дальше работать через API. Это 25 тысяч запросов в месяц бесплатно"

sistar-fx, с majestic есть некоторые проблемы, если большой объём сразу проверять, в следующем релизе попробую поправить, но там уже прямо сейчас бесплатная версия API используется по договоренности с этим сервисом.

добавьте по similarweb определение трафика - органики, прямого, с рекламы и тд
добавьте определение на наличие адреса в справочнике, быстрых ссылок, спецссылок в выдаче по запросу "домен"

сделайте возможность скачать результаты в xls для дальнейшей фильтрации

prostors, сходите на фриланс, покомандуйте там.

Обнуляется тИЦ кириллических IDN доменов.
Кириллические IDN домены с тИЦем в написании имени латиницей (xn--...) при punycode-конвертертации на кириллицу обнуляют тИЦ.
Ссылки, купленные ещё за 28 копеек, с тИЦ=600 (в браузере на кириллице был 0), нечаянно стёр на паре сайтов, пока не понял подвоха, и на остальной дюжине сайтов остались.
Сапа тоже показывает для оптимизаторов на таких сайтах нули.

linkorc, тулбарный ТИЦ или кнопочный? В запросе тулбарного ТИЦ у меня не используется кириллица, там сначала идет конвертация в punycode. Нужны какие-то конкретные примеры, на которых посмотреть.

Любой IDN домен в любой зоне с поддержкой кириллицы. Первые с тИЦем, что оказались под рукой:

русская-сила.рф = xn----7sbb5ahj4aiadq2m.xn--p1ai
https://yandex.ru/yaca/cy/ch/www.русская-сила.рф/
Индекс цитирования (тИЦ) ресурса — 0
https://yandex.ru/yaca/cy/ch/www.xn-...dq2m.xn--p1ai/
Индекс цитирования (тИЦ) ресурса — 600

ссср.tv = xn--p1abaa.tv
https://yandex.ru/yaca/cy/ch/www.ссср.tv/
Индекс цитирования (тИЦ) ресурса — 0
https://yandex.ru/yaca/cy/ch/www.xn--p1abaa.tv/
Индекс цитирования (тИЦ) ресурса — 20

Конвертер punycode:
http://r01.ru/domain/whois/instruments/converter.php

linkorc, я не вижу никаких проблем с тулбаром. Покажите скриншот где он неправильно показывает.

http://s4.wampi.ru/2016/08/30/tic.png

можно примеры? Проверил несколько и не нашёл подобной проблемы.