AntiBot - скрипт защиты сайта от плохих ботов и хитроботов.

[vipraskrutka]

v. 3.01 от 12 января 2018:

Скрипт можно выносить на сервере в одно общее место (на отдельный домен).
Исправлен косяк связанный с проверкой ботов по $ab_config['whitebot'] != 1.
Конфиг теперь инклудить не надо.
Перечитайте инструкцию http://antibot.tdsse.com/
И рекомендую обновить скрипт, особенно на дорвеях, если есть что прятать от хитроботов.

[vipraskrutka]

v. 3.02:
В конфиг добавлена переменная: $ab_config['counter'] (для отображения на заглушке счетчиков).
В конфиге дополнены настройки мейловского бота, добавлен PTR: smailru.net
Добавлена JS защита от открытия сайта в продвинутых анонимайзерах cmle.ru, www.nblz.ru и аналогичных.

[vipraskrutka]

В связи с празднованием великого праздника - Дня Святого Патрика, промо код на 50% скидку D421DE44B4384774 на WMSN дорген https://wmsn.biz/dorgen.php , антибот https://antibot.tdsse.com/ и генератор текстов https://textgen.tdsse.com/ . Время действия промо-кодов: c 17.03.2018 по 19.03.2018 А про День Святого Патрика можно почитать тут http://bigpicture.ru/?p=1021791

[vipraskrutka]

Еще у одного сайта изменилась жизнь на до и после антибота.

Это было ДО (сайт скорее был мертв, чем жив):


Это стало через 10 минут ПОСЛЕ установки антибота (все летает):


Сайт с 100500 страницами (на самом деле сильно больше), который можно парсить и парсить, что собственно и делали все кому не лень, как просто воры-парсеры контента, так и бесполезные псевдопоисковики, а теперь не делают.
Сколько это экономия в деньгах - сами прикидывайте, Load Average снизилась в 10 раз, потребление оперативки упало в 2 раза.

[vipraskrutka]

Шаблон заглушки (страницы проверки) для Антибота в стиле Cloudflare (почти полная копия html кода) скачать без смс и регистрации можно тут (для использования: сохранить его в папке антибота под стандартным именем antibot_tpl.txt).

[vipraskrutka]

До выхода новой версии антибота осталось пару дней. А пока немного статистики по ботовой тематике.
За последние пол года на базе антибота и его отдельных частей была собрана большая статистика. А именно собрано больше 1.2 млрд обращений, претендующих быть людьми или таковыми являющиеся (юзерагенты с именем стандартных браузеров с более менее современным номером версии).
Сайты на которых собирались данные: 50% дорвеи, остальное белые сайты, как новые, так и старые трастовые новостники в яндекс новостях и блоги с высокой посещаемостью. 90% гео это рунет.

Итого получилось:

Обращения претендующие быть людьми - в 70% оказались ботами (если брать в среднем)
Для белых малостраничных высокопосещаемых сайтов этот процент в районе 10-20%
Для многостраничных сайтов и для дорвеев - ботов до 95%

Чаще всего ботами оказывались юзерагенты Firefox и IE, причем среди людей популярность этих браузеров наоборот мала. А среди IE ботами оказывались вообще 99.8% посетителей. На дорвеях также выделялся Яндекс браузер, которым часто ходит хитробот Яндекса, якобы из поиска Яндекса.

60% ботов прикидывающихся людьми не поддерживали JS.

Что за боты и зачем они ходят? В основном это тупо парсеры собирающие контент (например доргены типа вмсн доргена) и прочие данные с сайтов (делающие GET обращения к реальным страницам) и (в особенности на дорвеях) присутствует большой процент "россиян", которые являются хитроботами Яндекса и несущими бан и страдания вебмастерам и дорвейщикам. Чекеров уязвимостей (xss) и спамилок (делающих POST в формы) в общем массе исчезающе мало.

Если анализировать шире и делить траф на белых ботов (боты популярных поисковиков и соц сетей) и всех остальных, то часто во "всех остальных" людей оказывается меньше 3-5%, а остальное это всякие ia_archiver, AhrefsBot и т.п. бесполезные боты c 1-2 сотнями имен, несущие только нагрузку на сервер и никакой пользы.

Прочие мысли:

+ Делать изначально белые списки и их не обновлять (привет любителям белых списков ip для nginx) - плохая идея, у белых ботов постоянно появляются новые ip.
+ Делать черные списки ip принадлежащие TORу и хостингам - тоже плохая идея, через прокси, тор и впн сейчас сидят даже домохозяйки в больших количествах, спасибо политикам России и Украины за поднятие интернет грамотности пользователей.

Ну и кто еще не купил антибота: https://antibot.tdsse.com/ всего за 9.95$ с бесплатными обновлениями.

[vipraskrutka]

Новая версия Антибота доступна для загрузки Скачать можно на oplata.info. У антибота теперь новый красивый домен: AntiBot.Cloud и новый - облачный вид защиты, который уже сейчас лучше, чем было раньше, а дальше по мере роста числа пользователей будет еще лучше.

Лог изменеий: v. 4.01 (Beta) от 16 июля 2018:

Скрипт переехал с http://antibot.tdsse.com/ на новый домен: https://antibot.cloud/
Скрипт полностью переписан, для обновления - заменить всю папку antibot изучив новый конфиг.
Если папка whitebot не имела ваших собственных файлов, а только автонаполнялась,
то ее можно полностью очистить, в этой версии в ней будет намного меньше файлов.

Из конфига и функционала убраны некоторые пункты:
- срок жизни куки (теперь они всегда сутки).
- секунды времени тестирования браузера (оно теперь мгновенное, если повезет).
- код ответа сервера для страницы загрузки (теперь всегда 403, это оптимально).
- соль (в ней нету практической пользы).
- добавление get переменных - utm меток (практической пользы в них нету).
- JS проверка ab.php из внешнего локального файла (теперь идет запрос к облаку).

Добавлено:
+ Возможность оперировать маской ipv4 /24, т.е. 123.123.123.*
+ Проверка юзеров на поддержку http/2.0 (+100500% с отсечению ботов).
+ Облачная проверка юзера.
+ Включение/отключение отдельных логов.
+ Шаблон в стиле Cloudflare добавлен по умолчанию (он привычен и не пугает юзеров).
+ Счетчики LiveInternet и Metrika теперь еще больше защищены от накрутки ботами.
+ Юзеру теперь не надо ждать секунды наблюдая заглушку, проверка мгновенна.
+ Расширен список белых ботов, основные, которые могут понадобиться большинству.

[vipraskrutka]

Обновил Антибота. Версия 4.02. Добавил ab.php, полный лог изменений: changelog.txt, скачать обновление можно в магазине скриптов или на oplata.info, в зависимости от того, где покупался скрипт.

[vipraskrutka]

Antibot v. 4.03 от 22 августа 2018: Изменен antibot_include.php - исправлен косяк с проверкой PTR. После обновления желательно очистить папку /whitebot/ там могут быть посторонние ip. Обновления можно скачать тут https://wmsn.biz/product.php?id=3 или тут https://oplata.info/info/ в зависимости от того где покупался скрипт.

[vipraskrutka]

Вышла новая версия 5.05, также теперь есть полностью бесплатная версия антибота https://antibot.cloud/ которую можно скачать без смс и регистрации.