AntiBot - скрипт защиты сайта от плохих ботов и хитроботов.
 

НАЗНАЧЕНИЕ:
Защита сайта от «плохих» ботов:
- хитроботов поисковых систем
- спамботов, спамящих в формы
- автоматических парсеров и прокси сайтов ворующих контент
- граберов дорвеев, которые на php парсят контент на автомате
- ботов накручивающих показы и клики рекламы
- второсортных «поисковиков» не дающих трафик
- других ненужных ботов, создающих лишнюю нагрузку на сайт

Скрипт полезен (а часто просто необходим) почти всем как для белых сайтов, так и для дорвеев.
Не нужен скрипт только пользователям Cloudflare, в котором есть похожий функционал, но это не точно =)

После применения данного скрипта - в теста (проводились на дорвеях, с дневной посещаемостью в 20млн+ ботов и индексаторов и 100500 реальных живых людей):
- снижалась нагрузка на процессор на 20% (на тяжелых сайтах типа вордпресс с большим количеством страниц возможно сэкономить больше ресурсов).
- снижался объем расхода интернет трафика сервера на 30%.
- в яндекс метрике значительно снизилось кол-во юзеров с 0 временем на сайте и соответственно кол-во отказов.

Заблокированных «плохих» посетителей относительно реальных юзеров, прошедших проверку (не считая «белых» ботов) 95% (на самом деле если на уровне сервера и в .htaccess не блочились ненужные боты по User-Agent, то заблокированных будет 99.99%). Реальные юзеры при этом не страдают, от поисковых систем писем о проблемах с доступностью сайта пока тоже не поступало.

Для дорвеев и вообще сайтов это хороший способ сокрытия «плохой» рекламы (шок тизеры, кликандеры, мобильный слив на подписки и т.п.) от хитроботов Яндекса.

Более подробное описание: http://antibot.tdsse.com/info.txt
Демо: http://antibot.tdsse.com/
Купить за 9.95$
Обновления бесплатны, скрипт будет развиваться. Обновления всегда можно будет скачать на сайте oplata.info
Служба поддержки оказывается по емейл, с того емейла, с которого вы купили скрипт.
Остерегайтесь подделок и складчин, помните, безопасный скрипт от скрипта с закладкой для шелла может отличаться всего на 10 символов кода
______

vipraskrutka,
Что-то у Вас, уважаемый, как-то странно ссылки открываются. Работает нормально только ссыкла "Купить"
Видимо остальные ссылки считают меня спамером или ботом.
Эх

Дикарка, ссылка на info.txt должна норм открыться. На демо - сначала увидеть 3 сек обратный отсчет и потом сайт.

Добавлено через 15 минут
Дикарка, исправил, нечайно конфиг перезалил с неправильными путями.

vipraskrutka,
Интересный скрипт, возьму на заметку.
Но страница http://antibot.tdsse.com/info.txt отдает несуществующую страницу

Эта страница упразднена, теперь на морде http://antibot.tdsse.com/ все описание, сделал красивый сайт для людей. :D через пару часов залью в продажу и обновление новую версию скрипта.

Надеюсь сапобот - хороший бот? :)

Сапобот начал представляться своим именем? Имеет свою правильную PTR запись?

Добавлено через 1 час 3 минуты
Вышло обновление, версия 2.01, полностью переписанное, скачать можно на сайте oplata.info (об этом по идее теперь должна приходить рассылка).
Также сайт http://antibot.tdsse.com/ оформлен для людей, а не как сразу было и на нем есть все необходимое (ссылка на лог изменений, на покупку и на скачивание обновлений), и инструкция с описанием красивее оформлена.
Включен лог тех, кто получил 503 для наглядности http://antibot.tdsse.com/antibot/botlog.txt (конфиг со списком белых ботов дефолтный). Это не значит что они совсем не попали на сайт, если они заходили с человеческим браузером, то через 3 сек они попали на сайт.
Уже можно заметить строки с не пришедшим на сайт ярославским гуглом типа:
212.232.60.181 ppp-vpdn-212.232.60.181.yarnet.ru Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Вообще таких фейковых гуглов и яндексов много еще будет.

Сапобот имеет свою подсеть из которой приходит.

Так будут фильтроваться запросы от бота сапы?

скинь в личку юзерагент сапобота и пример ip, тогда смогу сказать можно ли ее внести в белый список и как вообще дальше жить ) а то я сапосайтов уже много лет не делал, не в курсе что тут вообще происходит.
сейчас скорее всего она будет блочиться.

Юзерагент разный может, а айпишники никто не прячет - подсети 188.72.80.* и 193.232.121.*

Просто, сам пойми, держать на форуме сапы рекламу тулзы, которая мешает работе сапы - как-то нелогично.

zhegloff, данная тузла против сапы не создавалась, сапабот же не против воли владельца сайта ходит на сайт :D

Всё конечно красиво звучит и цена для такого чуда завлекательная!
А очень кратко принцип действия можно, как юзер от бота отличается и как белые поисковые боты от вредных
Или коммерческая тайна ... ?

Просто надеюсь хотя бы юзеры от ботов не тупо времянахождением на сайте фильтруются ?

// а то я так куплю и нафиг свой трафик резану в радостном пыле.... ......

ps/ps/ если просто наличие черного списка ip адресов..., то не интересует.
(они у вредителей через полгода новые и меняются постоянно)

Anadonam, именно отдача кода 503 + ожидание + проставление cookie из js и рефреш. Почти как в клаудфларе, только рекапчи нету. Этого хватает для задач, описанных на сайте. Черных списков нету, только белый список поисковых и прочих белых ботов, кого пускать без этой задержки, все остальное считаются людьми и должны пережить проверку браузера.

Добавлено через 1 минуту
Anadonam, ну и на самом http://antibot.tdsse.com/ можно эксперименты провести, зайти с разных браузеров, все норм пустит на сайт. и в логе http://antibot.tdsse.com/antibot/botlog.txt сделал более наглядно смотреть кого пустило + в начале строки и кого не пустило - .

Слежу вот за темой с самого начала и понимаю, что скрипт будет банить кучу всего полезного, а различных спам ботов будет пропускать.
Аргументирую:
95% всех спам или бесполезных ботов не принимают куки, даже те же сборщики (граберы) email. PTR проверять нет смысла т.к. судя по моим логам они подделываются, инфа должна проверятся во who is по всем параметрам.

Похожий скрипт я написал для себя ещё 3 года назад, правда сделал его серверным и разместил в системной папке на сервере, далее php его инклюидит сам в самое начало каждого файла на сервере.
Работа совершенно другая:
Скрипт распознают все снифы и бесполезную нагрузку. К примеру
Если url перебираются по порядку
Если слишком быстро листается сайт
Если запрашиваются страницы вроде админок различных cms, файлы backup
Так же проверяется referrer, чтобы удостоверится, что то действительно бот
Время посещения каждой страницы
Просмотр не существующих страниц на сайте
Много чего ещё, но никаких куки...
Первый заход бота гугла или яндекса с нового IP проверяется по who is, если это реальный бот, то подсеть его ip автоматом влетает в белый список.
Если сниф бот определён, то ему показывается ошибка 503 и говорится о том, что он грузит сайт, если запросы продолжаются, достигают к примеру 50ти, то этот ip летит в бан шлюза на трое суток, т.е. он даже до сервера не достучится. Через 3 дня бан снимется сам, но если эта лажа опять лажанёт, то летит в бан на месяц.
К примеру бот Megaindex открывает на сервере более 150 000 страниц в день, не слушается ограничение в robots.txt (Crawl-delay в частности) - и получается, что он редко выходит из бана. Один мегаиндекс бот снижает на сервере нагрузку на 30%.
Сапу сразу внёс в белый список, ещё немного сервисов в белом, в постоянном чёрном списке более 500 адресов, которые туда влетели либо в ручную, либо автоматом. В чёрный список так же нельзя вносить динамические IP, для них можно ставить только более жесткие правила т.к. с них может выходить в интернет более 1000 человек и их нужно определять автоматически. В скрипте есть ещё целая куча ловушек...
Вот это скрипт, работает на 4х серварах 2 WIN и 2 Linux сам по себе, никаких дос атак, массовых снифов и прочей лажи, при этому каждый сервер имеет минимум 300 000 хостов в сутки, не говоря о хитах, которые превышают хосты примерно в 20 раз. А куки или вывод сообщений вроде: "Подождите N секунд" - бред, который может только навредить сайту.

Добавлено через 13 минут
И ещё....
Блокировать в скрипте нет смысла.
К примеру:
Бот снифит сайт с php и sql - при этом нагрузка на сервер создаётся на php+apache и на sql. Заблочив бота в скрипте, нагрузка упадёт только с sql, а сам сервер отдавая 503 ошибку будет под нагрузкой.
Бывали случаи когда на сайт расположенный на сервере были атаки с разных IP. В секунду было более 300 запросов к разным сраницам сайта и большинство с разных IP - толку им давать ошибку 503?
300 запросов в секунду забивают пул сервера и он будет попросту не доступен, при этом на сервер будет огромная нагрузка.
Даже если с одного IP будут такие запросы, то они укладывают сервер на лопатки и его нужно блочить только на шлюзе - в линуксе IP TABLE, в винде Браундмаер.
Но истина в скрипте где-то есть, я тоже начинал с написания такого скрипта, но когда "втыкнул", что он снижает нагрузку только на 3-5% и бесполезен при много поточных сканированиях, понял, что его нужно в корне переписывать. Да, раньше этот скрипт подключался к каждому сайту в начало файлов php, но потом переключил его в настройки php на авто инклюид :).
............Так что скрипт этот нужно допиливать, а то сейчас от него всего одна польза - скрыть часть своего сайта от недоброжелательных ботов.

А свой вариант защиты могу продемонстрировать в личку :).

Allexx, ваши теоретические выкладки почитать было интересно. Но у меня все основывается только на практике и не на 1 сайте, а на безконечном количестве дорвеев, к которым в сутки идет около 20 млн обращений из которых 100к+ от реальных людей трафа.

«Многобукв» описания на http://antibot.tdsse.com/ вы читали? Там реальные выкладки и результаты моих тестов.

Белые боты яндекса, гугла, мейла, бинга внесены в белый список. Они ничего не заметят и баниться не будут.

Если кто-то пользуется еще какими-то сервисами которым нужно обращаться к сайту - их самостоятельно внести в белый список. Сейчас естественно они будут баниться. Собственно как на примере сапы, добавил и забыл (только надо сделать в след версии добавление подсетей, а не отдельных ипов).

PTR поддельных подделанных под 4 вышеназванных поисковика примерно 0.01% если округлить в большую сторону.

Большинство ненужных ботов примитивные не в 95% случаев, а в 98%. Они обламываются на уровне куков, они не могут из внешнего js их получить.

Задержка перед рефрешем нужна в основном против хитроботов яндекса, которые и js понимают немного, но пока не ждут столько (и после применения скрипта в метрике не стает ботов с российских ip которые на сайте 0 минут и сплошные отказы) и (возможно) реагируют на 503 ошибку и дальше не анализируют контент.

Я прочитал «Многобукв» перед тем как писать...
Слишком приукрашена статистика т.к. я это прошёл уже давно.
К примеру уменьшение отказов по Яндекс Метрике - боты, снифы не загружают метрику и не влияют на её показания т.к. они все ходят по сайтам только по html коду, java они не открывают :), 3 процента ботов ходят с загрузкой JAVA.
Продавать скрипт пока рано, в «Многобукв» написано: "Скрипт не идеален, в нем есть косяки, которые будут исправляться по мере сил и возможностей, но я не несу ответственности за возможные убытки, возникшие изза применения скрипта, в общем все используете на свой страх и риск.". А вверху стоит стоимость в 9.95$, хотя должна быть лицензия BETA или FREE. Продавать его рано...
Я не говорил, что у меня один сайт :), я как бы напрямую отношусь к хостингу и собираю статистику со "100500" серверов :)

Добавлено через 4 минуты
Когда появилась нужна в таком скрипте, то я нашёл в интернете целую пачку подобных скриптов с free лицухой, все похожие, только код скрипта нужно в порядок приводить. Вот с них нарезал свой, плюс добавил более мощные фичи.
Думал даже так же продавать, но смысла не увидел, раздал по "дружественным" хостингам части кода, они его допилили на своё усмотрение, пользуются...

Allexx, хватает ботов, поддерживающих js, я их причисляю к хитроботам яндекса (после них быстрее дорвеи палятся и банятся), их отличительная черта:
они идут с домашних сетей мегафона, билайна, мтс, часто меняют юзерагент (особенно они любят представляться мобильным яндекс браузером), на сайте они не задерживаются и метрика от них не успевает послать второй запрос к своему серверу, рассказав что бот пробыл на сайте 10 сек или сколько там таймаут слива логов у метрики, вот и отказ по метрике. Ну и еще куча примет, лень много писать, вам все равно это не интересно.

А то что скрипт не бесплатен - бесплатно я его и сам поюзаю, я не альтруист, так что или платно или никак ) Кстати вы лицензию у мелкософта на виндовс читали? Там точно также они ни за что не несут ответственности, и 25 лет делают платную и дорогую винду с кучей багов и постоянные заплатки. И это при том, что у них есть полно конкурентов и аналогов - линуксов. Так что я буду как Билл Гейтс )))

Нельзя пилить всех, кто не может принять куки. Есть целая куча браузеров, которые работают в режиме приватности, даже те же Маковские - их вообще хрен поймёшь...
Или же различные проги и сервисы для анализа внешних ссылок, которые заблочит этот скрипт. Те же сервисы, которые делают скрины сайтов. Чтобы всё работало, нужно целый год собирать полезные IP и добавлять их в белый список, анализировать поведение на сайте, писать под него алгоритм.
Даже множество сайтов, кто подключается анти-дос сервисам, вскоре отказываются от него т.к. он режет много полезных юзеров, я сам иной раз открываю сайт и долго собирают картинки, чтобы попасть на него.
Нюансов множество, именно потому все эти скрипты бесплатные т.к. с большей долей вероятности они дадут пинка Nному количество посетителей.

Добавлено через 4 минуты
Это не хитроботы яндекса, это снифы от того же "EPochta Extractor", который рандомно меняет юзер агент :) , ещё так делают несколько известных анализаторов внешних ссылок :) - и их тоже нельзя блочить, чтобы потом не было вопросов: "Чё происходит с моей ссылкой, которую я у Вас купил?".
Самое важное, что так бродит Роскомнадзор, точно так же и в основном 95% такого трафика это именно его. Плюс он периодически ещё и реферер подставляет той страницы, которую просматривает. И что? Заблочить его? Вы даже не представляете какие последствия это за собой повлечёт :).
Какие? Не может зайти - нафик, что-то скрывает. Подписываем бумажку в суде, накладываем бан и не разбираемся. Пройдено это всё.
Я с огромнейшим опытом, ежедневно следя чёрт знает за сколькими серверами и то блочу всё в реал-тайм руками, не ставлю на все серваки этот скрипт ибо последствия плачевные.

Добавлено через 18 минут
Вот два примера, где реально Роскомнадзор бродил по сайту, один прикрывался JAVA, второй браузером и даже реферер поставил, и браузер менял:
Сразу прилетело письмо бла-бла, удалите или будут проблемы.

Allexx, нету никакой кучи браузеров которыми пользуются люди и которые не принимают куки, их вообще нет. http://antibot.tdsse.com/ у вас есть полигон. включаете приватность и все что угодно и заходите, все отлично зайдется на сайт.

Левые проги и скрипты, которые что-то там на моем сайте анализируют - это и есть говноботы, которых и должен скрипт банить. Анализаторы ссылок - маджестики и архефсы - это вообще самая главная срань, которые большинство в первую очередь в хтасессах банят.

Скрины и прочие сервисы, которые мне как админу сайта нужны - если что-то пошло не так и словил блок - включаем лог, смотрим лог http://antibot.tdsse.com/antibot/botlog.txt и добавляем нужный сервис по юзерагенту или ip в белый список и пользуется нужным конкретному админу сайта сервисом.

И хитроботы точно яндекса, это многократно палилось не только мной, но и многими дорвейщиками и много экспериментов с ними проводилось. Когда берется секретный субдомен (или 100500 генеренных субдоменов), добавляется в яндекс вебмастер и в его переобход, и видим в логах "человеков", которые очень быстро идут как напрямую с разными юзерагентами (десктоп и мобильный), с реферером якобы с яндекса по кею = урлу домена, при этом никакого индекса еще нету в яндексе, ну и с гарантированным отказом по метрике. Когда это помножаем на миллион доров и десятки миллионов записей в логи, вырисовывается очень четкая картина, и четкие списки ip, но это ip домашних российских инет провайдеров и их больше 10к, потому нету смысла банить их. Против них и найдена схема с 3 сек задержкой, сейчас это работает.

Добавлено через 5 минут
Allexx, я не знаю какие у вас там как хостера отношения с РКН, то я как программист связанный с доротематикой - мне постоянно приходят запросы, просьбы и идеи как банить ботов РКН. По казино тематике очень многие делают доры и абузы там по 1к писем в сутки иногда бывает. Кстати некоторый прогресс в этом был, абуз становится меньше, т.к. их автоматические боты обламываются и ничего не находят и прокатывает, типа "тут ниче и небыло", но когда придет реальный человек браузером, не важно откуда он, из РКН, Толоки или Ольгино, он без проблем увидит реальный сайт.

Добавлено через 4 минуты
Allexx, я этот скрипт в разных его переделках юзаю уже давно, на дорвеях тематика которых РКНу не интересна, никаких вопросов не возникало у них. Там тоже не дебилы работают. Если им по абузе прислали урл, то они его все равно смогут на него попасть. А если они парсят выдачу поисковиков автоматом по стоп словам, то скрипт поможет отбиться от автоматики.

AntiBot v. 2.03 - добавлена передача хоста реферера в GET переменной (utm-метка).

v. 3.01 от 12 января 2018:

Скрипт можно выносить на сервере в одно общее место (на отдельный домен).
Исправлен косяк связанный с проверкой ботов по $ab_config['whitebot'] != 1.
Конфиг теперь инклудить не надо.
Перечитайте инструкцию http://antibot.tdsse.com/
И рекомендую обновить скрипт, особенно на дорвеях, если есть что прятать от хитроботов.

v. 3.02:
В конфиг добавлена переменная: $ab_config['counter'] (для отображения на заглушке счетчиков).
В конфиге дополнены настройки мейловского бота, добавлен PTR: smailru.net
Добавлена JS защита от открытия сайта в продвинутых анонимайзерах cmle.ru, www.nblz.ru и аналогичных.

В связи с празднованием великого праздника - Дня Святого Патрика, промо код на 50% скидку D421DE44B4384774 на WMSN дорген https://wmsn.biz/dorgen.php , антибот https://antibot.tdsse.com/ и генератор текстов https://textgen.tdsse.com/ . Время действия промо-кодов: c 17.03.2018 по 19.03.2018 А про День Святого Патрика можно почитать тут http://bigpicture.ru/?p=1021791

Еще у одного сайта изменилась жизнь на до и после антибота.

Это было ДО (сайт скорее был мертв, чем жив):
https://preview.ibb.co/dq4BZn/1.jpg

Это стало через 10 минут ПОСЛЕ установки антибота (все летает):
https://preview.ibb.co/gnmVS7/2.jpg

Сайт с 100500 страницами (на самом деле сильно больше), который можно парсить и парсить, что собственно и делали все кому не лень, как просто воры-парсеры контента, так и бесполезные псевдопоисковики, а теперь не делают.
Сколько это экономия в деньгах - сами прикидывайте, Load Average снизилась в 10 раз, потребление оперативки упало в 2 раза.

Шаблон заглушки (страницы проверки) для Антибота в стиле Cloudflare (почти полная копия html кода) скачать без смс и регистрации можно тут (для использования: сохранить его в папке антибота под стандартным именем antibot_tpl.txt).
https://antibot.tdsse.com/cloudflare.png

До выхода новой версии антибота осталось пару дней. А пока немного статистики по ботовой тематике.
За последние пол года на базе антибота и его отдельных частей была собрана большая статистика. А именно собрано больше 1.2 млрд обращений, претендующих быть людьми или таковыми являющиеся (юзерагенты с именем стандартных браузеров с более менее современным номером версии).
Сайты на которых собирались данные: 50% дорвеи, остальное белые сайты, как новые, так и старые трастовые новостники в яндекс новостях и блоги с высокой посещаемостью. 90% гео это рунет.

Итого получилось:

Обращения претендующие быть людьми - в 70% оказались ботами (если брать в среднем)
Для белых малостраничных высокопосещаемых сайтов этот процент в районе 10-20%
Для многостраничных сайтов и для дорвеев - ботов до 95%

Чаще всего ботами оказывались юзерагенты Firefox и IE, причем среди людей популярность этих браузеров наоборот мала. А среди IE ботами оказывались вообще 99.8% посетителей. На дорвеях также выделялся Яндекс браузер, которым часто ходит хитробот Яндекса, якобы из поиска Яндекса.

60% ботов прикидывающихся людьми не поддерживали JS.

Что за боты и зачем они ходят? В основном это тупо парсеры собирающие контент (например доргены типа вмсн доргена) и прочие данные с сайтов (делающие GET обращения к реальным страницам) и (в особенности на дорвеях) присутствует большой процент "россиян", которые являются хитроботами Яндекса и несущими бан и страдания вебмастерам и дорвейщикам. Чекеров уязвимостей (xss) и спамилок (делающих POST в формы) в общем массе исчезающе мало.

Если анализировать шире и делить траф на белых ботов (боты популярных поисковиков и соц сетей) и всех остальных, то часто во "всех остальных" людей оказывается меньше 3-5%, а остальное это всякие ia_archiver, AhrefsBot и т.п. бесполезные боты c 1-2 сотнями имен, несущие только нагрузку на сервер и никакой пользы.

Прочие мысли:

+ Делать изначально белые списки и их не обновлять (привет любителям белых списков ip для nginx) - плохая идея, у белых ботов постоянно появляются новые ip.
+ Делать черные списки ip принадлежащие TORу и хостингам - тоже плохая идея, через прокси, тор и впн сейчас сидят даже домохозяйки в больших количествах, спасибо политикам России и Украины за поднятие интернет грамотности пользователей.

Ну и кто еще не купил антибота: https://antibot.tdsse.com/ всего за 9.95$ с бесплатными обновлениями.

Новая версия Антибота доступна для загрузки :) Скачать можно на oplata.info. У антибота теперь новый красивый домен: AntiBot.Cloud и новый - облачный вид защиты, который уже сейчас лучше, чем было раньше, а дальше по мере роста числа пользователей будет еще лучше.

Лог изменеий: v. 4.01 (Beta) от 16 июля 2018:

Скрипт переехал с http://antibot.tdsse.com/ на новый домен: https://antibot.cloud/
Скрипт полностью переписан, для обновления - заменить всю папку antibot изучив новый конфиг.
Если папка whitebot не имела ваших собственных файлов, а только автонаполнялась,
то ее можно полностью очистить, в этой версии в ней будет намного меньше файлов.

Из конфига и функционала убраны некоторые пункты:
- срок жизни куки (теперь они всегда сутки).
- секунды времени тестирования браузера (оно теперь мгновенное, если повезет).
- код ответа сервера для страницы загрузки (теперь всегда 403, это оптимально).
- соль (в ней нету практической пользы).
- добавление get переменных - utm меток (практической пользы в них нету).
- JS проверка ab.php из внешнего локального файла (теперь идет запрос к облаку).

Добавлено:
+ Возможность оперировать маской ipv4 /24, т.е. 123.123.123.*
+ Проверка юзеров на поддержку http/2.0 (+100500% с отсечению ботов).
+ Облачная проверка юзера.
+ Включение/отключение отдельных логов.
+ Шаблон в стиле Cloudflare добавлен по умолчанию (он привычен и не пугает юзеров).
+ Счетчики LiveInternet и Metrika теперь еще больше защищены от накрутки ботами.
+ Юзеру теперь не надо ждать секунды наблюдая заглушку, проверка мгновенна.
+ Расширен список белых ботов, основные, которые могут понадобиться большинству.

https://wmsn.biz/img/shop/3.jpeg

Обновил Антибота. Версия 4.02. Добавил ab.php, полный лог изменений: changelog.txt, скачать обновление можно в магазине скриптов или на oplata.info, в зависимости от того, где покупался скрипт.

Antibot v. 4.03 от 22 августа 2018: Изменен antibot_include.php - исправлен косяк с проверкой PTR. После обновления желательно очистить папку /whitebot/ там могут быть посторонние ip. Обновления можно скачать тут https://wmsn.biz/product.php?id=3 или тут https://oplata.info/info/ в зависимости от того где покупался скрипт.
https://wmsn.biz/img/shop/3.jpeg

Вышла новая версия 5.05, также теперь есть полностью бесплатная версия антибота https://antibot.cloud/ которую можно скачать без смс и регистрации.

Пример фильтрации трафика облачным антиботом. Первый счетчик стоит на заглушке, второй уже в шаблоне сайта. Это без учета примитивных ботов, не поддерживающих JS. На старых сайтах ситуация и соотношение на самом деле в разы хуже (на днях будет пример такого старого трастового сайта), т.к это пример молодых доменов, которые разрешены к индексации только в гугле и нигде больше не светились и с посторонних сайтов беклинков не имеют.
https://i.imgur.com/dg9Qdlc.png

битая ссылка - https://wmsn.biz/product.php?id=3

AntiBot.Cloud v.5.06
В скрипте antibot_include.php исправлена обработка ipv6 ботов, просто заменить этот скрипт.
Скачать обновления: https://antibot.cloud/

Облачная поддержка 3.* и 4.* версий антибота будет отключена 15 октября 2019. Своевременно обновитесь до актуальной, а то посетители не смогут попасть на сайт автоматически.

Подскажите пожалуйста какое правило добавить в файл antibot_conf.php чтобы не блокировались роботы sape ? Сейчас добавил такое:

$ab_se['asrv130.qwarta.ru'] = array('193.232.121.*'); // робот sape

но не уверен что сделал это правильно.:)

не правильно. у сапы же всего 2 подсети, добавьте файл 193.232.121.txt в папку whitebot и со второй подсетью также. это быстрее будет обрабатываться, чем массив проверок $ab_se

В ближайший месяц будет пересмотрено ценообразование облачной версии.
Сейчас 25$ в год за подключение неограниченного количества сайтов, потом будет (для новых пользователей) 25 за один сайт, а безлимит будет существенно дороже.

Спасибо за ответ.
А для не нужных (блокируемых) IP нужно создать папку blackbot и также создавать тхт файлы с айпи ?

Нет. Если какой-то ip проходит защиту, то его надо банить в хтасес или нгинксе. Чтоб он не доходил даже до php и не создавал лишней нагрузки. С юзерагентами тоже самое, если видите какого-то ненужного бота, который имеет свое имя, то банить его по имени в хтасес или нгинксе.

Совместимость плагинов кеширования в WordPress и антибота:
WP Fastest Cache - не совместим, т.к. на уровне .htaccess перехватывает запрос.
W3 Total Cache - не совместим, т.к. на уровне .htaccess перехватывает запрос.
Simple cache - совместим.
WP Super Cache - совместим. самый крутой кеш!
WP Speed of Light - совместим.
Breeze - совместим.
Yasakani Cache - совместим.
LiteSpeed Cache - совместим (но сильно не разбирался).
wp rocket - не изучал, но по отзывам пишут что совместим.
Maxcache - проект заброшен автором, не проверил.
d-wp - совместим.

Инклуд антибота в вордпрессе вставлять в конфиг вордпресса.
Те плагины которые написано «совместим» - особых настроек не требуется (я при тестировании не обнаружил надобности что-то донастраивать), т.к. обработка конфига с антиботом идет раньше чем подключение скрипта кеширования.