Совместим ли антибот с следующими кеш:

Memcache
OPcache
Redis

N/B Скрипт действительно сильно режет посещаемость (как сообщал кто то). По всем логам ничего у себя криминального не обнаружил а посещаемость ниже процентов на 30.

Форумчанин, антиботу безразлично это ПО, несовместимость может быть со скриптами кеширования страницы, например тут описано про совместимость с плагинами кеширования вордпресса https://wmsn.biz/m.php?p=142905 если кеш будет срабатывать раньше антибота, то такой скрипт будет не совместим, т.к. он закеширует или страницу без антибота или наоборот закеширует страницу заглушки.
Сколько срежет посещаемости это индивидуально, чем контент сайта популярнее и в выдаче сайт потоповее, тем больше на него будут ходить чекеры, парсеры, спамеры и т.п. которых антибот и порежет.

С 1 апреля 2020 на подключение облачной версии антибота будут действовать новые тарифы.
Сейчас 25$ в год за безлимитное количество сайтов. Продление будет стоить столько же.
Для новых клиентов будет 2 тарифа:
25$ в год за 1 домен (+ любые его поддомены, лицензию можно будет перепривязать на другой домен).
250$ в год за безлимит доменов.

Новая версия антибота (с админкой) доступна для скачивания и использования: https://antibot.cloud/
Обновлено ценообразование, теперь «тарифы»:
Бесплатно - проверка локальным скриптом, без обращений к облаку.
Лицензия на 1 домен 2 уровня + его сабы - 60 BYN в год (≈25$)
Лицензия на безлимит доменов и сабов - 600 BYN в год (≈250$)

Облачную версию можно протестировать бесплатно 15 дней после регистрации на сайте.

Для обновления - полностью заменить всю папку antibot, изучив конфиг и описание работы.
В облачной проверке добавлены (разделены) фильтры: Cloudflare, reCAPTCHA v3, хостинг.
Переделана блокировка по ip, ptr, языку, стране (это настраивается через админку).
Добавлена возможность отключать кнопку для входа (если автоматическая проверка не пустила).
Снижена вероятность ложных срабатываний блокировки, в особенности когда ip меняется часто.
Добавлена админка по адресу /antibot/admin.php
Для работы нужны php class: SQLite3 и Memcached (протестировать сервер скриптом /antibot/test.php)

Еще не сделано, но будет в ближайшую неделю в новой версии:
- добавлен второй облачный сервер и балансировка между ними (надо будет обновить шаблон заглушки).
- ускорена работа облачной части для повторных заходов юзера и убран запуск проверок которые не запрашивались.
- перевод админки скрипта на английский.

Скриншоты админки:
https://i.imgur.com/kwem6ia.png
https://i.imgur.com/htfZvyV.png
https://i.imgur.com/3gDgaFK.png
https://i.imgur.com/Ch4i1R7.png

А с мемкеш а не мемкешед скрипт дружит? Пробовал новую версию скрипта и она не проходит тест. Не может подключится к мем кеш серверу. Сам мем кеш сервер на хостинге и в движке DLE подключен по юникс сокету. Смотрел код скрипта и вижу что он вроде подключается только к серверу мем кеш через адрес- айпи. В общем тест не проходит а значит и установить не получается..

По идее дружить не должен. Т.к. имена классов разные.
На /antibot/test.php выдает что класс мемкешед не установлен?
Вообще в ближайшем апдейте сделаю выбор в настройках конфиге мемкеш или мемкешед. А пока отсутствие мемкешеда влияет только на статистику со счетчиками, придется ее пока отключить, но все остальное будет работать.
https://i.imgur.com/nXE2WwX.png

Вот результат теста.
https://prnt.sc/rxc2t6

В движке DLE а также на хостинге возможно подключение только по юникс сокету. Сервер - айпи не работает. Видел у вас где то в коде что прописано так же Сервер - айпи. Можно ли в коде что то поменять чтобы подключится по юникс сокету ? Или это много переписывать в коде надо ?

$ab_config['memcached_host'] = '/var/run/memcached/memcached.sock';
$ab_config['memcached_port'] = 0;
в конфиге антиботе путь к сокету на свой исправьте и тогда должно работать.

В каком файле не подскажите ?

/antibot/data/conf.php или через админку антибота, в которую можно зайти через браузер /antibot/admin.php

Ясно. Спасибо буду пробовать. При заходе на сайт https://antibot.cloud/ я вижу такое окно с ошибкой 50. Пользуюсь VPN. Вход дальше возможен только по клику на кнопку. https://prnt.sc/rxc8wg. Я так понимаю не произошло авто-перенаправление почему то ?

Скажите какие права выставить на всю папку antibot ? 777 , 750 ?

Если ваш впн на лету не меняет ваш ip , то дело не в нем.
Error Code: 50 получается когда в хэшах переданных на проверку закодированы сайтом другие данные юзера (ип, юзерагент и прочее), отличающиеся от тех которые в реале пришли к проверяющему серверу.

Скажите какие права выставить на всю папку antibot ? 777 , 750 ? Небольшое пожелание к следующей версии. Внесите туда правку по мем кеш по подключению к сокет юниксу. Думаю у многих на движке DLE именно по юникс подключение идёт а не по сервер айпи. То есть многие могут не установить ваш скрипт. Имхо.

Форумчанин, права 750, если вы заливаете файлы тем же юзером, от которого работает пхп.

При заливке всей папки выскакивает табличка - https://prnt.sc/rxcy7w . Я жму докачать. Но почему эта ошибка появляется ?

это уже к вашему хостеру. может фтп глючит, может место на хостинге кончилось...

;)

https://prnt.sc/rxd8z7

тест пройден после правки этих строк. Тут надо указывать свой (с хостинга взять строку) путь Сокет memcached а не Сокет memcache . То есть получится примерно так. Написал для тех кто как и я с ходу не мог разобраться. :

$ab_config['memcached_host'] = '/home/название моего аккаунта/.system/memcache/socket';
$ab_config['memcached_port'] = 0;

;)

Добавлено через 1 час 40 минут
Мда .. Модуль не подключается . При попытке вставить код:
require_once($_SERVER['DOCUMENT_ROOT'].'/antibot/code/include.php');
вылетает эта ошибка https://prnt.sc/rxeubc .

Форумчанин, на скрине ошибка о другом пути, таким он был в старой версии антибота.
Сейчас строка как вы и написали тут:
require_once($_SERVER['DOCUMENT_ROOT'].'/antibot/code/include.php');

при попытке вставить код в начало файла engine.php

/* Мой Модуль AntiBot*/
require_once($_SERVER['DOCUMENT_ROOT'].'/antibot/antibot_include.php');
/* Мой Модуль AntiBot*/

выскакивает ошибка :

Fatal error: require_once(): Failed opening required '/home//www//antibot/antibot_include.php' (include_path='.:/usr/local/pear/php56') in /home//www/engine/engine.php on line 22

(из ошибки я убрал адрес сайта чтобы здесь её написать).

require_once($_SERVER['DOCUMENT_ROOT'].'/antibot/antibot_include.php');
require_once($_SERVER['DOCUMENT_ROOT'].'/antibot/code/include.php');
разницу видите? )))

разницу увидел. не сразу.:D

Форумчанин, сейчас в 6 версии надо вставлять строку:
require_once($_SERVER['DOCUMENT_ROOT'].'/antibot/code/include.php');

Спасибо! Не разглядел что новый путь! Теперь ошибки нет. Работает. Буду дальше разбираться. Еще раз большое спасибо за оперативную реакцию!

Добавлено через 5 минут
Скажите а можно ли в DLE подключить админку анти бота в админ панель движка ? Там в движке в каком то файле где есть подключение компонентоа тоже вроде можно одной строкой админку антибота подключить , но пробовать не рискну,так как не знаю будет ли из админ панели движка сохранятся конфиг админки антибота ..

Нет, антибот это самостоятельный скрипт и он сам себе админка.

Модуль антибот в UTF8, а у меня кодировка движка и сайта windows-1251. Админка анти бота разумеется вся в кракозябрах. будет ли достаточно с конвертировать только файл админки антибота или надо еще какие то файлы перекодировать?

ничего не надо кодировать. антибот и сайт в плане кодировки друг другу не должны мешать. или у вас кодировка через хтасес насильно устанавливается?

Нет принудительной установки через хтасес нет и не было.. Знаю что в движке и на хостинге я выставлял одну windows-1251 ,одинаковую. Кодировку windows-1251 в DLE уже давно перестали использовать. Все новые плагины и сам движок выходят уже на UTF-8 поэтому я имею иногда проблемы с новыми плагинами. Сейчас админка антибота в кракозябрах. В файлах скрипта вижу упоминание про UTF-8 . Вот сижу думаю кодировать наверное надо ?

Добавлено через 12 минут
Чет перекодировка не помогает ..

Ну логично что не помогает ) надо чтоб сервер не слал виндовс кодировку насильно, а дал пхп решать, в какой кодировке скрипт идет.

такая возможность на хостинге есть. сейчас увижу результат (не стал привязывать кодировку).

Всё! Отвязка кодировки помогла! ;) Кракозябров больше нет.

Форумчанин, лучше кеш браузера ))

Всё! Кеш вообще чистить не надо было. Это на хостинге не через 10 минут а позже обновления наступили! Большое спасибо вам!

Добавлено через 3 минуты
Если ещё какие ньюансы замечу,напишу. Надеюсь кому нибудь кроме меня эта инфа здесь пригодится.

Добавлено через 1 час 49 минут
Нужно ли с главного шаблона сайта перенести эти (Google Analytics, Яндекс.Метрика и т.п) счетчики в файл counter.txt ? Или счетчики нужно оставлять и в главном шаблоне сайта и в файле /antibot/data/counter.txt ?

N\B Классное обновление скрипта версия 6.3! Особенно понравилось как реализовано обновление. Нажал и обновился!

И в counter.txt антибота и в вашем сайте счетчики ставить, чтоб везде считало.

Добавлял в counter.txt антибота счетчики а с шаблона сайта убирал.На сутки. В Яндекс Метрике был большой шкал негатива,пришлось вернуть в шаблон сайта а из counter.txt убрать.Смотрю в статистике антибота идет очень неверный под счет уников.Он реальное кол-во завышает примерно до половины.Видимо боты накручивают а счетчик засчитывает.

Небольшие пожелания,предложения.

1)В правилах собираются со временем black и white условия в разном порядке. Не лучше ли их там сортировать по порядку? Например все black в самом вверху списка, white ниже.После ручного добавления правила, авто сортировка происходила бы например через 600 секунд совместно с обновлением счетчика.
2)В Лог запросов. IP (PTR) & User Agent & Accept Language в этой графе добавить бы маленькую кнопку которая копирует в буфер обмена IP адрес.
3)Там же в Лог запросов можно ли добавить выборку для поиска по stop?
4)В верхнем меню скрипта может добавите вкладку Заблокированные между Лог запросов и Фейк ботов? Чтобы видеть заблокированных например по коду страны,если сам правило такое сделал.Чтобы видеть заблокированных пользователей из заблокированных стран?
5)Добавить в правилах возможность редактирования сохраненного своего правила.Только своего.Иногда нужно исправить комментарий и т.п
6)На главной в админке может добавьте ссылку на сайт - https://antibot.cloud/? Тоже иногда нужно.

Пара вопросов.

Если заблокировал по коду страну.Например Китай.Заходишь в Лог запросов а там пользователь из этой страны с статусом local 0.Вероятно прошедший проверку перед добавлением правила блокировки.Что нужно сбросить или сделать чтобы на него правила блокировки наступили мгновенно? Очистить кеш движка? Очистить мем кеш?

Создает ли ваш скрипт исходящее соединение по TCP порт 443 на хостинге клиента вашего скрипта? Да или нет? Я так понимаю что создает.Иначе как получать обновления? Я правильно думаю? Нашел у себя а логах соединение вот и задал вопрос.

Метрику и другие счетчики логично повесить и на антиботе (чтоб реферер видеть) и на сайте (чтоб хиты и прочую популярность страниц и действий юзера видеть).
Статистику антибота (посещаемость людьми) смотреть по графам Уников и Хитов. Это вообще предмет для гордости, идеальная статистика. Она считает тех, кто прошел антибота, т.е статистика не завышена ботами, и не занижает тех, кто адблоком порезал загрузку внешнего счетчика, так что это максимально точная статистика, которой можно верить, во всяком случае если это клауд версия, бесплатная версия пропускает больше ботов, но и метрика и все остальные накручиваются этими ботами.

врятли правил будет много, там нечего сортировать и группировать.

подумаю.

да это сделаю.

Этого не будет. Вести более подробный учет и статистику заблокированных накладно по ресурсам сервера, они ж блокируются чтоб экономить ресурсы сервера. Это заблоченные по вашим правилам и хз зачем знать больше подробностей.

Его можно удалить и добавить с нужным комментарием.

Ок. Там скоро еще и новости будут об обновлениях и т.п.


Изменить в конфиге $ab_config['salt'], тогда всем юзерам будет опять выведена проверочная заглушка.
Ну или через сутки оно сами истечет и завтра он уже не зайдет.

Да, только на странице обновлений /antibot/admin.php?page=update при заходе обращается чтоб посмотреть обновления (json список измененных файлов). и при нажатии на кнопку скачивает 2 файла (архив с обновлением и json)
Что именно он там скачивает можно посмотреть в коде скрипта /antibot/adm/update.php

Там правила разных типов black и white вперемежку. Их как скрипт отрабатывает? Не лучше ли их в отсортированном виде выдавать при срабатывании,например black первыми а затем white ? И в окне также их отображать в Правила. Это наверное будет потом постепенно нагрузку давать на базу,сервер при постоянной пересортировке?

Его можно удалить и добавить с нужным комментарием.
Так то оно так. Удобнее было бы иметь возможность исправить запись,дополнить комментарий. Имхо. Хотя тоже наверное упрется в излишнюю нагрузку. Хз.

А если через скрпит по клавише сделать? Чтобы сразу на лету по клавише перечитывались условия на совпадение если юзер заблокирован а перед этим прошел проверку, выдавать ему заглушку уже без кнопки? Я не специалист,поэтому некоторые предложения могут показаться глупыми. Наверное так не выйдет, так как пользователь уже прошедший заглушку получит куки и его уже на заблокируешь так сразу? Просто иногда вижу появился весьма подозрительный робот,который прошел проверку видимо нажал на кнопку программно,так как вижу у него local 0. Создаю на айпишник правило black. И честно скажу вижу дальше через минут 10 вроде по сайту перестает бродить. Но так и не понимаю или я его заблокировал или он сам ушел.

Спасибо. Уже посмотрел.

https://prnt.sc/rzhpap У меня в новой Яндекс Метрике 14 апреля 391 посетитель. В скрипте 879 уников! Смею вас заверить у меня посещаемость не превышает в день постоянно 500 человек. ЛайвИнтернет показывает не много больше но тоже до 500 (495). Я всегда смотрю на ЛайвИнтернет счетчик,он немного может завысить. А тут такие цифры 879 уников! Я был бы очень рад если бы эта цифра была бы точная 879, но это не так. Это наверное яндекс роботы под новыми айпи заходят? Они периодически в White правила попадают.

А гордится вам своим скриптом действительно стоит! Очень приятный, отличный скрипт. Гляньте на мои результаты. https://prnt.sc/rzhu6z Неплохо правда?
5 дней росла нагрузка. Правда кроме работы скрипта мне пришлось проделать несколько дополнительных шагов. Для движка вернул файловый кеш (обратно с мем кеш) а для скрипта и других модулей включил мемкеш. Заблокировал пару соединений исходящих на гугл,сапу. То есть кроме скрипта немного под настроил движок и хостинг,по мелочи. Результатом остался доволен. Большое вам спасибо за такой хороший скрипт! Пользуюсь бесплатной версией. Учусь им пользоваться.

Форумчанин, скрипту проверки без разницы в каком порядке идут правила. поле правила по которому идет проверка - уник, потому выборка одинаково быстрая, как особо без разницы и количество правил в таблице.

По поводу статистики:
префикс для данных в мемкешеде должен быть уникальным для каждого скрипта антибота на сервере, который в $ab_config['memcached_prefix'] в конфиге.
Если его для каждой папки антибота не делать уник и на сервере будут другие антиботы, то в статистике будет каша с цифрами.
Ну и бесплатная версия ботов пропускает некоторых, и соответcтвенно их засчитывает, если они нормально выполняют js.

Описал очень популярную инструкцию обхода блокировок РКН с помощью антибота и редиректов на субдомен https://wmsn.biz/m.php?p=143466 (бесплатно, без смс и регистрации).
Но знающие люди, которые в теме, говорят что эта тема боян и уже не спасает от РКН.

Описывайте пожалуйста в changelog.txt изменения относительно авто обновляемых файлов. Заплатки часто выходят,а вот что они нового несут не всегда ясно. Недавно ошибка обновления шаблона tpl выскакивала. После ручного обновления и последующего авто обновления удалось перейти на актуальную версию шаблона. Планируете ли к бесплатной версии подключить какой нибудь блек лист по айпи плохих ботов? Есть вот хороший ресурс где есть базы - https://myip.ms/ . Я здесь для .htaccess часто свежий скачиваю. Базы там большие,это не реклама.

В changelog.txt пишу только серьезные изменения, если новой версии нету а обновления есть - значит там мелкие незначительные исправления. Если юзаешь дефолтный шаблон заглушки, то просто жать все обновить.
Ошибка с обновлением шаблона была изза cloudflare, он блокировал соединения с некоторых серверов.
Баз никаких не планируется, просто смотреть логи, и там самых настырных ненужных блочить по стране, ptr, подсети ip, не нужны вам чужие плохие боты, кому то они плохие, а кому то самый раз.

В changelog.txt есть слова

v. 6.007 от 25 апреля 2020:

Добавлены настройки в конфиг:
$ab_config['check_ref_traf'] = 0;
$ab_config['allow_ref_only'] = array('yandex', 'google', 'bing');
$ab_config['block_stop_cookie'] = 0;

Это следует понимать как добавить в файл conf.php в папке data примерно следующее ?

// запрет доступа по белому списку рефереров.
$ab_config['check_ref_traf'] = 0;
$ab_config['allow_ref_only'] = array('yandex', 'google', 'bing');
// запрет доступа тем, кто уже попадал под правила блокировки.
$ab_config['block_stop_cookie'] = 0;

Можете объяснить для чего нужны эти новые опции? В чем их смысл? Очень интересно следить за обновлениями вашего скрипта. Код комментируется,аккуратно разложен по полочкам...

файл conf.php в папке data "затиратся" поверх старого в будущих обновлениях не будет? он и не затирается, спрашиваю как бы для перестраховки. Так как файл уже настроен под себя и не хотелось бы потом его потерять если вы его обновлять будете.