Форум SAPE.RU

Форум SAPE.RU (http://forum.sape.ru/index.php)
-   Деловое сотрудничество (http://forum.sape.ru/forumdisplay.php?f=24)
-   -   AntiBot - скрипт защиты сайта от плохих ботов и хитроботов. (http://forum.sape.ru/showthread.php?t=97913)

vipraskrutka 26.12.2017 23:03

AntiBot - скрипт защиты сайта от плохих ботов и хитроботов.
 
НАЗНАЧЕНИЕ:
Защита сайта от «плохих» ботов:
- хитроботов поисковых систем
- спамботов, спамящих в формы
- автоматических парсеров и прокси сайтов ворующих контент
- граберов дорвеев, которые на php парсят контент на автомате
- ботов накручивающих показы и клики рекламы
- второсортных «поисковиков» не дающих трафик
- других ненужных ботов, создающих лишнюю нагрузку на сайт

Скрипт полезен (а часто просто необходим) почти всем как для белых сайтов, так и для дорвеев.
Не нужен скрипт только пользователям Cloudflare, в котором есть похожий функционал, но это не точно =)

После применения данного скрипта - в теста (проводились на дорвеях, с дневной посещаемостью в 20млн+ ботов и индексаторов и 100500 реальных живых людей):
- снижалась нагрузка на процессор на 20% (на тяжелых сайтах типа вордпресс с большим количеством страниц возможно сэкономить больше ресурсов).
- снижался объем расхода интернет трафика сервера на 30%.
- в яндекс метрике значительно снизилось кол-во юзеров с 0 временем на сайте и соответственно кол-во отказов.

Заблокированных «плохих» посетителей относительно реальных юзеров, прошедших проверку (не считая «белых» ботов) 95% (на самом деле если на уровне сервера и в .htaccess не блочились ненужные боты по User-Agent, то заблокированных будет 99.99%). Реальные юзеры при этом не страдают, от поисковых систем писем о проблемах с доступностью сайта пока тоже не поступало.

Для дорвеев и вообще сайтов это хороший способ сокрытия «плохой» рекламы (шок тизеры, кликандеры, мобильный слив на подписки и т.п.) от хитроботов Яндекса.

Более подробное описание: http://antibot.tdsse.com/info.txt
Демо: http://antibot.tdsse.com/
Купить за 9.95$
Обновления бесплатны, скрипт будет развиваться. Обновления всегда можно будет скачать на сайте oplata.info
Служба поддержки оказывается по емейл, с того емейла, с которого вы купили скрипт.
Остерегайтесь подделок и складчин, помните, безопасный скрипт от скрипта с закладкой для шелла может отличаться всего на 10 символов кода
______

Дикарка 27.12.2017 13:35

vipraskrutka,
Что-то у Вас, уважаемый, как-то странно ссылки открываются. Работает нормально только ссыкла "Купить"
Видимо остальные ссылки считают меня спамером или ботом.
Эх

vipraskrutka 27.12.2017 14:36

Дикарка, ссылка на info.txt должна норм открыться. На демо - сначала увидеть 3 сек обратный отсчет и потом сайт.

Добавлено через 15 минут
Дикарка, исправил, нечайно конфиг перезалил с неправильными путями.

Дикарка 27.12.2017 20:30

vipraskrutka,
Интересный скрипт, возьму на заметку.
Но страница http://antibot.tdsse.com/info.txt отдает несуществующую страницу

vipraskrutka 27.12.2017 20:51

Цитата:

Сообщение от Дикарка (Сообщение 1486613)
vipraskrutka,
Интересный скрипт, возьму на заметку.
Но страница http://antibot.tdsse.com/info.txt отдает несуществующую страницу

Эта страница упразднена, теперь на морде http://antibot.tdsse.com/ все описание, сделал красивый сайт для людей. :D через пару часов залью в продажу и обновление новую версию скрипта.

zhegloff 27.12.2017 21:03

Надеюсь сапобот - хороший бот? :)

vipraskrutka 27.12.2017 22:14

Цитата:

Сообщение от zhegloff (Сообщение 1486616)
Надеюсь сапобот - хороший бот? :)

Сапобот начал представляться своим именем? Имеет свою правильную PTR запись?

Добавлено через 1 час 3 минуты
Вышло обновление, версия 2.01, полностью переписанное, скачать можно на сайте oplata.info (об этом по идее теперь должна приходить рассылка).
Также сайт http://antibot.tdsse.com/ оформлен для людей, а не как сразу было и на нем есть все необходимое (ссылка на лог изменений, на покупку и на скачивание обновлений), и инструкция с описанием красивее оформлена.
Включен лог тех, кто получил 503 для наглядности http://antibot.tdsse.com/antibot/botlog.txt (конфиг со списком белых ботов дефолтный). Это не значит что они совсем не попали на сайт, если они заходили с человеческим браузером, то через 3 сек они попали на сайт.
Уже можно заметить строки с не пришедшим на сайт ярославским гуглом типа:
212.232.60.181 ppp-vpdn-212.232.60.181.yarnet.ru Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Вообще таких фейковых гуглов и яндексов много еще будет.

zhegloff 27.12.2017 22:45

Цитата:

Сообщение от vipraskrutka (Сообщение 1486617)
Сапобот начал представляться своим именем? Имеет свою правильную PTR запись?

Сапобот имеет свою подсеть из которой приходит.

Так будут фильтроваться запросы от бота сапы?

vipraskrutka 27.12.2017 23:00

Цитата:

Сообщение от zhegloff (Сообщение 1486619)
Сапобот имеет свою подсеть из которой приходит.

Так будут фильтроваться запросы от бота сапы?

скинь в личку юзерагент сапобота и пример ip, тогда смогу сказать можно ли ее внести в белый список и как вообще дальше жить ) а то я сапосайтов уже много лет не делал, не в курсе что тут вообще происходит.
сейчас скорее всего она будет блочиться.

zhegloff 27.12.2017 23:43

Юзерагент разный может, а айпишники никто не прячет - подсети 188.72.80.* и 193.232.121.*

Просто, сам пойми, держать на форуме сапы рекламу тулзы, которая мешает работе сапы - как-то нелогично.

vipraskrutka 27.12.2017 23:48

zhegloff, данная тузла против сапы не создавалась, сапабот же не против воли владельца сайта ходит на сайт :D

Anadonam 28.12.2017 04:33

Всё конечно красиво звучит и цена для такого чуда завлекательная!
А очень кратко принцип действия можно, как юзер от бота отличается и как белые поисковые боты от вредных
Или коммерческая тайна ... ?

Просто надеюсь хотя бы юзеры от ботов не тупо времянахождением на сайте фильтруются ?

// а то я так куплю и нафиг свой трафик резану в радостном пыле.... ......

ps/ps/ если просто наличие черного списка ip адресов..., то не интересует.
(они у вредителей через полгода новые и меняются постоянно)

vipraskrutka 28.12.2017 11:20

Anadonam, именно отдача кода 503 + ожидание + проставление cookie из js и рефреш. Почти как в клаудфларе, только рекапчи нету. Этого хватает для задач, описанных на сайте. Черных списков нету, только белый список поисковых и прочих белых ботов, кого пускать без этой задержки, все остальное считаются людьми и должны пережить проверку браузера.

Добавлено через 1 минуту
Anadonam, ну и на самом http://antibot.tdsse.com/ можно эксперименты провести, зайти с разных браузеров, все норм пустит на сайт. и в логе http://antibot.tdsse.com/antibot/botlog.txt сделал более наглядно смотреть кого пустило + в начале строки и кого не пустило - .

Allexx 28.12.2017 12:09

Слежу вот за темой с самого начала и понимаю, что скрипт будет банить кучу всего полезного, а различных спам ботов будет пропускать.
Аргументирую:
95% всех спам или бесполезных ботов не принимают куки, даже те же сборщики (граберы) email. PTR проверять нет смысла т.к. судя по моим логам они подделываются, инфа должна проверятся во who is по всем параметрам.

Похожий скрипт я написал для себя ещё 3 года назад, правда сделал его серверным и разместил в системной папке на сервере, далее php его инклюидит сам в самое начало каждого файла на сервере.
Работа совершенно другая:
Скрипт распознают все снифы и бесполезную нагрузку. К примеру
Если url перебираются по порядку
Если слишком быстро листается сайт
Если запрашиваются страницы вроде админок различных cms, файлы backup
Так же проверяется referrer, чтобы удостоверится, что то действительно бот
Время посещения каждой страницы
Просмотр не существующих страниц на сайте
Много чего ещё, но никаких куки...
Первый заход бота гугла или яндекса с нового IP проверяется по who is, если это реальный бот, то подсеть его ip автоматом влетает в белый список.
Если сниф бот определён, то ему показывается ошибка 503 и говорится о том, что он грузит сайт, если запросы продолжаются, достигают к примеру 50ти, то этот ip летит в бан шлюза на трое суток, т.е. он даже до сервера не достучится. Через 3 дня бан снимется сам, но если эта лажа опять лажанёт, то летит в бан на месяц.
К примеру бот Megaindex открывает на сервере более 150 000 страниц в день, не слушается ограничение в robots.txt (Crawl-delay в частности) - и получается, что он редко выходит из бана. Один мегаиндекс бот снижает на сервере нагрузку на 30%.
Сапу сразу внёс в белый список, ещё немного сервисов в белом, в постоянном чёрном списке более 500 адресов, которые туда влетели либо в ручную, либо автоматом. В чёрный список так же нельзя вносить динамические IP, для них можно ставить только более жесткие правила т.к. с них может выходить в интернет более 1000 человек и их нужно определять автоматически. В скрипте есть ещё целая куча ловушек...
Вот это скрипт, работает на 4х серварах 2 WIN и 2 Linux сам по себе, никаких дос атак, массовых снифов и прочей лажи, при этому каждый сервер имеет минимум 300 000 хостов в сутки, не говоря о хитах, которые превышают хосты примерно в 20 раз. А куки или вывод сообщений вроде: "Подождите N секунд" - бред, который может только навредить сайту.

Добавлено через 13 минут
И ещё....
Блокировать в скрипте нет смысла.
К примеру:
Бот снифит сайт с php и sql - при этом нагрузка на сервер создаётся на php+apache и на sql. Заблочив бота в скрипте, нагрузка упадёт только с sql, а сам сервер отдавая 503 ошибку будет под нагрузкой.
Бывали случаи когда на сайт расположенный на сервере были атаки с разных IP. В секунду было более 300 запросов к разным сраницам сайта и большинство с разных IP - толку им давать ошибку 503?
300 запросов в секунду забивают пул сервера и он будет попросту не доступен, при этом на сервер будет огромная нагрузка.
Даже если с одного IP будут такие запросы, то они укладывают сервер на лопатки и его нужно блочить только на шлюзе - в линуксе IP TABLE, в винде Браундмаер.
Но истина в скрипте где-то есть, я тоже начинал с написания такого скрипта, но когда "втыкнул", что он снижает нагрузку только на 3-5% и бесполезен при много поточных сканированиях, понял, что его нужно в корне переписывать. Да, раньше этот скрипт подключался к каждому сайту в начало файлов php, но потом переключил его в настройки php на авто инклюид :).
............Так что скрипт этот нужно допиливать, а то сейчас от него всего одна польза - скрыть часть своего сайта от недоброжелательных ботов.

А свой вариант защиты могу продемонстрировать в личку :).

vipraskrutka 28.12.2017 12:43

Allexx, ваши теоретические выкладки почитать было интересно. Но у меня все основывается только на практике и не на 1 сайте, а на безконечном количестве дорвеев, к которым в сутки идет около 20 млн обращений из которых 100к+ от реальных людей трафа.

«Многобукв» описания на http://antibot.tdsse.com/ вы читали? Там реальные выкладки и результаты моих тестов.

Белые боты яндекса, гугла, мейла, бинга внесены в белый список. Они ничего не заметят и баниться не будут.

Если кто-то пользуется еще какими-то сервисами которым нужно обращаться к сайту - их самостоятельно внести в белый список. Сейчас естественно они будут баниться. Собственно как на примере сапы, добавил и забыл (только надо сделать в след версии добавление подсетей, а не отдельных ипов).

PTR поддельных подделанных под 4 вышеназванных поисковика примерно 0.01% если округлить в большую сторону.

Большинство ненужных ботов примитивные не в 95% случаев, а в 98%. Они обламываются на уровне куков, они не могут из внешнего js их получить.

Задержка перед рефрешем нужна в основном против хитроботов яндекса, которые и js понимают немного, но пока не ждут столько (и после применения скрипта в метрике не стает ботов с российских ip которые на сайте 0 минут и сплошные отказы) и (возможно) реагируют на 503 ошибку и дальше не анализируют контент.

Allexx 28.12.2017 13:08

Я прочитал «Многобукв» перед тем как писать...
Слишком приукрашена статистика т.к. я это прошёл уже давно.
К примеру уменьшение отказов по Яндекс Метрике - боты, снифы не загружают метрику и не влияют на её показания т.к. они все ходят по сайтам только по html коду, java они не открывают :), 3 процента ботов ходят с загрузкой JAVA.
Продавать скрипт пока рано, в «Многобукв» написано: "Скрипт не идеален, в нем есть косяки, которые будут исправляться по мере сил и возможностей, но я не несу ответственности за возможные убытки, возникшие изза применения скрипта, в общем все используете на свой страх и риск.". А вверху стоит стоимость в 9.95$, хотя должна быть лицензия BETA или FREE. Продавать его рано...
Цитата:

Но у меня все основывается только на практике и не на 1 сайте
Я не говорил, что у меня один сайт :), я как бы напрямую отношусь к хостингу и собираю статистику со "100500" серверов :)

Добавлено через 4 минуты
Когда появилась нужна в таком скрипте, то я нашёл в интернете целую пачку подобных скриптов с free лицухой, все похожие, только код скрипта нужно в порядок приводить. Вот с них нарезал свой, плюс добавил более мощные фичи.
Думал даже так же продавать, но смысла не увидел, раздал по "дружественным" хостингам части кода, они его допилили на своё усмотрение, пользуются...

vipraskrutka 28.12.2017 13:20

Allexx, хватает ботов, поддерживающих js, я их причисляю к хитроботам яндекса (после них быстрее дорвеи палятся и банятся), их отличительная черта:
они идут с домашних сетей мегафона, билайна, мтс, часто меняют юзерагент (особенно они любят представляться мобильным яндекс браузером), на сайте они не задерживаются и метрика от них не успевает послать второй запрос к своему серверу, рассказав что бот пробыл на сайте 10 сек или сколько там таймаут слива логов у метрики, вот и отказ по метрике. Ну и еще куча примет, лень много писать, вам все равно это не интересно.

А то что скрипт не бесплатен - бесплатно я его и сам поюзаю, я не альтруист, так что или платно или никак ) Кстати вы лицензию у мелкософта на виндовс читали? Там точно также они ни за что не несут ответственности, и 25 лет делают платную и дорогую винду с кучей багов и постоянные заплатки. И это при том, что у них есть полно конкурентов и аналогов - линуксов. Так что я буду как Билл Гейтс )))

Allexx 28.12.2017 13:47

Нельзя пилить всех, кто не может принять куки. Есть целая куча браузеров, которые работают в режиме приватности, даже те же Маковские - их вообще хрен поймёшь...
Или же различные проги и сервисы для анализа внешних ссылок, которые заблочит этот скрипт. Те же сервисы, которые делают скрины сайтов. Чтобы всё работало, нужно целый год собирать полезные IP и добавлять их в белый список, анализировать поведение на сайте, писать под него алгоритм.
Даже множество сайтов, кто подключается анти-дос сервисам, вскоре отказываются от него т.к. он режет много полезных юзеров, я сам иной раз открываю сайт и долго собирают картинки, чтобы попасть на него.
Нюансов множество, именно потому все эти скрипты бесплатные т.к. с большей долей вероятности они дадут пинка Nному количество посетителей.

Добавлено через 4 минуты
Цитата:

я их причисляю к хитроботам яндекса ..... их отличительная черта: они идут с домашних сетей мегафона, билайна, мтс, часто меняют юзерагент
Это не хитроботы яндекса, это снифы от того же "EPochta Extractor", который рандомно меняет юзер агент :) , ещё так делают несколько известных анализаторов внешних ссылок :) - и их тоже нельзя блочить, чтобы потом не было вопросов: "Чё происходит с моей ссылкой, которую я у Вас купил?".
Самое важное, что так бродит Роскомнадзор, точно так же и в основном 95% такого трафика это именно его. Плюс он периодически ещё и реферер подставляет той страницы, которую просматривает. И что? Заблочить его? Вы даже не представляете какие последствия это за собой повлечёт :).
Какие? Не может зайти - нафик, что-то скрывает. Подписываем бумажку в суде, накладываем бан и не разбираемся. Пройдено это всё.
Я с огромнейшим опытом, ежедневно следя чёрт знает за сколькими серверами и то блочу всё в реал-тайм руками, не ставлю на все серваки этот скрипт ибо последствия плачевные.

Добавлено через 18 минут
Вот два примера, где реально Роскомнадзор бродил по сайту, один прикрывался JAVA, второй браузером и даже реферер поставил, и браузер менял:
Цитата:

28.10.2017 10:12:04 - http://***********/f/154 - Java/1.6.0_04 - ***.*54.59.175 -
28.10.2017 10:12:05 - http://***********/f/177 - Java/1.6.0_04 - ***.*54.59.175 -
28.10.2017 10:12:10 - http://***********/f/187 - Java/1.6.0_04 - ***.*54.59.175 -
28.10.2017 10:12:12 - http://***********/f/194 - Java/1.6.0_04 - ***.*54.59.175 -
28.10.2017 10:12:14 - http://***********/f/201 - Java/1.6.0_04 - ***.*54.59.175 -
28.10.2017 10:12:18 - http://***********/f/206 - Java/1.6.0_04 - ***.*54.59.175 -


26.10.2017 23:17:15 - http://***********/q/help/ - Mozilla/5.0 (Windows NT 6.1; rv:53.0) Gecko/20100101 Firefox/53.0 - ***.*22.79.13 - http://***********/q/help/
26.10.2017 23:17:15 - http://***********/q/help/ - Mozilla/5.0 (Windows NT 6.1; rv:53.0) Gecko/20100101 Firefox/53.0 - ***.*22.79.13 - http://***********/q/help/
27.10.2017 01:55:48 - http://***********/nber/900250/ - Mozilla/5.0 (Windows NT 6.1; rv:52.0) Gecko/20100101 Firefox/52.0 - ***.*22.79.13 - http://***********/nber/900250/
27.10.2017 01:55:48 - http://***********/nber/1128841/ - Mozilla/5.0 (Windows NT 6.1; rv:52.0) Gecko/20100101 Firefox/52.0 - ***.*22.79.13 - http://***********/nber/1128841/
Сразу прилетело письмо бла-бла, удалите или будут проблемы.

vipraskrutka 28.12.2017 13:59

Allexx, нету никакой кучи браузеров которыми пользуются люди и которые не принимают куки, их вообще нет. http://antibot.tdsse.com/ у вас есть полигон. включаете приватность и все что угодно и заходите, все отлично зайдется на сайт.

Левые проги и скрипты, которые что-то там на моем сайте анализируют - это и есть говноботы, которых и должен скрипт банить. Анализаторы ссылок - маджестики и архефсы - это вообще самая главная срань, которые большинство в первую очередь в хтасессах банят.

Скрины и прочие сервисы, которые мне как админу сайта нужны - если что-то пошло не так и словил блок - включаем лог, смотрим лог http://antibot.tdsse.com/antibot/botlog.txt и добавляем нужный сервис по юзерагенту или ip в белый список и пользуется нужным конкретному админу сайта сервисом.

И хитроботы точно яндекса, это многократно палилось не только мной, но и многими дорвейщиками и много экспериментов с ними проводилось. Когда берется секретный субдомен (или 100500 генеренных субдоменов), добавляется в яндекс вебмастер и в его переобход, и видим в логах "человеков", которые очень быстро идут как напрямую с разными юзерагентами (десктоп и мобильный), с реферером якобы с яндекса по кею = урлу домена, при этом никакого индекса еще нету в яндексе, ну и с гарантированным отказом по метрике. Когда это помножаем на миллион доров и десятки миллионов записей в логи, вырисовывается очень четкая картина, и четкие списки ip, но это ip домашних российских инет провайдеров и их больше 10к, потому нету смысла банить их. Против них и найдена схема с 3 сек задержкой, сейчас это работает.

Добавлено через 5 минут
Allexx, я не знаю какие у вас там как хостера отношения с РКН, то я как программист связанный с доротематикой - мне постоянно приходят запросы, просьбы и идеи как банить ботов РКН. По казино тематике очень многие делают доры и абузы там по 1к писем в сутки иногда бывает. Кстати некоторый прогресс в этом был, абуз становится меньше, т.к. их автоматические боты обламываются и ничего не находят и прокатывает, типа "тут ниче и небыло", но когда придет реальный человек браузером, не важно откуда он, из РКН, Толоки или Ольгино, он без проблем увидит реальный сайт.

Добавлено через 4 минуты
Allexx, я этот скрипт в разных его переделках юзаю уже давно, на дорвеях тематика которых РКНу не интересна, никаких вопросов не возникало у них. Там тоже не дебилы работают. Если им по абузе прислали урл, то они его все равно смогут на него попасть. А если они парсят выдачу поисковиков автоматом по стоп словам, то скрипт поможет отбиться от автоматики.

vipraskrutka 07.01.2018 17:52

AntiBot v. 2.03 - добавлена передача хоста реферера в GET переменной (utm-метка).

vipraskrutka 12.01.2018 12:56

v. 3.01 от 12 января 2018:

Скрипт можно выносить на сервере в одно общее место (на отдельный домен).
Исправлен косяк связанный с проверкой ботов по $ab_config['whitebot'] != 1.
Конфиг теперь инклудить не надо.
Перечитайте инструкцию http://antibot.tdsse.com/
И рекомендую обновить скрипт, особенно на дорвеях, если есть что прятать от хитроботов.

vipraskrutka 24.01.2018 22:21

v. 3.02:
В конфиг добавлена переменная: $ab_config['counter'] (для отображения на заглушке счетчиков).
В конфиге дополнены настройки мейловского бота, добавлен PTR: smailru.net
Добавлена JS защита от открытия сайта в продвинутых анонимайзерах cmle.ru, www.nblz.ru и аналогичных.

vipraskrutka 17.03.2018 14:40

В связи с празднованием великого праздника - Дня Святого Патрика, промо код на 50% скидку D421DE44B4384774 на WMSN дорген https://wmsn.biz/dorgen.php , антибот https://antibot.tdsse.com/ и генератор текстов https://textgen.tdsse.com/ . Время действия промо-кодов: c 17.03.2018 по 19.03.2018 А про День Святого Патрика можно почитать тут http://bigpicture.ru/?p=1021791

vipraskrutka 25.03.2018 12:51

Еще у одного сайта изменилась жизнь на до и после антибота.

Это было ДО (сайт скорее был мертв, чем жив):
https://preview.ibb.co/dq4BZn/1.jpg

Это стало через 10 минут ПОСЛЕ установки антибота (все летает):
https://preview.ibb.co/gnmVS7/2.jpg

Сайт с 100500 страницами (на самом деле сильно больше), который можно парсить и парсить, что собственно и делали все кому не лень, как просто воры-парсеры контента, так и бесполезные псевдопоисковики, а теперь не делают.
Сколько это экономия в деньгах - сами прикидывайте, Load Average снизилась в 10 раз, потребление оперативки упало в 2 раза.

vipraskrutka 20.06.2018 10:27

Шаблон заглушки (страницы проверки) для Антибота в стиле Cloudflare (почти полная копия html кода) скачать без смс и регистрации можно тут (для использования: сохранить его в папке антибота под стандартным именем antibot_tpl.txt).
https://antibot.tdsse.com/cloudflare.png

vipraskrutka 14.07.2018 18:59

До выхода новой версии антибота осталось пару дней. А пока немного статистики по ботовой тематике.
За последние пол года на базе антибота и его отдельных частей была собрана большая статистика. А именно собрано больше 1.2 млрд обращений, претендующих быть людьми или таковыми являющиеся (юзерагенты с именем стандартных браузеров с более менее современным номером версии).
Сайты на которых собирались данные: 50% дорвеи, остальное белые сайты, как новые, так и старые трастовые новостники в яндекс новостях и блоги с высокой посещаемостью. 90% гео это рунет.

Итого получилось:

Обращения претендующие быть людьми - в 70% оказались ботами (если брать в среднем)
Для белых малостраничных высокопосещаемых сайтов этот процент в районе 10-20%
Для многостраничных сайтов и для дорвеев - ботов до 95%

Чаще всего ботами оказывались юзерагенты Firefox и IE, причем среди людей популярность этих браузеров наоборот мала. А среди IE ботами оказывались вообще 99.8% посетителей. На дорвеях также выделялся Яндекс браузер, которым часто ходит хитробот Яндекса, якобы из поиска Яндекса.

60% ботов прикидывающихся людьми не поддерживали JS.

Что за боты и зачем они ходят? В основном это тупо парсеры собирающие контент (например доргены типа вмсн доргена) и прочие данные с сайтов (делающие GET обращения к реальным страницам) и (в особенности на дорвеях) присутствует большой процент "россиян", которые являются хитроботами Яндекса и несущими бан и страдания вебмастерам и дорвейщикам. Чекеров уязвимостей (xss) и спамилок (делающих POST в формы) в общем массе исчезающе мало.

Если анализировать шире и делить траф на белых ботов (боты популярных поисковиков и соц сетей) и всех остальных, то часто во "всех остальных" людей оказывается меньше 3-5%, а остальное это всякие ia_archiver, AhrefsBot и т.п. бесполезные боты c 1-2 сотнями имен, несущие только нагрузку на сервер и никакой пользы.

Прочие мысли:

+ Делать изначально белые списки и их не обновлять (привет любителям белых списков ip для nginx) - плохая идея, у белых ботов постоянно появляются новые ip.
+ Делать черные списки ip принадлежащие TORу и хостингам - тоже плохая идея, через прокси, тор и впн сейчас сидят даже домохозяйки в больших количествах, спасибо политикам России и Украины за поднятие интернет грамотности пользователей.

Ну и кто еще не купил антибота: https://antibot.tdsse.com/ всего за 9.95$ с бесплатными обновлениями.

vipraskrutka 16.07.2018 20:52

Новая версия Антибота доступна для загрузки :) Скачать можно на oplata.info. У антибота теперь новый красивый домен: AntiBot.Cloud и новый - облачный вид защиты, который уже сейчас лучше, чем было раньше, а дальше по мере роста числа пользователей будет еще лучше.

Лог изменеий: v. 4.01 (Beta) от 16 июля 2018:

Скрипт переехал с http://antibot.tdsse.com/ на новый домен: https://antibot.cloud/
Скрипт полностью переписан, для обновления - заменить всю папку antibot изучив новый конфиг.
Если папка whitebot не имела ваших собственных файлов, а только автонаполнялась,
то ее можно полностью очистить, в этой версии в ней будет намного меньше файлов.

Из конфига и функционала убраны некоторые пункты:
- срок жизни куки (теперь они всегда сутки).
- секунды времени тестирования браузера (оно теперь мгновенное, если повезет).
- код ответа сервера для страницы загрузки (теперь всегда 403, это оптимально).
- соль (в ней нету практической пользы).
- добавление get переменных - utm меток (практической пользы в них нету).
- JS проверка ab.php из внешнего локального файла (теперь идет запрос к облаку).

Добавлено:
+ Возможность оперировать маской ipv4 /24, т.е. 123.123.123.*
+ Проверка юзеров на поддержку http/2.0 (+100500% с отсечению ботов).
+ Облачная проверка юзера.
+ Включение/отключение отдельных логов.
+ Шаблон в стиле Cloudflare добавлен по умолчанию (он привычен и не пугает юзеров).
+ Счетчики LiveInternet и Metrika теперь еще больше защищены от накрутки ботами.
+ Юзеру теперь не надо ждать секунды наблюдая заглушку, проверка мгновенна.
+ Расширен список белых ботов, основные, которые могут понадобиться большинству.

https://wmsn.biz/img/shop/3.jpeg

vipraskrutka 23.07.2018 14:08

Обновил Антибота. Версия 4.02. Добавил ab.php, полный лог изменений: changelog.txt, скачать обновление можно в магазине скриптов или на oplata.info, в зависимости от того, где покупался скрипт.

vipraskrutka 22.08.2018 14:02

Antibot v. 4.03 от 22 августа 2018: Изменен antibot_include.php - исправлен косяк с проверкой PTR. После обновления желательно очистить папку /whitebot/ там могут быть посторонние ip. Обновления можно скачать тут https://wmsn.biz/product.php?id=3 или тут https://oplata.info/info/ в зависимости от того где покупался скрипт.
https://wmsn.biz/img/shop/3.jpeg

vipraskrutka 20.08.2019 20:50

Вышла новая версия 5.05, также теперь есть полностью бесплатная версия антибота https://antibot.cloud/ которую можно скачать без смс и регистрации.

vipraskrutka 22.08.2019 15:11

Пример фильтрации трафика облачным антиботом. Первый счетчик стоит на заглушке, второй уже в шаблоне сайта. Это без учета примитивных ботов, не поддерживающих JS. На старых сайтах ситуация и соотношение на самом деле в разы хуже (на днях будет пример такого старого трастового сайта), т.к это пример молодых доменов, которые разрешены к индексации только в гугле и нигде больше не светились и с посторонних сайтов беклинков не имеют.
https://i.imgur.com/dg9Qdlc.png

MonAmur 23.08.2019 09:10

Цитата:

Сообщение от vipraskrutka (Сообщение 1488721)
Обновления можно скачать тут https://wmsn.biz/product.php?id=3

битая ссылка - https://wmsn.biz/product.php?id=3

vipraskrutka 05.09.2019 13:21

AntiBot.Cloud v.5.06
В скрипте antibot_include.php исправлена обработка ipv6 ботов, просто заменить этот скрипт.
Скачать обновления: https://antibot.cloud/

vipraskrutka 10.10.2019 11:16

Облачная поддержка 3.* и 4.* версий антибота будет отключена 15 октября 2019. Своевременно обновитесь до актуальной, а то посетители не смогут попасть на сайт автоматически.

Форумчанин 04.02.2020 15:11

Цитата:

Сообщение от zhegloff (Сообщение 1486621)
Юзерагент разный может, а айпишники никто не прячет - подсети 188.72.80.* и 193.232.121.*

Просто, сам пойми, держать на форуме сапы рекламу тулзы, которая мешает работе сапы - как-то нелогично.

Подскажите пожалуйста какое правило добавить в файл antibot_conf.php чтобы не блокировались роботы sape ? Сейчас добавил такое:

$ab_se['asrv130.qwarta.ru'] = array('193.232.121.*'); // робот sape

но не уверен что сделал это правильно.:)

vipraskrutka 05.02.2020 09:24

Цитата:

Сообщение от Форумчанин (Сообщение 1493246)
Подскажите пожалуйста какое правило добавить в файл antibot_conf.php чтобы не блокировались роботы sape ? Сейчас добавил такое:

$ab_se['asrv130.qwarta.ru'] = array('193.232.121.*'); // робот sape

но не уверен что сделал это правильно.:)

не правильно. у сапы же всего 2 подсети, добавьте файл 193.232.121.txt в папку whitebot и со второй подсетью также. это быстрее будет обрабатываться, чем массив проверок $ab_se

vipraskrutka 07.02.2020 08:29

В ближайший месяц будет пересмотрено ценообразование облачной версии.
Сейчас 25$ в год за подключение неограниченного количества сайтов, потом будет (для новых пользователей) 25 за один сайт, а безлимит будет существенно дороже.

Форумчанин 07.02.2020 23:22

Цитата:

Сообщение от vipraskrutka (Сообщение 1493252)
не правильно. у сапы же всего 2 подсети, добавьте файл 193.232.121.txt в папку whitebot и со второй подсетью также. это быстрее будет обрабатываться, чем массив проверок $ab_se

Спасибо за ответ.
А для не нужных (блокируемых) IP нужно создать папку blackbot и также создавать тхт файлы с айпи ?

vipraskrutka 08.02.2020 12:12

Цитата:

Сообщение от Форумчанин (Сообщение 1493286)
Спасибо за ответ.
А для не нужных (блокируемых) IP нужно создать папку blackbot и также создавать тхт файлы с айпи ?

Нет. Если какой-то ip проходит защиту, то его надо банить в хтасес или нгинксе. Чтоб он не доходил даже до php и не создавал лишней нагрузки. С юзерагентами тоже самое, если видите какого-то ненужного бота, который имеет свое имя, то банить его по имени в хтасес или нгинксе.

vipraskrutka 10.02.2020 20:14

Совместимость плагинов кеширования в WordPress и антибота:
WP Fastest Cache - не совместим, т.к. на уровне .htaccess перехватывает запрос.
W3 Total Cache - не совместим, т.к. на уровне .htaccess перехватывает запрос.
Simple cache - совместим.
WP Super Cache - совместим. самый крутой кеш!
WP Speed of Light - совместим.
Breeze - совместим.
Yasakani Cache - совместим.
LiteSpeed Cache - совместим (но сильно не разбирался).
wp rocket - не изучал, но по отзывам пишут что совместим.
Maxcache - проект заброшен автором, не проверил.
d-wp - совместим.

Инклуд антибота в вордпрессе вставлять в конфиг вордпресса.
Те плагины которые написано «совместим» - особых настроек не требуется (я при тестировании не обнаружил надобности что-то донастраивать), т.к. обработка конфига с антиботом идет раньше чем подключение скрипта кеширования.


Часовой пояс GMT +3, время: 11:56.

Работает на vBulletin® версия 3.8.7.
Copyright ©2000 - 2020, Jelsoft Enterprises Ltd.
Перевод: zCarot
SAPE.RU — система купли-продажи ссылок с главных и внутренних страниц сайтов.