Форум SAPE.RU

Форум SAPE.RU (http://forum.sape.ru/index.php)
-   Деловое сотрудничество (http://forum.sape.ru/forumdisplay.php?f=24)
-   -   AntiBot - скрипт защиты сайта от плохих ботов и хитроботов. (http://forum.sape.ru/showthread.php?t=97913)

vipraskrutka 26.12.2017 23:03

AntiBot - скрипт защиты сайта от плохих ботов и хитроботов.
 
НАЗНАЧЕНИЕ:
Защита сайта от «плохих» ботов:
- хитроботов поисковых систем
- спамботов, спамящих в формы
- автоматических парсеров и прокси сайтов ворующих контент
- граберов дорвеев, которые на php парсят контент на автомате
- ботов накручивающих показы и клики рекламы
- второсортных «поисковиков» не дающих трафик
- других ненужных ботов, создающих лишнюю нагрузку на сайт

Скрипт полезен (а часто просто необходим) почти всем как для белых сайтов, так и для дорвеев.
Не нужен скрипт только пользователям Cloudflare, в котором есть похожий функционал, но это не точно =)

После применения данного скрипта - в теста (проводились на дорвеях, с дневной посещаемостью в 20млн+ ботов и индексаторов и 100500 реальных живых людей):
- снижалась нагрузка на процессор на 20% (на тяжелых сайтах типа вордпресс с большим количеством страниц возможно сэкономить больше ресурсов).
- снижался объем расхода интернет трафика сервера на 30%.
- в яндекс метрике значительно снизилось кол-во юзеров с 0 временем на сайте и соответственно кол-во отказов.

Заблокированных «плохих» посетителей относительно реальных юзеров, прошедших проверку (не считая «белых» ботов) 95% (на самом деле если на уровне сервера и в .htaccess не блочились ненужные боты по User-Agent, то заблокированных будет 99.99%). Реальные юзеры при этом не страдают, от поисковых систем писем о проблемах с доступностью сайта пока тоже не поступало.

Для дорвеев и вообще сайтов это хороший способ сокрытия «плохой» рекламы (шок тизеры, кликандеры, мобильный слив на подписки и т.п.) от хитроботов Яндекса.

Более подробное описание: http://antibot.tdsse.com/info.txt
Демо: http://antibot.tdsse.com/
Купить за 9.95$
Обновления бесплатны, скрипт будет развиваться. Обновления всегда можно будет скачать на сайте oplata.info
Служба поддержки оказывается по емейл, с того емейла, с которого вы купили скрипт.
Остерегайтесь подделок и складчин, помните, безопасный скрипт от скрипта с закладкой для шелла может отличаться всего на 10 символов кода
______

Дикарка 27.12.2017 13:35

vipraskrutka,
Что-то у Вас, уважаемый, как-то странно ссылки открываются. Работает нормально только ссыкла "Купить"
Видимо остальные ссылки считают меня спамером или ботом.
Эх

vipraskrutka 27.12.2017 14:36

Дикарка, ссылка на info.txt должна норм открыться. На демо - сначала увидеть 3 сек обратный отсчет и потом сайт.

Добавлено через 15 минут
Дикарка, исправил, нечайно конфиг перезалил с неправильными путями.

Дикарка 27.12.2017 20:30

vipraskrutka,
Интересный скрипт, возьму на заметку.
Но страница http://antibot.tdsse.com/info.txt отдает несуществующую страницу

vipraskrutka 27.12.2017 20:51

Цитата:

Сообщение от Дикарка (Сообщение 1486613)
vipraskrutka,
Интересный скрипт, возьму на заметку.
Но страница http://antibot.tdsse.com/info.txt отдает несуществующую страницу

Эта страница упразднена, теперь на морде http://antibot.tdsse.com/ все описание, сделал красивый сайт для людей. :D через пару часов залью в продажу и обновление новую версию скрипта.

zhegloff 27.12.2017 21:03

Надеюсь сапобот - хороший бот? :)

vipraskrutka 27.12.2017 22:14

Цитата:

Сообщение от zhegloff (Сообщение 1486616)
Надеюсь сапобот - хороший бот? :)

Сапобот начал представляться своим именем? Имеет свою правильную PTR запись?

Добавлено через 1 час 3 минуты
Вышло обновление, версия 2.01, полностью переписанное, скачать можно на сайте oplata.info (об этом по идее теперь должна приходить рассылка).
Также сайт http://antibot.tdsse.com/ оформлен для людей, а не как сразу было и на нем есть все необходимое (ссылка на лог изменений, на покупку и на скачивание обновлений), и инструкция с описанием красивее оформлена.
Включен лог тех, кто получил 503 для наглядности http://antibot.tdsse.com/antibot/botlog.txt (конфиг со списком белых ботов дефолтный). Это не значит что они совсем не попали на сайт, если они заходили с человеческим браузером, то через 3 сек они попали на сайт.
Уже можно заметить строки с не пришедшим на сайт ярославским гуглом типа:
212.232.60.181 ppp-vpdn-212.232.60.181.yarnet.ru Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Вообще таких фейковых гуглов и яндексов много еще будет.

zhegloff 27.12.2017 22:45

Цитата:

Сообщение от vipraskrutka (Сообщение 1486617)
Сапобот начал представляться своим именем? Имеет свою правильную PTR запись?

Сапобот имеет свою подсеть из которой приходит.

Так будут фильтроваться запросы от бота сапы?

vipraskrutka 27.12.2017 23:00

Цитата:

Сообщение от zhegloff (Сообщение 1486619)
Сапобот имеет свою подсеть из которой приходит.

Так будут фильтроваться запросы от бота сапы?

скинь в личку юзерагент сапобота и пример ip, тогда смогу сказать можно ли ее внести в белый список и как вообще дальше жить ) а то я сапосайтов уже много лет не делал, не в курсе что тут вообще происходит.
сейчас скорее всего она будет блочиться.

zhegloff 27.12.2017 23:43

Юзерагент разный может, а айпишники никто не прячет - подсети 188.72.80.* и 193.232.121.*

Просто, сам пойми, держать на форуме сапы рекламу тулзы, которая мешает работе сапы - как-то нелогично.


Часовой пояс GMT +3, время: 21:25.

Работает на vBulletin® версия 3.8.7.
Copyright ©2000 - 2019, Jelsoft Enterprises Ltd.
Перевод: zCarot
SAPE.RU — система купли-продажи ссылок с главных и внутренних страниц сайтов.