27.12.2017, 23:48 | #11 |
Специалист
Регистрация: 03.12.2008
Сообщений: 419
Вес репутации: 209
|
zhegloff, данная тузла против сапы не создавалась, сапабот же не против воли владельца сайта ходит на сайт
__________________
|
28.12.2017, 04:33 | #12 |
Эксперт
|
Всё конечно красиво звучит и цена для такого чуда завлекательная!
А очень кратко принцип действия можно, как юзер от бота отличается и как белые поисковые боты от вредных Или коммерческая тайна ... ? Просто надеюсь хотя бы юзеры от ботов не тупо времянахождением на сайте фильтруются ? // а то я так куплю и нафиг свой трафик резану в радостном пыле.... ...... ps/ps/ если просто наличие черного списка ip адресов..., то не интересует. (они у вредителей через полгода новые и меняются постоянно)
__________________
Последний раз редактировалось Anadonam; 28.12.2017 в 04:38. |
28.12.2017, 11:20 | #13 |
Специалист
Регистрация: 03.12.2008
Сообщений: 419
Вес репутации: 209
|
Anadonam, именно отдача кода 503 + ожидание + проставление cookie из js и рефреш. Почти как в клаудфларе, только рекапчи нету. Этого хватает для задач, описанных на сайте. Черных списков нету, только белый список поисковых и прочих белых ботов, кого пускать без этой задержки, все остальное считаются людьми и должны пережить проверку браузера.
Добавлено через 1 минуту Anadonam, ну и на самом http://antibot.tdsse.com/ можно эксперименты провести, зайти с разных браузеров, все норм пустит на сайт. и в логе http://antibot.tdsse.com/antibot/botlog.txt сделал более наглядно смотреть кого пустило + в начале строки и кого не пустило - .
__________________
Последний раз редактировалось vipraskrutka; 28.12.2017 в 11:20. Причина: Добавлено сообщение |
28.12.2017, 12:09 | #14 |
Специалист
Регистрация: 22.09.2010
Адрес: Ростов-на-Дону
Сообщений: 273
Вес репутации: 189
|
Слежу вот за темой с самого начала и понимаю, что скрипт будет банить кучу всего полезного, а различных спам ботов будет пропускать.
Аргументирую: 95% всех спам или бесполезных ботов не принимают куки, даже те же сборщики (граберы) email. PTR проверять нет смысла т.к. судя по моим логам они подделываются, инфа должна проверятся во who is по всем параметрам. Похожий скрипт я написал для себя ещё 3 года назад, правда сделал его серверным и разместил в системной папке на сервере, далее php его инклюидит сам в самое начало каждого файла на сервере. Работа совершенно другая: Скрипт распознают все снифы и бесполезную нагрузку. К примеру Если url перебираются по порядку Если слишком быстро листается сайт Если запрашиваются страницы вроде админок различных cms, файлы backup Так же проверяется referrer, чтобы удостоверится, что то действительно бот Время посещения каждой страницы Просмотр не существующих страниц на сайте Много чего ещё, но никаких куки... Первый заход бота гугла или яндекса с нового IP проверяется по who is, если это реальный бот, то подсеть его ip автоматом влетает в белый список. Если сниф бот определён, то ему показывается ошибка 503 и говорится о том, что он грузит сайт, если запросы продолжаются, достигают к примеру 50ти, то этот ip летит в бан шлюза на трое суток, т.е. он даже до сервера не достучится. Через 3 дня бан снимется сам, но если эта лажа опять лажанёт, то летит в бан на месяц. К примеру бот Megaindex открывает на сервере более 150 000 страниц в день, не слушается ограничение в robots.txt (Crawl-delay в частности) - и получается, что он редко выходит из бана. Один мегаиндекс бот снижает на сервере нагрузку на 30%. Сапу сразу внёс в белый список, ещё немного сервисов в белом, в постоянном чёрном списке более 500 адресов, которые туда влетели либо в ручную, либо автоматом. В чёрный список так же нельзя вносить динамические IP, для них можно ставить только более жесткие правила т.к. с них может выходить в интернет более 1000 человек и их нужно определять автоматически. В скрипте есть ещё целая куча ловушек... Вот это скрипт, работает на 4х серварах 2 WIN и 2 Linux сам по себе, никаких дос атак, массовых снифов и прочей лажи, при этому каждый сервер имеет минимум 300 000 хостов в сутки, не говоря о хитах, которые превышают хосты примерно в 20 раз. А куки или вывод сообщений вроде: "Подождите N секунд" - бред, который может только навредить сайту. Добавлено через 13 минут И ещё.... Блокировать в скрипте нет смысла. К примеру: Бот снифит сайт с php и sql - при этом нагрузка на сервер создаётся на php+apache и на sql. Заблочив бота в скрипте, нагрузка упадёт только с sql, а сам сервер отдавая 503 ошибку будет под нагрузкой. Бывали случаи когда на сайт расположенный на сервере были атаки с разных IP. В секунду было более 300 запросов к разным сраницам сайта и большинство с разных IP - толку им давать ошибку 503? 300 запросов в секунду забивают пул сервера и он будет попросту не доступен, при этом на сервер будет огромная нагрузка. Даже если с одного IP будут такие запросы, то они укладывают сервер на лопатки и его нужно блочить только на шлюзе - в линуксе IP TABLE, в винде Браундмаер. Но истина в скрипте где-то есть, я тоже начинал с написания такого скрипта, но когда "втыкнул", что он снижает нагрузку только на 3-5% и бесполезен при много поточных сканированиях, понял, что его нужно в корне переписывать. Да, раньше этот скрипт подключался к каждому сайту в начало файлов php, но потом переключил его в настройки php на авто инклюид . ............Так что скрипт этот нужно допиливать, а то сейчас от него всего одна польза - скрыть часть своего сайта от недоброжелательных ботов. А свой вариант защиты могу продемонстрировать в личку . Последний раз редактировалось Allexx; 28.12.2017 в 12:17. Причина: Добавлено сообщение |
28.12.2017, 12:43 | #15 |
Специалист
Регистрация: 03.12.2008
Сообщений: 419
Вес репутации: 209
|
Allexx, ваши теоретические выкладки почитать было интересно. Но у меня все основывается только на практике и не на 1 сайте, а на безконечном количестве дорвеев, к которым в сутки идет около 20 млн обращений из которых 100к+ от реальных людей трафа.
«Многобукв» описания на http://antibot.tdsse.com/ вы читали? Там реальные выкладки и результаты моих тестов. Белые боты яндекса, гугла, мейла, бинга внесены в белый список. Они ничего не заметят и баниться не будут. Если кто-то пользуется еще какими-то сервисами которым нужно обращаться к сайту - их самостоятельно внести в белый список. Сейчас естественно они будут баниться. Собственно как на примере сапы, добавил и забыл (только надо сделать в след версии добавление подсетей, а не отдельных ипов). PTR поддельных подделанных под 4 вышеназванных поисковика примерно 0.01% если округлить в большую сторону. Большинство ненужных ботов примитивные не в 95% случаев, а в 98%. Они обламываются на уровне куков, они не могут из внешнего js их получить. Задержка перед рефрешем нужна в основном против хитроботов яндекса, которые и js понимают немного, но пока не ждут столько (и после применения скрипта в метрике не стает ботов с российских ip которые на сайте 0 минут и сплошные отказы) и (возможно) реагируют на 503 ошибку и дальше не анализируют контент.
__________________
|
28.12.2017, 13:08 | #16 | |
Специалист
Регистрация: 22.09.2010
Адрес: Ростов-на-Дону
Сообщений: 273
Вес репутации: 189
|
Я прочитал «Многобукв» перед тем как писать...
Слишком приукрашена статистика т.к. я это прошёл уже давно. К примеру уменьшение отказов по Яндекс Метрике - боты, снифы не загружают метрику и не влияют на её показания т.к. они все ходят по сайтам только по html коду, java они не открывают , 3 процента ботов ходят с загрузкой JAVA. Продавать скрипт пока рано, в «Многобукв» написано: "Скрипт не идеален, в нем есть косяки, которые будут исправляться по мере сил и возможностей, но я не несу ответственности за возможные убытки, возникшие изза применения скрипта, в общем все используете на свой страх и риск.". А вверху стоит стоимость в 9.95$, хотя должна быть лицензия BETA или FREE. Продавать его рано... Цитата:
Добавлено через 4 минуты Когда появилась нужна в таком скрипте, то я нашёл в интернете целую пачку подобных скриптов с free лицухой, все похожие, только код скрипта нужно в порядок приводить. Вот с них нарезал свой, плюс добавил более мощные фичи. Думал даже так же продавать, но смысла не увидел, раздал по "дружественным" хостингам части кода, они его допилили на своё усмотрение, пользуются... Последний раз редактировалось Allexx; 28.12.2017 в 13:08. Причина: Добавлено сообщение |
|
28.12.2017, 13:20 | #17 |
Специалист
Регистрация: 03.12.2008
Сообщений: 419
Вес репутации: 209
|
Allexx, хватает ботов, поддерживающих js, я их причисляю к хитроботам яндекса (после них быстрее дорвеи палятся и банятся), их отличительная черта:
они идут с домашних сетей мегафона, билайна, мтс, часто меняют юзерагент (особенно они любят представляться мобильным яндекс браузером), на сайте они не задерживаются и метрика от них не успевает послать второй запрос к своему серверу, рассказав что бот пробыл на сайте 10 сек или сколько там таймаут слива логов у метрики, вот и отказ по метрике. Ну и еще куча примет, лень много писать, вам все равно это не интересно. А то что скрипт не бесплатен - бесплатно я его и сам поюзаю, я не альтруист, так что или платно или никак ) Кстати вы лицензию у мелкософта на виндовс читали? Там точно также они ни за что не несут ответственности, и 25 лет делают платную и дорогую винду с кучей багов и постоянные заплатки. И это при том, что у них есть полно конкурентов и аналогов - линуксов. Так что я буду как Билл Гейтс )))
__________________
|
28.12.2017, 13:47 | #18 | ||
Специалист
Регистрация: 22.09.2010
Адрес: Ростов-на-Дону
Сообщений: 273
Вес репутации: 189
|
Нельзя пилить всех, кто не может принять куки. Есть целая куча браузеров, которые работают в режиме приватности, даже те же Маковские - их вообще хрен поймёшь...
Или же различные проги и сервисы для анализа внешних ссылок, которые заблочит этот скрипт. Те же сервисы, которые делают скрины сайтов. Чтобы всё работало, нужно целый год собирать полезные IP и добавлять их в белый список, анализировать поведение на сайте, писать под него алгоритм. Даже множество сайтов, кто подключается анти-дос сервисам, вскоре отказываются от него т.к. он режет много полезных юзеров, я сам иной раз открываю сайт и долго собирают картинки, чтобы попасть на него. Нюансов множество, именно потому все эти скрипты бесплатные т.к. с большей долей вероятности они дадут пинка Nному количество посетителей. Добавлено через 4 минуты Цитата:
Самое важное, что так бродит Роскомнадзор, точно так же и в основном 95% такого трафика это именно его. Плюс он периодически ещё и реферер подставляет той страницы, которую просматривает. И что? Заблочить его? Вы даже не представляете какие последствия это за собой повлечёт . Какие? Не может зайти - нафик, что-то скрывает. Подписываем бумажку в суде, накладываем бан и не разбираемся. Пройдено это всё. Я с огромнейшим опытом, ежедневно следя чёрт знает за сколькими серверами и то блочу всё в реал-тайм руками, не ставлю на все серваки этот скрипт ибо последствия плачевные. Добавлено через 18 минут Вот два примера, где реально Роскомнадзор бродил по сайту, один прикрывался JAVA, второй браузером и даже реферер поставил, и браузер менял: Цитата:
Последний раз редактировалось Allexx; 28.12.2017 в 13:49. Причина: Добавлено сообщение |
||
28.12.2017, 13:59 | #19 |
Специалист
Регистрация: 03.12.2008
Сообщений: 419
Вес репутации: 209
|
Allexx, нету никакой кучи браузеров которыми пользуются люди и которые не принимают куки, их вообще нет. http://antibot.tdsse.com/ у вас есть полигон. включаете приватность и все что угодно и заходите, все отлично зайдется на сайт.
Левые проги и скрипты, которые что-то там на моем сайте анализируют - это и есть говноботы, которых и должен скрипт банить. Анализаторы ссылок - маджестики и архефсы - это вообще самая главная срань, которые большинство в первую очередь в хтасессах банят. Скрины и прочие сервисы, которые мне как админу сайта нужны - если что-то пошло не так и словил блок - включаем лог, смотрим лог http://antibot.tdsse.com/antibot/botlog.txt и добавляем нужный сервис по юзерагенту или ip в белый список и пользуется нужным конкретному админу сайта сервисом. И хитроботы точно яндекса, это многократно палилось не только мной, но и многими дорвейщиками и много экспериментов с ними проводилось. Когда берется секретный субдомен (или 100500 генеренных субдоменов), добавляется в яндекс вебмастер и в его переобход, и видим в логах "человеков", которые очень быстро идут как напрямую с разными юзерагентами (десктоп и мобильный), с реферером якобы с яндекса по кею = урлу домена, при этом никакого индекса еще нету в яндексе, ну и с гарантированным отказом по метрике. Когда это помножаем на миллион доров и десятки миллионов записей в логи, вырисовывается очень четкая картина, и четкие списки ip, но это ip домашних российских инет провайдеров и их больше 10к, потому нету смысла банить их. Против них и найдена схема с 3 сек задержкой, сейчас это работает. Добавлено через 5 минут Allexx, я не знаю какие у вас там как хостера отношения с РКН, то я как программист связанный с доротематикой - мне постоянно приходят запросы, просьбы и идеи как банить ботов РКН. По казино тематике очень многие делают доры и абузы там по 1к писем в сутки иногда бывает. Кстати некоторый прогресс в этом был, абуз становится меньше, т.к. их автоматические боты обламываются и ничего не находят и прокатывает, типа "тут ниче и небыло", но когда придет реальный человек браузером, не важно откуда он, из РКН, Толоки или Ольгино, он без проблем увидит реальный сайт. Добавлено через 4 минуты Allexx, я этот скрипт в разных его переделках юзаю уже давно, на дорвеях тематика которых РКНу не интересна, никаких вопросов не возникало у них. Там тоже не дебилы работают. Если им по абузе прислали урл, то они его все равно смогут на него попасть. А если они парсят выдачу поисковиков автоматом по стоп словам, то скрипт поможет отбиться от автоматики.
__________________
Последний раз редактировалось vipraskrutka; 28.12.2017 в 13:59. Причина: Добавлено сообщение |
07.01.2018, 17:52 | #20 |
Специалист
Регистрация: 03.12.2008
Сообщений: 419
Вес репутации: 209
|
AntiBot v. 2.03 - добавлена передача хоста реферера в GET переменной (utm-метка).
__________________
|
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Подскажите что-нить для защиты от ботов IPB 2.3.6 | Deadman_n | Курилка | 13 | 28.09.2011 10:36 |
Скрипт защиты от копирования | dimavsr | Вопросы от новичков | 40 | 07.09.2009 16:04 |
Скрипт для "защиты" сайта от вирусов | D.iK.iJ | Разработка и сопровождение сайтов | 31 | 03.11.2008 14:54 |
Уважаемая администрация, скажите IP ваших ботов. Это необходимо для защиты от хакеров | Администрация 6-ой палаты | Курилка | 55 | 22.09.2008 12:24 |
О плохих О | m_Stasuk | Вопросы от новичков | 10 | 30.05.2008 19:07 |
Часовой пояс GMT +3, время: 00:30.