Вернуться   Форум SAPE.RU > Общие вопросы > Деловое сотрудничество

-->
Ответ
 
Опции темы
Старый 27.12.2017, 23:48   #11
Специалист
 
Аватар для vipraskrutka
 
Регистрация: 03.12.2008
Сообщений: 413
Вес репутации: 203
vipraskrutka - просто великолепная личностьvipraskrutka - просто великолепная личностьvipraskrutka - просто великолепная личностьvipraskrutka - просто великолепная личностьvipraskrutka - просто великолепная личностьvipraskrutka - просто великолепная личностьvipraskrutka - просто великолепная личность
По умолчанию

zhegloff, данная тузла против сапы не создавалась, сапабот же не против воли владельца сайта ходит на сайт
__________________
ВебМастерские микроблоги | Антибот и антиспам защита (помогает от поведенческих ботов)
vipraskrutka вне форума   Ответить с цитированием
Старый 28.12.2017, 04:33   #12
Эксперт
 
Аватар для Anadonam
 
Регистрация: 29.10.2009
Адрес: Вологда and SSHA
Сообщений: 3,896
Вес репутации: 352
Anadonam - прекрасное будущееAnadonam - прекрасное будущееAnadonam - прекрасное будущееAnadonam - прекрасное будущееAnadonam - прекрасное будущееAnadonam - прекрасное будущееAnadonam - прекрасное будущееAnadonam - прекрасное будущееAnadonam - прекрасное будущееAnadonam - прекрасное будущееAnadonam - прекрасное будущее
Отправить сообщение для Anadonam с помощью ICQ
По умолчанию

Всё конечно красиво звучит и цена для такого чуда завлекательная!
А очень кратко принцип действия можно, как юзер от бота отличается и как белые поисковые боты от вредных
Или коммерческая тайна ... ?

Просто надеюсь хотя бы юзеры от ботов не тупо времянахождением на сайте фильтруются ?

// а то я так куплю и нафиг свой трафик резану в радостном пыле.... ......

ps/ps/ если просто наличие черного списка ip адресов..., то не интересует.
(они у вредителей через полгода новые и меняются постоянно)

Последний раз редактировалось Anadonam; 28.12.2017 в 04:38.
Anadonam вне форума   Ответить с цитированием
Старый 28.12.2017, 11:20   #13
Специалист
 
Аватар для vipraskrutka
 
Регистрация: 03.12.2008
Сообщений: 413
Вес репутации: 203
vipraskrutka - просто великолепная личностьvipraskrutka - просто великолепная личностьvipraskrutka - просто великолепная личностьvipraskrutka - просто великолепная личностьvipraskrutka - просто великолепная личностьvipraskrutka - просто великолепная личностьvipraskrutka - просто великолепная личность
По умолчанию

Anadonam, именно отдача кода 503 + ожидание + проставление cookie из js и рефреш. Почти как в клаудфларе, только рекапчи нету. Этого хватает для задач, описанных на сайте. Черных списков нету, только белый список поисковых и прочих белых ботов, кого пускать без этой задержки, все остальное считаются людьми и должны пережить проверку браузера.

Добавлено через 1 минуту
Anadonam, ну и на самом http://antibot.tdsse.com/ можно эксперименты провести, зайти с разных браузеров, все норм пустит на сайт. и в логе http://antibot.tdsse.com/antibot/botlog.txt сделал более наглядно смотреть кого пустило + в начале строки и кого не пустило - .
__________________
ВебМастерские микроблоги | Антибот и антиспам защита (помогает от поведенческих ботов)

Последний раз редактировалось vipraskrutka; 28.12.2017 в 11:20. Причина: Добавлено сообщение
vipraskrutka вне форума   Ответить с цитированием
Старый 28.12.2017, 12:09   #14
Специалист
 
Регистрация: 22.09.2010
Адрес: Ростов-на-Дону
Сообщений: 273
Вес репутации: 183
Allexx - за этого человека можно гордитсяAllexx - за этого человека можно гордитсяAllexx - за этого человека можно гордитсяAllexx - за этого человека можно гордитсяAllexx - за этого человека можно гордитсяAllexx - за этого человека можно гордитсяAllexx - за этого человека можно гордитсяAllexx - за этого человека можно гордитсяAllexx - за этого человека можно гордитсяAllexx - за этого человека можно гордится
По умолчанию

Слежу вот за темой с самого начала и понимаю, что скрипт будет банить кучу всего полезного, а различных спам ботов будет пропускать.
Аргументирую:
95% всех спам или бесполезных ботов не принимают куки, даже те же сборщики (граберы) email. PTR проверять нет смысла т.к. судя по моим логам они подделываются, инфа должна проверятся во who is по всем параметрам.

Похожий скрипт я написал для себя ещё 3 года назад, правда сделал его серверным и разместил в системной папке на сервере, далее php его инклюидит сам в самое начало каждого файла на сервере.
Работа совершенно другая:
Скрипт распознают все снифы и бесполезную нагрузку. К примеру
Если url перебираются по порядку
Если слишком быстро листается сайт
Если запрашиваются страницы вроде админок различных cms, файлы backup
Так же проверяется referrer, чтобы удостоверится, что то действительно бот
Время посещения каждой страницы
Просмотр не существующих страниц на сайте
Много чего ещё, но никаких куки...
Первый заход бота гугла или яндекса с нового IP проверяется по who is, если это реальный бот, то подсеть его ip автоматом влетает в белый список.
Если сниф бот определён, то ему показывается ошибка 503 и говорится о том, что он грузит сайт, если запросы продолжаются, достигают к примеру 50ти, то этот ip летит в бан шлюза на трое суток, т.е. он даже до сервера не достучится. Через 3 дня бан снимется сам, но если эта лажа опять лажанёт, то летит в бан на месяц.
К примеру бот Megaindex открывает на сервере более 150 000 страниц в день, не слушается ограничение в robots.txt (Crawl-delay в частности) - и получается, что он редко выходит из бана. Один мегаиндекс бот снижает на сервере нагрузку на 30%.
Сапу сразу внёс в белый список, ещё немного сервисов в белом, в постоянном чёрном списке более 500 адресов, которые туда влетели либо в ручную, либо автоматом. В чёрный список так же нельзя вносить динамические IP, для них можно ставить только более жесткие правила т.к. с них может выходить в интернет более 1000 человек и их нужно определять автоматически. В скрипте есть ещё целая куча ловушек...
Вот это скрипт, работает на 4х серварах 2 WIN и 2 Linux сам по себе, никаких дос атак, массовых снифов и прочей лажи, при этому каждый сервер имеет минимум 300 000 хостов в сутки, не говоря о хитах, которые превышают хосты примерно в 20 раз. А куки или вывод сообщений вроде: "Подождите N секунд" - бред, который может только навредить сайту.

Добавлено через 13 минут
И ещё....
Блокировать в скрипте нет смысла.
К примеру:
Бот снифит сайт с php и sql - при этом нагрузка на сервер создаётся на php+apache и на sql. Заблочив бота в скрипте, нагрузка упадёт только с sql, а сам сервер отдавая 503 ошибку будет под нагрузкой.
Бывали случаи когда на сайт расположенный на сервере были атаки с разных IP. В секунду было более 300 запросов к разным сраницам сайта и большинство с разных IP - толку им давать ошибку 503?
300 запросов в секунду забивают пул сервера и он будет попросту не доступен, при этом на сервер будет огромная нагрузка.
Даже если с одного IP будут такие запросы, то они укладывают сервер на лопатки и его нужно блочить только на шлюзе - в линуксе IP TABLE, в винде Браундмаер.
Но истина в скрипте где-то есть, я тоже начинал с написания такого скрипта, но когда "втыкнул", что он снижает нагрузку только на 3-5% и бесполезен при много поточных сканированиях, понял, что его нужно в корне переписывать. Да, раньше этот скрипт подключался к каждому сайту в начало файлов php, но потом переключил его в настройки php на авто инклюид .
............Так что скрипт этот нужно допиливать, а то сейчас от него всего одна польза - скрыть часть своего сайта от недоброжелательных ботов.

А свой вариант защиты могу продемонстрировать в личку .

Последний раз редактировалось Allexx; 28.12.2017 в 12:17. Причина: Добавлено сообщение
Allexx вне форума   Ответить с цитированием
Старый 28.12.2017, 12:43   #15
Специалист
 
Аватар для vipraskrutka
 
Регистрация: 03.12.2008
Сообщений: 413
Вес репутации: 203
vipraskrutka - просто великолепная личностьvipraskrutka - просто великолепная личностьvipraskrutka - просто великолепная личностьvipraskrutka - просто великолепная личностьvipraskrutka - просто великолепная личностьvipraskrutka - просто великолепная личностьvipraskrutka - просто великолепная личность
По умолчанию

Allexx, ваши теоретические выкладки почитать было интересно. Но у меня все основывается только на практике и не на 1 сайте, а на безконечном количестве дорвеев, к которым в сутки идет около 20 млн обращений из которых 100к+ от реальных людей трафа.

«Многобукв» описания на http://antibot.tdsse.com/ вы читали? Там реальные выкладки и результаты моих тестов.

Белые боты яндекса, гугла, мейла, бинга внесены в белый список. Они ничего не заметят и баниться не будут.

Если кто-то пользуется еще какими-то сервисами которым нужно обращаться к сайту - их самостоятельно внести в белый список. Сейчас естественно они будут баниться. Собственно как на примере сапы, добавил и забыл (только надо сделать в след версии добавление подсетей, а не отдельных ипов).

PTR поддельных подделанных под 4 вышеназванных поисковика примерно 0.01% если округлить в большую сторону.

Большинство ненужных ботов примитивные не в 95% случаев, а в 98%. Они обламываются на уровне куков, они не могут из внешнего js их получить.

Задержка перед рефрешем нужна в основном против хитроботов яндекса, которые и js понимают немного, но пока не ждут столько (и после применения скрипта в метрике не стает ботов с российских ip которые на сайте 0 минут и сплошные отказы) и (возможно) реагируют на 503 ошибку и дальше не анализируют контент.
__________________
ВебМастерские микроблоги | Антибот и антиспам защита (помогает от поведенческих ботов)
vipraskrutka вне форума   Ответить с цитированием
Старый 28.12.2017, 13:08   #16
Специалист
 
Регистрация: 22.09.2010
Адрес: Ростов-на-Дону
Сообщений: 273
Вес репутации: 183
Allexx - за этого человека можно гордитсяAllexx - за этого человека можно гордитсяAllexx - за этого человека можно гордитсяAllexx - за этого человека можно гордитсяAllexx - за этого человека можно гордитсяAllexx - за этого человека можно гордитсяAllexx - за этого человека можно гордитсяAllexx - за этого человека можно гордитсяAllexx - за этого человека можно гордитсяAllexx - за этого человека можно гордится
По умолчанию

Я прочитал «Многобукв» перед тем как писать...
Слишком приукрашена статистика т.к. я это прошёл уже давно.
К примеру уменьшение отказов по Яндекс Метрике - боты, снифы не загружают метрику и не влияют на её показания т.к. они все ходят по сайтам только по html коду, java они не открывают , 3 процента ботов ходят с загрузкой JAVA.
Продавать скрипт пока рано, в «Многобукв» написано: "Скрипт не идеален, в нем есть косяки, которые будут исправляться по мере сил и возможностей, но я не несу ответственности за возможные убытки, возникшие изза применения скрипта, в общем все используете на свой страх и риск.". А вверху стоит стоимость в 9.95$, хотя должна быть лицензия BETA или FREE. Продавать его рано...
Цитата:
Но у меня все основывается только на практике и не на 1 сайте
Я не говорил, что у меня один сайт , я как бы напрямую отношусь к хостингу и собираю статистику со "100500" серверов

Добавлено через 4 минуты
Когда появилась нужна в таком скрипте, то я нашёл в интернете целую пачку подобных скриптов с free лицухой, все похожие, только код скрипта нужно в порядок приводить. Вот с них нарезал свой, плюс добавил более мощные фичи.
Думал даже так же продавать, но смысла не увидел, раздал по "дружественным" хостингам части кода, они его допилили на своё усмотрение, пользуются...

Последний раз редактировалось Allexx; 28.12.2017 в 13:08. Причина: Добавлено сообщение
Allexx вне форума   Ответить с цитированием
Старый 28.12.2017, 13:20   #17
Специалист
 
Аватар для vipraskrutka
 
Регистрация: 03.12.2008
Сообщений: 413
Вес репутации: 203
vipraskrutka - просто великолепная личностьvipraskrutka - просто великолепная личностьvipraskrutka - просто великолепная личностьvipraskrutka - просто великолепная личностьvipraskrutka - просто великолепная личностьvipraskrutka - просто великолепная личностьvipraskrutka - просто великолепная личность
По умолчанию

Allexx, хватает ботов, поддерживающих js, я их причисляю к хитроботам яндекса (после них быстрее дорвеи палятся и банятся), их отличительная черта:
они идут с домашних сетей мегафона, билайна, мтс, часто меняют юзерагент (особенно они любят представляться мобильным яндекс браузером), на сайте они не задерживаются и метрика от них не успевает послать второй запрос к своему серверу, рассказав что бот пробыл на сайте 10 сек или сколько там таймаут слива логов у метрики, вот и отказ по метрике. Ну и еще куча примет, лень много писать, вам все равно это не интересно.

А то что скрипт не бесплатен - бесплатно я его и сам поюзаю, я не альтруист, так что или платно или никак ) Кстати вы лицензию у мелкософта на виндовс читали? Там точно также они ни за что не несут ответственности, и 25 лет делают платную и дорогую винду с кучей багов и постоянные заплатки. И это при том, что у них есть полно конкурентов и аналогов - линуксов. Так что я буду как Билл Гейтс )))
__________________
ВебМастерские микроблоги | Антибот и антиспам защита (помогает от поведенческих ботов)
vipraskrutka вне форума   Ответить с цитированием
Старый 28.12.2017, 13:47   #18
Специалист
 
Регистрация: 22.09.2010
Адрес: Ростов-на-Дону
Сообщений: 273
Вес репутации: 183
Allexx - за этого человека можно гордитсяAllexx - за этого человека можно гордитсяAllexx - за этого человека можно гордитсяAllexx - за этого человека можно гордитсяAllexx - за этого человека можно гордитсяAllexx - за этого человека можно гордитсяAllexx - за этого человека можно гордитсяAllexx - за этого человека можно гордитсяAllexx - за этого человека можно гордитсяAllexx - за этого человека можно гордится
По умолчанию

Нельзя пилить всех, кто не может принять куки. Есть целая куча браузеров, которые работают в режиме приватности, даже те же Маковские - их вообще хрен поймёшь...
Или же различные проги и сервисы для анализа внешних ссылок, которые заблочит этот скрипт. Те же сервисы, которые делают скрины сайтов. Чтобы всё работало, нужно целый год собирать полезные IP и добавлять их в белый список, анализировать поведение на сайте, писать под него алгоритм.
Даже множество сайтов, кто подключается анти-дос сервисам, вскоре отказываются от него т.к. он режет много полезных юзеров, я сам иной раз открываю сайт и долго собирают картинки, чтобы попасть на него.
Нюансов множество, именно потому все эти скрипты бесплатные т.к. с большей долей вероятности они дадут пинка Nному количество посетителей.

Добавлено через 4 минуты
Цитата:
я их причисляю к хитроботам яндекса ..... их отличительная черта: они идут с домашних сетей мегафона, билайна, мтс, часто меняют юзерагент
Это не хитроботы яндекса, это снифы от того же "EPochta Extractor", который рандомно меняет юзер агент , ещё так делают несколько известных анализаторов внешних ссылок - и их тоже нельзя блочить, чтобы потом не было вопросов: "Чё происходит с моей ссылкой, которую я у Вас купил?".
Самое важное, что так бродит Роскомнадзор, точно так же и в основном 95% такого трафика это именно его. Плюс он периодически ещё и реферер подставляет той страницы, которую просматривает. И что? Заблочить его? Вы даже не представляете какие последствия это за собой повлечёт .
Какие? Не может зайти - нафик, что-то скрывает. Подписываем бумажку в суде, накладываем бан и не разбираемся. Пройдено это всё.
Я с огромнейшим опытом, ежедневно следя чёрт знает за сколькими серверами и то блочу всё в реал-тайм руками, не ставлю на все серваки этот скрипт ибо последствия плачевные.

Добавлено через 18 минут
Вот два примера, где реально Роскомнадзор бродил по сайту, один прикрывался JAVA, второй браузером и даже реферер поставил, и браузер менял:
Цитата:
28.10.2017 10:12:04 - http://***********/f/154 - Java/1.6.0_04 - ***.*54.59.175 -
28.10.2017 10:12:05 - http://***********/f/177 - Java/1.6.0_04 - ***.*54.59.175 -
28.10.2017 10:12:10 - http://***********/f/187 - Java/1.6.0_04 - ***.*54.59.175 -
28.10.2017 10:12:12 - http://***********/f/194 - Java/1.6.0_04 - ***.*54.59.175 -
28.10.2017 10:12:14 - http://***********/f/201 - Java/1.6.0_04 - ***.*54.59.175 -
28.10.2017 10:12:18 - http://***********/f/206 - Java/1.6.0_04 - ***.*54.59.175 -


26.10.2017 23:17:15 - http://***********/q/help/ - Mozilla/5.0 (Windows NT 6.1; rv:53.0) Gecko/20100101 Firefox/53.0 - ***.*22.79.13 - http://***********/q/help/
26.10.2017 23:17:15 - http://***********/q/help/ - Mozilla/5.0 (Windows NT 6.1; rv:53.0) Gecko/20100101 Firefox/53.0 - ***.*22.79.13 - http://***********/q/help/
27.10.2017 01:55:48 - http://***********/nber/900250/ - Mozilla/5.0 (Windows NT 6.1; rv:52.0) Gecko/20100101 Firefox/52.0 - ***.*22.79.13 - http://***********/nber/900250/
27.10.2017 01:55:48 - http://***********/nber/1128841/ - Mozilla/5.0 (Windows NT 6.1; rv:52.0) Gecko/20100101 Firefox/52.0 - ***.*22.79.13 - http://***********/nber/1128841/
Сразу прилетело письмо бла-бла, удалите или будут проблемы.

Последний раз редактировалось Allexx; 28.12.2017 в 13:49. Причина: Добавлено сообщение
Allexx вне форума   Ответить с цитированием
Старый 28.12.2017, 13:59   #19
Специалист
 
Аватар для vipraskrutka
 
Регистрация: 03.12.2008
Сообщений: 413
Вес репутации: 203
vipraskrutka - просто великолепная личностьvipraskrutka - просто великолепная личностьvipraskrutka - просто великолепная личностьvipraskrutka - просто великолепная личностьvipraskrutka - просто великолепная личностьvipraskrutka - просто великолепная личностьvipraskrutka - просто великолепная личность
По умолчанию

Allexx, нету никакой кучи браузеров которыми пользуются люди и которые не принимают куки, их вообще нет. http://antibot.tdsse.com/ у вас есть полигон. включаете приватность и все что угодно и заходите, все отлично зайдется на сайт.

Левые проги и скрипты, которые что-то там на моем сайте анализируют - это и есть говноботы, которых и должен скрипт банить. Анализаторы ссылок - маджестики и архефсы - это вообще самая главная срань, которые большинство в первую очередь в хтасессах банят.

Скрины и прочие сервисы, которые мне как админу сайта нужны - если что-то пошло не так и словил блок - включаем лог, смотрим лог http://antibot.tdsse.com/antibot/botlog.txt и добавляем нужный сервис по юзерагенту или ip в белый список и пользуется нужным конкретному админу сайта сервисом.

И хитроботы точно яндекса, это многократно палилось не только мной, но и многими дорвейщиками и много экспериментов с ними проводилось. Когда берется секретный субдомен (или 100500 генеренных субдоменов), добавляется в яндекс вебмастер и в его переобход, и видим в логах "человеков", которые очень быстро идут как напрямую с разными юзерагентами (десктоп и мобильный), с реферером якобы с яндекса по кею = урлу домена, при этом никакого индекса еще нету в яндексе, ну и с гарантированным отказом по метрике. Когда это помножаем на миллион доров и десятки миллионов записей в логи, вырисовывается очень четкая картина, и четкие списки ip, но это ip домашних российских инет провайдеров и их больше 10к, потому нету смысла банить их. Против них и найдена схема с 3 сек задержкой, сейчас это работает.

Добавлено через 5 минут
Allexx, я не знаю какие у вас там как хостера отношения с РКН, то я как программист связанный с доротематикой - мне постоянно приходят запросы, просьбы и идеи как банить ботов РКН. По казино тематике очень многие делают доры и абузы там по 1к писем в сутки иногда бывает. Кстати некоторый прогресс в этом был, абуз становится меньше, т.к. их автоматические боты обламываются и ничего не находят и прокатывает, типа "тут ниче и небыло", но когда придет реальный человек браузером, не важно откуда он, из РКН, Толоки или Ольгино, он без проблем увидит реальный сайт.

Добавлено через 4 минуты
Allexx, я этот скрипт в разных его переделках юзаю уже давно, на дорвеях тематика которых РКНу не интересна, никаких вопросов не возникало у них. Там тоже не дебилы работают. Если им по абузе прислали урл, то они его все равно смогут на него попасть. А если они парсят выдачу поисковиков автоматом по стоп словам, то скрипт поможет отбиться от автоматики.
__________________
ВебМастерские микроблоги | Антибот и антиспам защита (помогает от поведенческих ботов)

Последний раз редактировалось vipraskrutka; 28.12.2017 в 13:59. Причина: Добавлено сообщение
vipraskrutka вне форума   Ответить с цитированием
Старый 07.01.2018, 17:52   #20
Специалист
 
Аватар для vipraskrutka
 
Регистрация: 03.12.2008
Сообщений: 413
Вес репутации: 203
vipraskrutka - просто великолепная личностьvipraskrutka - просто великолепная личностьvipraskrutka - просто великолепная личностьvipraskrutka - просто великолепная личностьvipraskrutka - просто великолепная личностьvipraskrutka - просто великолепная личностьvipraskrutka - просто великолепная личность
По умолчанию

AntiBot v. 2.03 - добавлена передача хоста реферера в GET переменной (utm-метка).
__________________
ВебМастерские микроблоги | Антибот и антиспам защита (помогает от поведенческих ботов)
vipraskrutka вне форума   Ответить с цитированием
Ответ

Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Подскажите что-нить для защиты от ботов IPB 2.3.6 Deadman_n Курилка 13 28.09.2011 10:36
Скрипт защиты от копирования dimavsr Вопросы от новичков 40 07.09.2009 16:04
Скрипт для "защиты" сайта от вирусов D.iK.iJ Разработка и сопровождение сайтов 31 03.11.2008 14:54
Уважаемая администрация, скажите IP ваших ботов. Это необходимо для защиты от хакеров Администрация 6-ой палаты Курилка 55 22.09.2008 12:24
О плохих О m_Stasuk Вопросы от новичков 10 30.05.2008 19:07


Часовой пояс GMT +3, время: 18:13.