| Daedalus |
18.04.2018 14:14 |
Цитата:
Сообщение от Anatoly
(Сообщение 1367058)
Всем доброго. Заметил с неделю пасущегося бота на своём сайтике, представляющегося как "Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup-crawler.com/)". Кто что знает? По ссылке какое-то непонятное бла-бла-бла и рассказы о том, что "бот никак не напрягает ваш сайт", хотя он уже задолбал реально, т.к. сканирует всё по пятьсотому кругу уже. Забанить, али пущай живёт?
|
BLEXbot - это веб-искатель с белой шляпой, целью которого является поиск и индексирование обратных ссылок.
BLEXbot была разработана командой WebMeUp для создания самой полной и обновленной базы данных обратной связи. Это позволяет интернет-маркетологам и оптимизаторам создавать и контролировать свои внешние и внутренние профили ссылок, а также отслеживать и избавляться от вредных или нежелательных обратных ссылок.
База данных, собранная BLEXBot, используется для управления инструментом WebMeUp SEO и инструментом Backlink WebMeUp. Последний в настоящее время открыт для общественности на бесплатной основе. Все желающие могут использовать этот богатый ресурс и загружать обратные ссылки для любого количества сайтов (до 1 миллиона результатов на сайт!).
Как и боты, разработанные Google, Bing и другими поисковыми системами, BLEXbot - полностью законный веб-искатель. Он строго подчиняется инструкциям robots.txt и всегда идентифицирует себя по имени и домену. Вот пользовательский агент:
Mozilla / 5.0 (совместимый; BLEXBot / 1.0; + http: //webmeup-crawler.com/)
В отличие от поисковых роботов, BLEXBot не индексирует контент с веб-страниц, кроме ссылок. Инструмент собирает данные постепенно, делая трехсекундные паузы, прежде чем открывать другую ссылку. Таким образом, веб-сайты, которые он посещает, могут нормально функционировать во время обхода.
Если вам нужна дополнительная информация о BLEXBot или если вы хотите создать для нее некоторые правила в файле robots.txt, посетите его официальный сайт. |
