Старый 01.06.2007, 10:48   #1
Специалист
 
Регистрация: 03.05.2007
Сообщений: 189
Вес репутации: 0
antsv может только надеяться на улучшение
По умолчанию Бот SAPE.BOT и User Agent.

Насколько я понимаю, при заходе на сайт (у меня бот приходит где-то в 5 утра) бот один раз указывает "я пришёл!", то есть в user agent-e вставляет "SAPE.BOT is watching you!". Но далее идёт весёлая штука - бот везде говорит, что он "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)". То бишь маскируется под IE6.

Для меня, как для ВМ, который хочет учитывать полную статистику сайта включая ботов, невозможно задать правила для фильтрации. Возможно только наглухо вырезять по IP весь трафик создаваемый ботом.

Это не очень удобно, ибо искажается общая картина трафика.

С другой стороны мне вообще непонятно, зачем так сделано. Если команда SAPE боится, что кто-то будет обманывать их бота, так это и по IP можно сделать, а не по user agent.

Кароче говоря, очень бы хотелось, чтобы в user agent-e бот всегда указывал свой идентификатор.
antsv вне форума   Ответить с цитированием
Старый 01.06.2007, 13:53   #2
Специалист
 
Регистрация: 26.01.2007
Сообщений: 334
Вес репутации: 226
msk01 - за этого человека можно гордитсяmsk01 - за этого человека можно гордитсяmsk01 - за этого человека можно гордитсяmsk01 - за этого человека можно гордитсяmsk01 - за этого человека можно гордитсяmsk01 - за этого человека можно гордитсяmsk01 - за этого человека можно гордитсяmsk01 - за этого человека можно гордится
По умолчанию

Так и вы в своей статистике можете отфильтровать записи по айпишнику.
msk01 вне форума   Ответить с цитированием
Старый 01.06.2007, 14:08   #3
Специалист
 
Регистрация: 03.05.2007
Сообщений: 189
Вес репутации: 0
antsv может только надеяться на улучшение
По умолчанию

Цитата:
Сообщение от msk01
Так и вы в своей статистике можете отфильтровать записи по айпишнику.
Ну если вы мне скажите, как, к примеру, в AWStats отделить по IP робота (не выкинуть его, а разделить), то буду благодарен.
antsv вне форума   Ответить с цитированием
Старый 02.03.2008, 14:02   #4
Новичок
 
Регистрация: 28.02.2008
Сообщений: 23
Вес репутации: 0
oktawyk на пути к лучшему
Отправить сообщение для oktawyk с помощью ICQ
По умолчанию

Поставьте не user agent а сам адресс бота 217.107.36.*
oktawyk вне форума   Ответить с цитированием
Старый 02.03.2008, 18:00   #5
Мастер
 
Регистрация: 18.08.2007
Сообщений: 833
Вес репутации: 229
tsb - за этого человека можно гордитсяtsb - за этого человека можно гордитсяtsb - за этого человека можно гордитсяtsb - за этого человека можно гордитсяtsb - за этого человека можно гордитсяtsb - за этого человека можно гордитсяtsb - за этого человека можно гордитсяtsb - за этого человека можно гордится
По умолчанию

А все равно непонятен смысл ) Зачем идентифицироваться только в первой строке? Ведь по этой записи бот и определяется. К чему тогда маскировка?

Пока надумываю только одно - чтобы сервер и сайт отдавали код в виде, как для большинства юзеров, т.е. с IE6.
tsb вне форума   Ответить с цитированием
Старый 02.03.2008, 18:36   #6
Новичок
 
Аватар для SAPE.BOT
 
Регистрация: 02.03.2008
Сообщений: 2
Вес репутации: 0
SAPE.BOT скоро станет известен
По умолчанию

Что в имени тебе моем, ты кода оцени объем!
SAPE.BOT вне форума   Ответить с цитированием
Старый 03.03.2008, 02:48   #7
Новичок
 
Регистрация: 11.01.2008
Сообщений: 59
Вес репутации: 0
Henpyxa может только надеяться на улучшение
По умолчанию

)))))))
__________________
мои люди все кто в клубе, двигайте телами - поднимайте вверх руки
Henpyxa вне форума   Ответить с цитированием
Старый 25.02.2014, 15:15   #8
Новичок
 
Аватар для kiev1
 
Регистрация: 24.08.2008
Адрес: Kiev
Сообщений: 60
Вес репутации: 193
kiev1 - весьма и весьма положительная личностьkiev1 - весьма и весьма положительная личностьkiev1 - весьма и весьма положительная личность
По умолчанию

сегодня ввели защиту от дос на хостинге drupalhosting и у меня были проблемы, может совпадение, но все таки

специалист хостинга сообщил что что бы все было хорошо надо учесть следующее

"Мы не блокируем ip адреса ботов SAPE. Мы осуществляем блокировку ботов чьё поведение подходит под паттерн распространенных атак (много запросов с одного IP адреса).
Основная проблема в том что SAPE бот при посещении сервера авторизируется только в начале сессии передав в качестве USER AGENT строку "SAPE.BOT is watching you!" а после передает информацию о себе как о Internet Explorer 6 - что затрудняет его идентификацию. C Вашей стороны Вы как пользователь данной системы можете попросить разработчиков изменить данную опцию и передавать правильный User-Agent постоянно"
kiev1 вне форума   Ответить с цитированием
Старый 25.02.2014, 16:33   #9
Администратор
 
Аватар для Ank
 
Регистрация: 05.02.2007
Сообщений: 18,405
Вес репутации: 714
Ank - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущее
По умолчанию

Цитата:
Сообщение от kiev1 Посмотреть сообщение
C Вашей стороны
надо бежать от таких хостеров.
Простое умножение длины правильного User-Agent умноженное на число ссылок системы даст .. даст... даст основание послать "хостера"
__________________
Начать зарабатывать на своих сайтах. Консультирую своих рефов по аське

Читаем ФАК
Ank вне форума   Ответить с цитированием
Старый 25.02.2014, 20:02   #10
Новичок
 
Аватар для kiev1
 
Регистрация: 24.08.2008
Адрес: Kiev
Сообщений: 60
Вес репутации: 193
kiev1 - весьма и весьма положительная личностьkiev1 - весьма и весьма положительная личностьkiev1 - весьма и весьма положительная личность
По умолчанию

согласен, хостер не вправе диктовать если все по rfc сделано, просто просит, тем более что хостер довольно продвинутый - много для друпал сделал, а не каждый хостер раньше решался тяжеловесный друпал хостить, просто я думаю облегчение идентификации роботов Sape могло бы помочь тем более дос атаки сейчас будут в связи с расширением интернет только расти
kiev1 вне форума   Ответить с цитированием
Ответ

Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
SAPE ERROR: FATAL ERROR: BAD USER! webinteger Ошибки при работе с системой 8 14.01.2009 01:16
Sape WM Analyzer - увеличьте Ваши продажи в Sape andrey-k Вопросы по работе системы 11 27.08.2008 13:43
одновременно файл sape.php и SAPE.pm slovo Вопросы по работе системы 23 06.03.2008 15:08
user-agent системы sape Masayuki Вопросы по работе системы 2 02.10.2007 16:00
сайт вида www.name.ru/~user/ fidukoff Вопросы по работе системы 1 06.09.2007 10:17


Часовой пояс GMT +3, время: 15:43.