Бот Mail.ru подставляет /&/&/ - Зачем?

boric · 16.02.2009, 17:26

Сейчас глянул лог своего посещаемого сайта и увидел типа:

"GET /slon/black/ HTTP/1.0" 200 32222 "-" "Mail.Ru/1.0"
"GET /slon/black/&/ HTTP/1.0" 200 32222 "-" "Mail.Ru/1.0"
"GET /slon/black/&/&/ HTTP/1.0" 200 32222 "-" "Mail.Ru/1.0"

Это зачем паук так делает? По всем этим адресам окрывается одна и таже страница (/slon/black/). Никакие биржы не используются. Нагрузка на сервер возрасла.

MS555 · 16.02.2009, 18:25

boric, А ты уверен что это Маил? Юзер Агент можно легко подменить так что не факт что это Маил. врятли он будет страдать такой фигнёй)

boric · 16.02.2009, 18:46

MS555
Кто-то изучает строение сайта по реакции на такие подстановки? Но тогда непонятно, зачем все подряд таким образом сканировать (несколько тысяч страниц).

MS555 · 16.02.2009, 20:55

boric, да всё может быть) хакеров у нас полно) у меня тоже сканят подобным образом, подставляя папки или внешние ссылки на файлы для php инъекций.
Попробуй запрети Майлу этому на сайт ходить . хотя может и не поможет. и IP ещё запрети.

Atomic · 17.02.2009, 19:36

Эээ..мыло на яндексе сидит.

zhegloff · 17.02.2009, 19:50

Цитата:

Сообщение от Atomic

Эээ..мыло на яндексе сидит.

Это гогин бот.

Wink · 17.02.2009, 21:21

А может на самом сайте криво адресация сделана где-то?

yarnik · 17.02.2009, 22:20

вполне возможно проверка на продажность ссылок.
ведь саповский модуль считает это разными страницами, а по факту это одна стрница

Алексей Барыкин · 17.02.2009, 22:22

Цитата:

Сообщение от yarnik

вполне возможно проверка на продажность ссылок.
ведь саповский модуль считает это разными страницами, а по факту это одна стрница

При чем тут саповский модуль?
По какому факту?

Squish · 17.02.2009, 23:32

Стало интересно, прошелся по логам (несколько серверов, несколько сотен сайтов). Вхождений вида "/&/" не найдено. Вхождения вида "/&" соответсвуют реальным урлам, результат опечаток веб-программистов (не сформировали как следует GET строку, пропустили ?). Посещения ботом "Mail.Ru/1.0" имеются.

Думаю ТС следует проверить свой сайт и внешние ссылки на сайт, может что интересное найдется.

16.02.2009, 17:26	#1
boric Эксперт Регистрация: 05.03.2008 Сообщений: 1,095 Вес репутации: 249	Бот Mail.ru подставляет /&/&/ - Зачем? Сейчас глянул лог своего посещаемого сайта и увидел типа: "GET /slon/black/ HTTP/1.0" 200 32222 "-" "Mail.Ru/1.0" "GET /slon/black/&/ HTTP/1.0" 200 32222 "-" "Mail.Ru/1.0" "GET /slon/black/&/&/ HTTP/1.0" 200 32222 "-" "Mail.Ru/1.0" Это зачем паук так делает? По всем этим адресам окрывается одна и таже страница (/slon/black/). Никакие биржы не используются. Нагрузка на сервер возрасла.

17.02.2009, 19:36	#5
Atomic Починяю примуса Регистрация: 26.09.2008 Сообщений: 1,505 Вес репутации: 285	Эээ..мыло на яндексе сидит. __________________ Починяю разнокалиберные примуса здесь.

17.02.2009, 22:20	#8
yarnik Специалист Регистрация: 02.04.2008 Адрес: 10 минут до Майдана Сообщений: 404 Вес репутации: 214	вполне возможно проверка на продажность ссылок. ведь саповский модуль считает это разными страницами, а по факту это одна стрница __________________ уже сбылось: редактирование фильтров, избранное для каждого проекта, возвращение Wink

17.02.2009, 23:32	#10
Squish Специалист Регистрация: 08.07.2008 Сообщений: 429 Вес репутации: 208	Стало интересно, прошелся по логам (несколько серверов, несколько сотен сайтов). Вхождений вида "/&/" не найдено. Вхождения вида "/&" соответсвуют реальным урлам, результат опечаток веб-программистов (не сформировали как следует GET строку, пропустили ?). Посещения ботом "Mail.Ru/1.0" имеются. Думаю ТС следует проверить свой сайт и внешние ссылки на сайт, может что интересное найдется. __________________ Набираю рефералов, помогу в установке кода на PHP/ASP скрипты/движки/CMS. Размещайте ссылки навсегда в контексте или текстовых блоках. Хороший хостинг 1Гб - 60р./мес.

Похожие темы
Тема	Автор	Раздел	Ответов	Последнее сообщение
Mail.ru	Русская мафия	Разработка и сопровождение сайтов	2	10.01.2009 15:32
e-mail Платона	Wilson	Курилка	6	19.12.2008 18:15
про каталог mail.ru	tito-m	Курилка	23	30.11.2008 15:57
E-mail как ВС	Геннадий	Вопросы по работе системы	3	17.07.2007 15:32
Администрация подставляет вэбмастеров!	kazanclub	Пожелания пользователей системы	53	12.07.2007 20:53

16.02.2009, 18:25	#2
MS555 Эксперт Регистрация: 02.09.2008 Адрес: РФ Сообщений: 1,007 Вес репутации: 225	boric, А ты уверен что это Маил? Юзер Агент можно легко подменить так что не факт что это Маил. врятли он будет страдать такой фигнёй)

16.02.2009, 18:46	#3
boric Эксперт Регистрация: 05.03.2008 Сообщений: 1,095 Вес репутации: 249	MS555 Кто-то изучает строение сайта по реакции на такие подстановки? Но тогда непонятно, зачем все подряд таким образом сканировать (несколько тысяч страниц).

16.02.2009, 20:55	#4
MS555 Эксперт Регистрация: 02.09.2008 Адрес: РФ Сообщений: 1,007 Вес репутации: 225	boric, да всё может быть) хакеров у нас полно) у меня тоже сканят подобным образом, подставляя папки или внешние ссылки на файлы для php инъекций. Попробуй запрети Майлу этому на сайт ходить . хотя может и не поможет. и IP ещё запрети.

17.02.2009, 21:21	#7
Wink Злой модератор Регистрация: 25.03.2007 Адрес: Deep forest Сообщений: 5,343 Вес репутации: 502	А может на самом сайте криво адресация сделана где-то?

Опции темы
Версия для печати Отправить по электронной почте