Спайдера обозвать нормально

nick · 02.05.2007, 10:38

Нельзя ли робота обозвать (User-Agent) нормально, а не изображать из него юзера. А то он изображает из себя англоязычного пользователя Internet Explorer, и в итоге у меня криво ходит по страницам (уровень страниц считает неправильно). SapeBot/1.0 к примеру или как угодно, лишь бы было видно, что это бот, а не юзер.

se7en · 02.05.2007, 10:59

А почему это у тебя уровень страниц зависит от useragent? Клоакингом батенька балуетесь?

nick · 02.05.2007, 11:17

Цитата:

Сообщение от se7en

А почему это у тебя уровень страниц зависит от useragent? Клоакингом батенька балуетесь?

Клоакинг - это что-то плохое, а я ничего плохого не делаю, англоязычный юзер получает английскую версию сайта, русский - русскую, робот яндекса - русскую (ничем не отличающуюся от версии для реального юзера), ему же не нужны страницы на англ. языке, к тому же не плодит кучу ненужных сессий. Каждый получает то, что ему нужно без всяких подмен и каких-то черных методов. А бот sape получает англ. версию (по умолчанию), потом переходит на русскую и только там находит свой код, лишний шаг короче. Ну или на крайняк HTTP_ACCEPT_LANGUAGE указать ru, но это менее универсально.

se7en · 02.05.2007, 14:24

На ваши благие намерения скорее всего никто не посмотрит. Если яндекс выкупит (а он выкупит) подмену то получите бан.

leos · 02.05.2007, 16:02

вообще бы яндексом обозвали его и все, и вопросов бы не было.
кстати, есть в этом и свои плюсы, подумайте админы

Rick · 02.05.2007, 17:55

Ко мне изредка заруливает бот с U-A "sape.bot is watching you!"

nick · 02.05.2007, 19:26

Цитата:

Сообщение от se7en

На ваши благие намерения скорее всего никто не посмотрит. Если яндекс выкупит (а он выкупит) подмену то получите бан.

Я уже написал, что нет никакой подмены контента, так что выкупать нечего.

se7en · 03.05.2007, 08:05

язык разный? разный. значит контент отличается.
никто не будет делать семантический анализ.
если с UA "Internet Explorer..." страничка отдается в 30кб, а с UA "YandexBot" - 30,001кб однозначная подмена контента!

nick · 03.05.2007, 08:37

Цитата:

Сообщение от se7en

язык разный? разный. значит контент отличается.
никто не будет делать семантический анализ.
если с UA "Internet Explorer..." страничка отдается в 30кб, а с UA "YandexBot" - 30,001кб однозначная подмена контента!

В третий раз: контент одинаковый для юзера и бота. Каждый о своем, больше не обсуждаю.

se7en · 03.05.2007, 12:03

Или контент одинаковый и непонятно в чем тогда претензия.
Или контент всё же разный тогда на претензию дан исчерпывающий ответ.

02.05.2007, 10:38	#1
nick Новичок Регистрация: 02.05.2007 Сообщений: 7 Вес репутации: 0	Спайдера обозвать нормально Нельзя ли робота обозвать (User-Agent) нормально, а не изображать из него юзера. А то он изображает из себя англоязычного пользователя Internet Explorer, и в итоге у меня криво ходит по страницам (уровень страниц считает неправильно). SapeBot/1.0 к примеру или как угодно, лишь бы было видно, что это бот, а не юзер.

02.05.2007, 17:55	#6
Rick Специалист Регистрация: 27.03.2007 Адрес: Moscow Сообщений: 235 Вес репутации: 212	Ко мне изредка заруливает бот с U-A "sape.bot is watching you!" __________________ Пожалуйста, на "ты"

Похожие темы
Тема	Автор	Раздел	Ответов	Последнее сообщение
Это нормально?)	medus_a	Яндекс	5	16.01.2008 20:31
А яваскрипт-редирект это нормально?	ferret-e	Вопросы по работе системы	5	22.08.2007 19:04
Это нормально?	one	Вопросы по работе системы	10	29.06.2007 09:40
У всех УВ определяется нормально?	D.iK.iJ	Ошибки при работе с системой	8	07.06.2007 16:40
Это нормально?	Admin_MP	Вопросы по работе системы	24	30.05.2007 13:10

02.05.2007, 10:59	#2
se7en Специалист Регистрация: 15.03.2007 Сообщений: 150 Вес репутации: 212	А почему это у тебя уровень страниц зависит от useragent? Клоакингом батенька балуетесь?

02.05.2007, 14:24	#4
se7en Специалист Регистрация: 15.03.2007 Сообщений: 150 Вес репутации: 212	На ваши благие намерения скорее всего никто не посмотрит. Если яндекс выкупит (а он выкупит) подмену то получите бан.

02.05.2007, 16:02	#5
leos Новичок Регистрация: 28.03.2007 Сообщений: 33 Вес репутации: 0	вообще бы яндексом обозвали его и все, и вопросов бы не было. кстати, есть в этом и свои плюсы, подумайте админы

03.05.2007, 08:05	#8
se7en Специалист Регистрация: 15.03.2007 Сообщений: 150 Вес репутации: 212	язык разный? разный. значит контент отличается. никто не будет делать семантический анализ. если с UA "Internet Explorer..." страничка отдается в 30кб, а с UA "YandexBot" - 30,001кб однозначная подмена контента!

03.05.2007, 12:03	#10
se7en Специалист Регистрация: 15.03.2007 Сообщений: 150 Вес репутации: 212	Или контент одинаковый и непонятно в чем тогда претензия. Или контент всё же разный тогда на претензию дан исчерпывающий ответ.