Спайдера обозвать нормально

[SergVK]

А если без претензии, посмотреть по логу когда бот заходил?

[nick]

Сообщение от se7en

Или контент одинаковый и непонятно в чем тогда претензия.
Или контент всё же разный тогда на претензию дан исчерпывающий ответ.

А вы - это представитель sape.ru? Т.е. это были ответы на заданный вопрос? Ну тогда нет вопросов.
Претензия в том, что уровень страниц выводился = 3, хотя в реальности был = 2 ("был" потому, что сайт из площадок убрал). Я предположил, что смог бы это исправить, если бот будет идентифицирован как бот sape.ru, т.к. ответа на свой запрос по поводу ручного (вами) изменения уровня (страницы находятся в 1 клике от главной, а не в двух) ответа не получил. Тут тоже получил разговоры про клоакинг и про то, что яндекс найдет все. Только я не понял какое вам дело до бана (отсутствия бана) яндексом какого-то сайта. Если ответы se7en - это официальные, то вопросов нет, менять не будете, меня тоже так не устраивает, спокойно разошлись.

[se7en]

я такой же пользователь системы как и остальные. возможно точка зрения администрации на данный вопрос иная.

Тут тоже получил разговоры про клоакинг и про то, что яндекс найдет все. Только я не понял какое вам дело до бана (отсутствия бана) яндексом какого-то сайта

т.е. где-то вам уже сказали что так делать нехорошо? а тут вы чего ждали?
если сайт ведет себя по разному в зависимости от UA - это клоакинг и последующий бан.

мне как оптимизатору есть большое дело до вашего бана! разместив у вас ссылки я не получу за свои деньги ровным счетом ничего если ваш сайт забанен.

[msk01]

nick, ты делаешь неправильно.
Если тебе так хочется выдавать разный контент по юзер-агенту, нужно делать разные страницы.
site.com/about/?lang=ru
site.com/about/?lang=en
Если к тебе приходят на site.com/about/, то определяешь язык и перекидываешь либо на первый урл, либо на второй. Выдавать же страницу /about/ с разными данными для разных UA - неправильно.

[nick]

Сообщение от msk01

nick, ты делаешь неправильно.
Если тебе так хочется выдавать разный контент по юзер-агенту, нужно делать разные страницы.
site.com/about/?lang=ru
site.com/about/?lang=en
Если к тебе приходят на site.com/about/, то определяешь язык и перекидываешь либо на первый урл, либо на второй. Выдавать же страницу /about/ с разными данными для разных UA - неправильно.

Я где-то писал, что подменяю контент? Нет, 3 раза сказал, что не подменяю, только не слышат (или не хотят).
Так и делаю, для каждого языка - своя страница, на которую перебрасывает юзера в зависимости от UA. Только почему-то робот sape считает уровень страниц неправильно. Я предположил, что он заходит на англ. версию по-умолчанию, я могу его перекинуть на русскую, если буду знать его уникальный UA. Я же не могу указать в URL площадки site.com/?lang=ru, query_string отбрасывает. Не нужен мне его UA, если бы уровень страниц считал правильно.
Кому-то взбрело вести речь про каккинг и засраннинг, задолбало повторять, что не занимаюсь этим дерьмом.

[sEXEcutor]

Сообщение от nick

Я где-то писал, что подменяю контент? Нет, 3 раза сказал, что не подменяю, только не слышат (или не хотят).
Так и делаю, для каждого языка - своя страница, на которую перебрасывает юзера в зависимости от UA. Только почему-то робот sape считает уровень страниц неправильно. Я предположил, что он заходит на англ. версию по-умолчанию, я могу его перекинуть на русскую, если буду знать его уникальный UA. Я же не могу указать в URL площадки site.com/?lang=ru, query_string отбрасывает. Не нужен мне его UA, если бы уровень страниц считал правильно.
Кому-то взбрело вести речь про каккинг и засраннинг, задолбало повторять, что не занимаюсь этим дерьмом.

Проследите, когда на ваш сайт заходит робот и определите IP. Если он одинаковый - вы знаете, что делать.
Администрация же вряд ли пойдет на какую-то идентификацию робота, т.к. ушлые ВМ повально начнут подменять контент.

[mastermind]

Сообщение от sEXEcutor

... ушлые ВМ повально начнут подменять контент.

По непроверенным (пока) мной "слухам" в одной системе так и делают :(.

Может показаться что брокер на букву S верх совершенства, к сожалению это не так.
Если вы будет рекламодателем у этого брокера, то приготовтесь вручную разбирать все сайты, 90% и это не шутка (опять может только мне так везет) используют всевозможные способы обмана своих же рекламодателей, тут тебе и ноуиндекс и ноуфоллоу и т.д..

Это на форуме 3х буквенного брокера.
Насчёт 90% это он загнул.
Кинулся проверять на индексацию ссылки свои:
ориентировочно 10-%15% по каким то причинам до сих пор не проиндексировалось (глюк поисковика Я? Хз). Удалил в Бан эти сайты (до 23 числа прошлого месяца).

[Alexey]

Народ.. Очнитесь... Сходите на Форум (forum.searchengines.ru если кто не знает) и откопайте топики про автоопределение языка. Это самый что ни на есть белый клоакинг, никто за него не банит и не собирается.

Более того, эти заголовки СПЕЦИАЛЬНО для этого и придумывались. Иначе зачем же нужен тот самый HTTP_ACCEPT_LANGUAGE??

[sEXEcutor]

Сообщение от Alexey

Народ.. Очнитесь... Сходите на Форум (forum.searchengines.ru если кто не знает) и откопайте топики про автоопределение языка. Это самый что ни на есть белый клоакинг, никто за него не банит и не собирается.

Более того, эти заголовки СПЕЦИАЛЬНО для этого и придумывались. Иначе зачем же нужен тот самый HTTP_ACCEPT_LANGUAGE??

Да никто и не говорит, что это плохо. Сам так делаю :)
Вопрос в том, как это сделать без идентификации робота.