Защита ссылок

[Kent]

Sasa, Хочу сразу предупредить.. вы приняли мои слова в несколько ином ключе.. так сказать напряженном.. я на самом деле ничего напряженного против вас не имел .. я даже догадываюсь.. что привело к таакому результату.. скорее всего это слово "заморачиваться".. я не имел ввиду что то обидное или оскорбительное под этим словом.. впредь постараюсь более вдумчиво подходить к ответам на ваши вопросы ...

1. Зачем заморачиваться вообще? .. тема обсуждалась не раз.. итого .. - именно таким образом Я не будет отлавливать ссылки 99% ... есть более эффективные методы.

Читать так.
Прятать ссылки таким образом не имеет большого смысла .. => если сложно переделывать.. то и смысла переделывать движек нет.
Нет смысла переделывать потому что..
1. index.php?mod=i&cat=2 и index.php?cat=2&mod=i - формально разные страницы .. тоже самое касается и добавление всяких безумных знаков вопроса в конце и тд и тп .. - это разные страницы и соответственно разница между ними не есть основание считать что ссылки на одной из этих разных страниц -продажные.
2. Ни каких мощьностей не хватит чтобы сравнивать каждую страницу в индексе с ее производной +? тем более переставлять параметры местами.
3. Любая ПС имеет огромное преимущество перед ВМ и имя этой преемуществованности - статистика ... по статистике можно отловить продажные страницы и сайты.. что не совсем законно и официально по этому афишироваться борьба с продажными ссылками ИМХО не будет.

2.Если уж так припекло.. то поставьте ЧПУ на продажные страницы и когда ЧПУ проиндексится подайте заявку на переиндексацию..

Читать так:
Если не смотря на все приведенные выше доводы вы считаете что защититься всетки нужно .. то поставьте ЧПУ на продажные страницы и когда ЧПУ проиндексится подайте заявку на переиндексацию..

Далее

мне казалось, что мы тут не столько заморачиваемся сколько обсуждаем

я поститал что вдаваться в подробности не имеет смысла в данной теме по двум причинам..
1.ТС поднимал тему не для обсуждения методов борбы и в начале темы ему ответили на его вопросы фактически..
2. Я указал в одном из постов Вам.. что такая тема поднимлась и все доводы за и против много раз обмусолились .. в надежде что вы прочитаете .. ... и зададите уже конкретные вопросы..

а если не припекло или припекло но не так? тогда следует отойти и помалкивать?

Почему ? есть отдельная тема... да хоть даже эта.. я отвечаю на ваши вопросы .. вчем проблемма? .. а .. да в моем топике.. тогда так воспринимайте мой топик как итог обсуждений по данной теме в большом топике страниц на десять..

я честно стараюсь понять ваши высказывания, но пока не могу асилить, пардон

Я тоже пардоню за то что вполне возможно выражаюсь не внятно.
ну уж как умею как говориться ))
Будут вопросы задавайте ..
С уважением KentAVr.

[Sasa]

1) я думаю, что есть повод для признания ссылки "не корректной" по этому критерию, потому что в общем случае страница будет на 99% идентична с доп-параметром и без него, поскольку в ряде случаев от этого защититься возможно и не сложно , то почему бы и нет

2) это ДА, если не поручить специальному роботу заниматься только этим - ведь достаточно проверить сайт и присвоить ему "звезду"

3) бесспорно, но ведь мы как раз и говорим о косвенных признаках, облегчающих это
а статистика штука такая "неприятная"

4) конечно надо ставить чпу, но ведь Жадность не дает удалить старые ссылки (хочется и рыбку съесть и ... )
мне пока больше нравится идея "нормализации" query_string
вот только смущает возможная нагрузка на систему, надо попробовать

а тема, подобная этой, неизбежно будет подниматься, имхо, пока не наступит некая определенность, если наступит ГЫ

[WebDigger]

На мой взгляд проблема "санкций за продажные ссылки" надумана и раздута пугливыми школьниками, господа!
Можно очень долго рассуждать о том, как и с помощью чего Яша будет находить ваши кнопки "бабло" и, я уверен, чем больше вы об этом говорите, тем больше способов вы найдете. Ибо - вы умные. А надо бы быть спокойными!
ИМХО_ Яша - серьезная организация и, в отличии от вас и меня, подчиняется уставу, УКРФ и Конституции. И если мы с вами можем спокойно забить на какие-то пункты вышеперечисленных документов - Яша об этом не могёт даже мечтать. Потому как сладкий кусок всем к месту и всем нужен. А самый большой и самый сладкий кусок РуНетского пирога сейчас у Яши. И посрать, простите за выражение, ему на наши центы - крохи это все. Не барское это дело - крохи собирать.
А все их претензии по поводу "отрицательного влияния на ИХ выдачу" настолько же обоснованы, насколько обоснованы будут претензии дворника на то, что ты сбиваешь его с ритма скрипя по утрам кроватью со своей подругой, и тем самым мешаешь ему подметать двор. Это ИХ работа - бороться с такими сложностями.
И все официальные крики имеют лишь одну цель - перепугать неподготовленных мастеров и склонить их к использованию собственного ресурса по продаже тех же ссылок. Но дальше криков дело не пойдет, потому, что есть простая юридическая цепочка: сайт твоя собственность = он создан с целью прорекламировать что-то = никто не может запретить тебе распоряжаться своей собственностью по своему усмотрению, тем более, если он для этого создан = ты не нарушаешь никакого закона. ВСЁ!
Даже если ты по 10 000 баксов в месяц отгребаешь придраться к тебе можно только с одной стороны - а ты платишь налоги? Но это уже не Яшина территория.
Рецепт для нервных:
1. Зарегистрируйся в Яндекс-Каталоге (сделай его своим соучастником и ценник немного подскочит заодно)
2. Зарегистрируйся в налоговой (6% не велика сумма ради возможности жить с гордо поднятой головой)
Опять же - ИМХО. Рекомендую то, что сделал сам. Сплю сладко и много

[Vladn]

Моё мнение такое: не важно, будет ли Яндекс определять продажность ссылок с помощью GET-параметров или не будет. Допустим, я поставил ссылку в разделе "Новости" на странице номер 10, и она должна отображаться, если параметр a равен news, а параметр p равен 10. Также, она должна отображаться в том случае, если параметры идут не в том порядке или есть лишние параметры. Это не для поисковой системы Яндекс и не для любителей проверки продажности ссылки. Просто так ПРАВИЛЬНО.

Вот два кода (на Perl и на PHP), которые выполняют поставленную задачу. Вебмастер должен определить в скрипте последовательность GET-параметров, которые влияют на результат выдачи. Порядок указания параметров в скрипте важен.

Примеры обработки строки запроса для скриптов, приведённых ниже:
Вход: "?a=show&p=12&mode=0"
Выход: "?a=show&p=12&mode=0"

Вход: "?p=12&a=show&mode=0&yandex=search"
Выход: "?a=show&p=12&mode=0"

Вход: "?yandex=search"
Выход: ""

!/usr/bin/perl

$ENV{'REQUEST_URI'} = '?p=12&a=show&mode=0&yandex=search';
###

my @p = qw(a p mode); #params
my %ph; #hash for params
my $s = $ENV{'REQUEST_URI'};
foreach (@p) {
    if ($s =~ m/[\&\?]$_=([^\&]+)/) { $ph{$_} = $1; }
}
$s = '';
if (keys %ph) {
    foreach (@p) {
        if (defined($ph{$_})) {
            if ($s) { $s .= '&'; }
            $s .= $_.'='.$ph{$_};
        }
    }
    if ($s) { $s = '?'.$s; }
}
$ENV{'REQUEST_URI'} = $s;

###
print $ENV{'REQUEST_URI'};

#!/usr/bin/php
<?php

$_SERVER['REQUEST_URI'] = '?p=12&a=show&mode=0&yandex=search';
###

$p = array('a', 'p', 'mode'); #params
$ph = array(); #hash for params
$s = $_SERVER['REQUEST_URI'];
foreach ($p as $v) {
    if (preg_match('/[\&\?]'.$v.'=([^\&]+)/', $s, $m)) { $ph[$v] = $m[1]; }
}
$s = '';
if (count($ph)) {
        foreach ($p as $v) {
                if (isset($ph[$v])) {
                        if ($s) { $s .= '&'; }
                        $s .= $v.'='.$ph[$v];
                }
        }
        if ($s) { $s = '?'.$s; }
}
$_SERVER['REQUEST_URI'] = $s;

###
print $_SERVER['REQUEST_URI'];
?>

[Ank]

Также, она должна отображаться в том случае, если параметры идут не в том порядке или есть лишние параметры. Это не для поисковой системы Яндекс и не для любителей проверки продажности ссылки. Просто так ПРАВИЛЬНО.

вот такое понимание "правильности" привело в свое время к XSS.
Правильно - только одно написание, с учетом регистра и порядка следования - остальное 404 ибо попытка руками поменять параметры и найти уязвимость.

[afanas]

простите тёмного, а что такое "чпу"?

[sergbond]

ЧеловекоПонятныйУрл

Было: http://сайтнэйм/event.php?year=2008&month=03&day=25
Стало: http://сайтнэйм/events/2008/03/25

ЗЫЖ осталось написать статью - "Разумно о ЧПУ"

[afanas]

Сообщение от WebDigger

никто не может запретить тебе распоряжаться своей собственностью по своему усмотрению, тем более, если он для этого создан = ты не нарушаешь никакого закона. ВСЁ!

Нет, не всё.
Точно так же как ВМ волен ставить на своих сайтах что угодно, хоть миллион продажных ссылок, не нарушая никаких законов, ровно так же и Яша волен тасовать выдачу как ему вздумается, и в частности, отправлять неугодные сайты в самый низ - и при этом тоже НЕ НАРУШАЯ НИЧЕГО. Ибо сам поисковый сервис никому ничего не обязан, он ни в каком договоре ничего конкретного никому не обещал. Сайт вылетел из индекса? А что, где-то кто-то гарантировал что он ОБЯЗАН там всегда быть?

Хотя с основным тезисом, что угроза скорее психологическая, чем реальная, я согласен. Просто этот тезис совершенно не доказывается вышеотцитированными "юридическими" рассуждениями. А исключительно реальной конкуренцией с гуглом. Ручная борьба слишком трудоёмка, а автоматическая может вместо улучшения реально ухудшить выдачу, особенно по коммерческим запросам, и уже вроде обсуждалось почему.

[Kent]

WebDigger .. ага согласен почст что полностью.. ну просто вы уж совсем принизили значени продважных ссылок.. а так абсолютно в тему.
Sasa
1. нет формально повода нет - я повторюсь - это разные страницы. и если уж они достаточно идентичны.. то ПС их просто обязан склеить как зеркала..( впрочем я уже об этом писал)
2. даже если поручить отдельному боту .. то всеравно .. нагрузка не изменится ... а оборудование и специалисты и работы по настройки и неизбежные баги.. - это ооочеень дорого.
3. (Палю тему для яндекса) .. делаете выборку по процентовке отношения внешних сылок на сайте к внутренним.. если больше 100% .. то это каталог или ГС .. автоматом понижаем вес ссылок с данного ресурса.. если больше 70% .. то посылаете опять же автоматом .. через айпи сапы/ксапы и тд запрос на поиск площадки с таким именем.. ну если в сапе то через избранное естественно ... если сайт продает ссылки .. то нафиг его из выдачи.. и проверяем хуиз домена.. по хуизу смотрим какие сайты еще... у данрного ВМ ... можно развить мысль и дальше .. но ИМХО методов статистически у ПС много .. доказательств только мало статистика как вы сказали весчь .. такая.. но что мешает ПС нанять десять обезьян.. которые будут заходить на подозрительные сайты ?
Короче.. не будет ЯНдекс отлавливать ссылки именно таким образом .. те. через доп параметр.
4. Нормализация по трудо затратам будет такаяже как трудозатраты на ЧПУ ... тк нужно прописывать правила для каждого отдельного взятого модуля вашей системы..

Итого .. заморачиваться не стоит .. но тем не менее я на своих сайтах "защиту" поставил.. но мне проще.. у меня сайты сразу с ЧПУ всегда работают .. прото нужно было сделать чтоб на 404 страницу всех посылало ну и ответ правильный отдавал сервер..

[Kent]

Точно так же как ВМ волен ставить на своих сайтах что угодно, хоть миллион продажных ссылок, не нарушая никаких законов, ровно так же и Яша волен тасовать выдачу как ему вздумается, и в частности, отправлять неугодные сайты в самый низ - и при этом тоже НЕ НАРУШАЯ НИЧЕГО. Ибо сам поисковый сервис никому ничего не обязан, он ни в каком договоре ничего конкретного никому не обещал. Сайт вылетел из индекса? А что, где-то кто-то гарантировал что он ОБЯЗАН там всегда быть?

Абсолютно согласен