Будет ли средство от "самых умных" ВМ?

[sdvv]

Будут бота по IP палить. Лично я достаточно легко напишу алгоритм, который будет палить IP всех БОТОВ а потом выделить из этих IP ов IPы яндекса/гугля дело техники... Думаю что хорошо подумав напишу алгоритм который будет палить конкретно бота сапы, если только у сапы не будет больше диапазонов IPов чем у меня страниц со ссылками на всех сайтах....

А что тут думать-то?
Текущий механизм сапы такой, что клиенту отдаются адреса роботов. Это нужно для выведения контрольного кода при индексации.
Даже если роботы индексации и проверки - разные приложения, они должны стоять на разных адресах, что имхо несколько накладно.
И скрывать адреса проверяльщиков - геморойно в поддержке юзеров.

Сапе добавилось геммороя. Вот уж странные люди, по честному работать ВЫГОДНЕЙ ИМХО.

[mman]

На самом деле робота-чекера, которого не вычислить сделать не так сложно.
Он должен работать на мозиловском движке и полностью повторять работу браузера обычного посетителя. Т.е. грузить страницу полностью со всеми элементами, выполнять JS при необходимости и т.д... Ну и похождения тоже должны быть не с интервалом в 20-30 секунд, а рандомные. Тогда для чекеров будет достаточно 10 IP. И ни один клоакер не сможет его обнаружить.

[Kent]

mman я вычислю...

[Алексей Барыкин]

mman я вычислю...

К 10-ти IP добавится 11-й и вас запалят на недобром...

[Kent]

Алексей Барыкин я этого не делаю и делать не собираю ) ... просто
1.Вычислить можно и это не сложно ...
2.Если попалят .. то на первый раз прощают как выяснилось.
3.Я не буду бота сапы вычислять ) зачем.. когда можно вычислить боты поисковикоы и им код не показывать..
4.На серьезном проекте это не выгодно делать .. так как будет большая текучка.. а на дорах бесполезно тк там и так текучка дай дорогу только

[shr]

Сообщение от mman

На самом деле робота-чекера, которого не вычислить сделать не так сложно.
Он должен работать на мозиловском движке и полностью повторять работу браузера обычного посетителя. Т.е. грузить страницу полностью со всеми элементами, выполнять JS при необходимости и т.д... Ну и похождения тоже должны быть не с интервалом в 20-30 секунд, а рандомные. Тогда для чекеров будет достаточно 10 IP. И ни один клоакер не сможет его обнаружить.

при таком методе проверка затянется очень сильно... вариант с клиентом у О выглядит пооптимальнее

[Andrej]

Еще попадались такие URL, что если УРЛ со слешем на конце типа http://site.ru/laaa/bbb/ то появляются одни ссылки, если урл без слеша, типа http://site.ru/laaa/bbb то ссылки другие
Тоесть, во первых обман на количество внешних ссылок на страницу

Во вторых, поскольку ссылка с главной только на УРЛ без слеша, то ссылки на урлах со слешем в пролете....

потом, сайт с корня открываешь, тоесть вводиш http://site.ru/ сразу переадресация на http://site.ru/index.cgi/ и ссылок не видно, если слеш убираешь в конце, тоесть http://site.ru/index.cgi, то ссылки появляются...

я битый час с тем сайтом возился, потом в гбл отправил, сейчас уже и не помню его...

теперь все ссылки перед покупкой проверяю очень тчательно, в том числе со слешем и без, если это имеет место... благо много не беру и беру только руками и дорогие...

[mman]

mman я вычислю...

Каким образом? Запрашивая whois ip каждого посетителя?
Или периодически подсовывая какуюнибудь капчу?

[Kent]

mman
можно капчу ... а можно и по поведению. НО как я уже писал

3.Я не буду бота сапы вычислять ) зачем.. когда можно вычислить боты поисковикоы и им код не показывать..

[mman]

3.Я не буду бота сапы вычислять ) зачем.. когда можно вычислить боты поисковикоы и им код не показывать.

Kent, я это же писал еще на первой странице

А смысл обманывать роботов сапы, если можно показывать ссылки всем, кроме поисковиков?

Их я и имел ввиду. В смысле если прижмет - они сделают.
Капча не поднимет популярности ресурсу. Лично я пошлю его лесом сразу. А поисковики могут просто отправлять в бан.
А вот по поведению вычислить не получится. По крайней мере я писал ботов, которых никто не смог вычислить и не думаю, что вам бы удалось.