Проверка наличия ссылок на сайте

Alex_K · 25.02.2009, 21:19

Меня интересует как Сапе проверяет, есть ли ссылки на сайте, то есть на конкретной страничке. Вопрос это очень важен как для меня так и для всего ресурса и всех остальных. От ответов на вопросы будут и предложения. Так вот вопросы

1. Бот Сапе считывает каждый день все странички на наличие там ссылок?
2. Какой у бота HTTP_USER_AGENT
3. Ищет он каждую ссылку или все 5 сразу с разделителями которые указанные в САПЕ в настройках площадки "Разделитель ссылок" (там стоит точка с пробелом)?
4. можно ли делать замену на своем сайте вот этого "Разделитель ссылок" на свой текст. Найдет ли бот эти ссылки?
5. можно ли в "Разделитель ссылок" ставить HTML, JS?
6. можно ли менять содержание Анкора например создания вида ручного вписывания, при том что URL остается тот который был?

Возникли вопросы на основании сайта http://venality.name/index.htm

Поскольку ссылки так легко определяются отсюда и идеи ухода от шаблонизации, от математического вычисления что это продажные ссылки. Суть в том что простой разделитель ссылок уже устарел. Нужна динамика, создание вида ручного вписывания ссылок.
Например: белый15: [первая ссылка], Большой 7: [вторая ссылка], веселый 22: [третья ссылка],...
а внутри можно еще пару тегов FONT SPAN
Я понимаю что с помощью preg_match можно вычислить все, но боюсь что туда уже попадут и все остальные внешние ссылки и вычисление с помощью математики будет невозможно. Остается только искуственный интелект Платон Щукин.

zhegloff · 25.02.2009, 21:22

Цитата:

Сообщение от Alex_K

1. Бот Сапе считывает каждый день все странички на наличие там ссылок?

Да

Цитата:

Сообщение от Alex_K

2. Какой у бота HTTP_USER_AGENT

А вам зачем?

Цитата:

Сообщение от Alex_K

3. Ищет он каждую ссылку или все 5 сразу с разделителями которые указанные в САПЕ в настройках площадки "Разделитель ссылок" (там стоит точка с пробелом)?

Каждую отдельно.

Цитата:

Сообщение от Alex_K

4. можно ли делать замену на своем сайте вот этого "Разделитель ссылок" на свой текст. Найдет ли бот эти ссылки?

Можно. Можно даже ссылки по одной выводить, а между ними главы войны и мира вставлять.

Цитата:

Сообщение от Alex_K

5. можно ли в "Разделитель ссылок" ставить HTML, JS?

По идее можно.

Цитата:

Сообщение от Alex_K

6. можно ли менять содержание Анкора например создания вида ручного вписывания, при том что URL остается тот который был?

Нельзя.

Alex_K · 25.02.2009, 21:27

Ну и на том спасибо

2. Какой у бота HTTP_USER_AGENT
На всякий случай, его и так можно определить, меня все мучает вопрос почему некоторые странички попадают в ERROR, заходишь на страничку ссылки стоят, деньги не платят

Trimmer · 25.02.2009, 23:25

Сомневаюсь что этот сервис venality.name вообще работает, на проверяемую страницу не заходит, внешние определяет как 1, сколько бы их не было 0 или 5, продажность определить не может. Зато предлагает чего-то там к коду сапы добавить, с гарантией не 100%.
ps Быстро модератор прочитал и ответил на 6 вопросов за 3 минуты с цитатами, я бы так не смог, профи.

Alex_K · 26.02.2009, 04:31

Сервис то работает, только я их алгоритма не понял, менял вручную для теста, все равно видит, такое впечатление что он просто знает какие URL покупные их то я поменять не могу. Может и врут но я сомневаюсь, Гугль и Яндекс как-то опредиляют продажная страничка или нет. Да и не дураки там сидят, если поставить задачу то вычислить продажную ссылку можно. О чем и говорят падения ПР в Гугле.

Заметил одну закономерность, если поставить 2 одинаковые ссылки то и venality.name и поисковики не скажут что это продажная ссылка. Логично какой же дурак поставит себе две продажные ссылки.

chahlic · 26.02.2009, 04:39

Цитата:

Сообщение от Alex_K

Сервис то работает, только я их алгоритма не понял, менял вручную для теста, все равно видит, такое впечатление что он просто знает какие URL покупные их то я поменять не могу. Может и врут но я сомневаюсь, Гугль и Яндекс как-то опредиляют продажная страничка или нет. Да и не дураки там сидят, если поставить задачу то вычислить продажную ссылку можно. О чем и говорят падения ПР в Гугле.

Заметил одну закономерность, если поставить 2 одинаковые ссылки то и venality.name и поисковики не скажут что это продажная ссылка. Логично какой же дурак поставит себе две продажные ссылки.

Насколько я в курсе (да и на форуме эта тема писалась), способ от venality.name работает только для статичных страниц...

klerick · 26.02.2009, 08:37

Идея с двумя ссылками очень интересна. Полагаю, можно воспользоваться, но вопрос в том, как на это отреагирует бот сапы?
Если ничего не скажет плохого, то советую использовать.

А venality использует следующиу метод:
входит робот и получает обычную страницу, затем на эту же страницу он входит с добавлением параметра какого-нибудь типа site.ru/straniza.php?abrakadabra=981jiqwehi83, затем эти 2 страницы сравниваются. Если ссылки не продажные, то они останутся, в противном случае код сапы считает, что страницы различные и их не выводит.
Поэтому они предлагают некоторое дополнение к коду сапы.
Если его немного подредактировать, то можно использовать успешно (сам пользуюсь). Вот только не стоит о других методах защиты забывать, поскольку, видимо, другие алгоритмы поисковики тоже используют.

solmir22 · 01.03.2009, 14:46

Цитата:

Сообщение от Alex_K

... меня все мучает вопрос почему некоторые странички попадают в ERROR, заходишь на страничку ссылки стоят, деньги не платят

Возможно в момент посещения ботом сапы вашего сайта, хостинг лежал и сайт был недоступен, а когда сайт посещали вы сайт был уже в порядке.

25.02.2009, 21:19	#1
Alex_K Новичок Регистрация: 27.01.2009 Сообщений: 5 Вес репутации: 0	Проверка наличия ссылок на сайте Меня интересует как Сапе проверяет, есть ли ссылки на сайте, то есть на конкретной страничке. Вопрос это очень важен как для меня так и для всего ресурса и всех остальных. От ответов на вопросы будут и предложения. Так вот вопросы 1. Бот Сапе считывает каждый день все странички на наличие там ссылок? 2. Какой у бота HTTP_USER_AGENT 3. Ищет он каждую ссылку или все 5 сразу с разделителями которые указанные в САПЕ в настройках площадки "Разделитель ссылок" (там стоит точка с пробелом)? 4. можно ли делать замену на своем сайте вот этого "Разделитель ссылок" на свой текст. Найдет ли бот эти ссылки? 5. можно ли в "Разделитель ссылок" ставить HTML, JS? 6. можно ли менять содержание Анкора например создания вида ручного вписывания, при том что URL остается тот который был? Возникли вопросы на основании сайта http://venality.name/index.htm Поскольку ссылки так легко определяются отсюда и идеи ухода от шаблонизации, от математического вычисления что это продажные ссылки. Суть в том что простой разделитель ссылок уже устарел. Нужна динамика, создание вида ручного вписывания ссылок. Например: белый15: [первая ссылка], Большой 7: [вторая ссылка], веселый 22: [третья ссылка],... а внутри можно еще пару тегов FONT SPAN Я понимаю что с помощью preg_match можно вычислить все, но боюсь что туда уже попадут и все остальные внешние ссылки и вычисление с помощью математики будет невозможно. Остается только искуственный интелект Платон Щукин.

Похожие темы
Тема	Автор	Раздел	Ответов	Последнее сообщение
Проверка ссылок	dema501	Вопросы по работе системы	11	09.11.2008 04:08
Проверка ссылок	Pribytok	Вопросы по работе системы	28	24.04.2008 17:35
индикатор наличия нов. сообщений и пр-ка индексации ссылок..	Sergo1966	Пожелания пользователей системы	8	23.04.2008 12:51
Дополнение к автопроверке наличия ссылок	Saruman	Пожелания пользователей системы	2	17.08.2007 14:37
Проверка наличия размещенных ссылок	vsteers	Вопросы по работе системы	4	07.07.2007 16:06

25.02.2009, 21:27	#3
Alex_K Новичок Регистрация: 27.01.2009 Сообщений: 5 Вес репутации: 0	Ну и на том спасибо 2. Какой у бота HTTP_USER_AGENT На всякий случай, его и так можно определить, меня все мучает вопрос почему некоторые странички попадают в ERROR, заходишь на страничку ссылки стоят, деньги не платят

25.02.2009, 23:25	#4
Trimmer Специалист Регистрация: 14.02.2009 Сообщений: 263 Вес репутации: 195	Сомневаюсь что этот сервис venality.name вообще работает, на проверяемую страницу не заходит, внешние определяет как 1, сколько бы их не было 0 или 5, продажность определить не может. Зато предлагает чего-то там к коду сапы добавить, с гарантией не 100%. ps Быстро модератор прочитал и ответил на 6 вопросов за 3 минуты с цитатами, я бы так не смог, профи.

26.02.2009, 04:31	#5
Alex_K Новичок Регистрация: 27.01.2009 Сообщений: 5 Вес репутации: 0	Сервис то работает, только я их алгоритма не понял, менял вручную для теста, все равно видит, такое впечатление что он просто знает какие URL покупные их то я поменять не могу. Может и врут но я сомневаюсь, Гугль и Яндекс как-то опредиляют продажная страничка или нет. Да и не дураки там сидят, если поставить задачу то вычислить продажную ссылку можно. О чем и говорят падения ПР в Гугле. Заметил одну закономерность, если поставить 2 одинаковые ссылки то и venality.name и поисковики не скажут что это продажная ссылка. Логично какой же дурак поставит себе две продажные ссылки.

26.02.2009, 08:37	#7
klerick Новичок Регистрация: 17.02.2009 Сообщений: 5 Вес репутации: 0	Идея с двумя ссылками очень интересна. Полагаю, можно воспользоваться, но вопрос в том, как на это отреагирует бот сапы? Если ничего не скажет плохого, то советую использовать. А venality использует следующиу метод: входит робот и получает обычную страницу, затем на эту же страницу он входит с добавлением параметра какого-нибудь типа site.ru/straniza.php?abrakadabra=981jiqwehi83, затем эти 2 страницы сравниваются. Если ссылки не продажные, то они останутся, в противном случае код сапы считает, что страницы различные и их не выводит. Поэтому они предлагают некоторое дополнение к коду сапы. Если его немного подредактировать, то можно использовать успешно (сам пользуюсь). Вот только не стоит о других методах защиты забывать, поскольку, видимо, другие алгоритмы поисковики тоже используют.