Ссылки в Errore

[Hanapi]

Сообщение от FreeDen

Ну что пропали эрроры???

В том то и дело что нельзя узнать все IP, приходится самим вычислять.
А сделано это для того, что бы некоторые гавнюки не обманывали систему! Реально не размещая ссылок на сайте, но роботам говорить что все ОК, ссылки на месте.

да, пропали
скрыть айпишники массовых проверок - это не способ защиты, в конце концов в итоге эти айпишники все таки вычислить можно, а значит и способ защиты не действенный. Как вариант, для защиты от обмана можно использовать следующую схему:
1) список ИП для массовых проверок, с которых идет рекурсивная проверка всех ссылок
2) N штук уникальных нигде не засвеченных ИП, с которых идет ВЫБОРОЧНАЯ штучная проверка части ссылок сайта.

Например: на сайте размещено 1000 ссылок. Все 1000 ссылок проверяется с официальных ИП в штатном режиме. После окончания работы штатных ИП в дело включаются скрытые ИП, которые из 1000 ссылок отбирают, например, 10/100 и неспеша, с приличными задержками между запросами и скрывшись под левыми юзерагентами (иначе определить в них роботов не составит труда, или автоматом забанит, как это у меня происходит) проверяют площадки на фейк. В случае обнаружения не соответствия результатов основной и скрытой проверок - сайт на ручную модерацию, с последующим наказанием, в случае обнаружения факта обмана. Ну это так, сильно утрированно, просто отмечаю направление для мыслей..

[Crauler]

Ссылки размещены, но статус ERROR. При этом ссылки есть на сайте.
ID: 521894, 500957
Host прописан. Проблеме уже больше 2-х недель - писал об этом как уезжал в отпуск, вернулся - глухо.

[homa]

Пользуюсь Sape уже не первый год. ID площадки 75366. Хостинг не менял. В течение последних нескольких недель на одном из сайтов ссылки периодически падают в Error (раз в день или раз в 2 дня), с формулировкой "страница не отвечает". Но страница отвечает 100%. При чём на одном аккаунте у хостера у меня висит 2 сайта (один как дополнительный домен). Sape второй сайт видит всегда, а вот первый периодически выдаёт Error. IP у сайтов один и тот же, оба сайта доступны. Проблема явно у Sape.

Чего делать-то? Бабки-то теряю, оптимизаторы замораживают URL!

[daillond]

Cначало было при проверке в 5-6 часов - все ссылки в error со статусом -"страница не отвечает". Хостер добавил в белый лист ip, которые дал Avelon. Теперь при проверке в 5-6 часов - все ссылки в error со статусом - "ссылка не найдена на странице или размещена вне тегов «body» или «html»". Что может быть? Почему именно утром? У кого-нибудь было так?

[zhegloff]

Сообщение от daillond

Что может быть? Почему именно утром? У кого-нибудь было так?

http://forum.sape.ru/showthread.php?t=31573

[Avelon]

Сообщение от homa

Пользуюсь Sape уже не первый год. ID площадки 75366. Хостинг не менял. В течение последних нескольких недель на одном из сайтов ссылки периодически падают в Error (раз в день или раз в 2 дня), с формулировкой "страница не отвечает". Но страница отвечает 100%. При чём на одном аккаунте у хостера у меня висит 2 сайта (один как дополнительный домен). Sape второй сайт видит всегда, а вот первый периодически выдаёт Error. IP у сайтов один и тот же, оба сайта доступны. Проблема явно у Sape.

Чего делать-то? Бабки-то теряю, оптимизаторы замораживают URL!

перепроверка у вас нормально все находит

Добавлено через 4 минуты

Сообщение от Crauler

Ссылки размещены, но статус ERROR. При этом ссылки есть на сайте.
ID: 521894, 500957
Host прописан. Проблеме уже больше 2-х недель - писал об этом как уезжал в отпуск, вернулся - глухо.

Ссылка "********** телефону" размещена на странице http://***********/index.php?page=200 и указывает на http://www.afe******

а ссылок то нету на сайте вообще. посмотрел один сайт - дальше не стал

Добавлено через 2 минуты

Сообщение от olegv63

Три дня на сайте 99562 все ссылки ушли в эррор, полгода площадка работала без проблем.
Ссылки отображаются, если удалить Links.db то востанавливается как было.
Все ноиндексы удалил, писал хостеру - не банили IP.
Пишу в ТП не кто не отвечает, писал на форуме тоже не какого внимания
А ссылки висят и за них денег не платят, еще пару дней и все ссылки удалят.

так у вас проблема с отображением, прописывайте хост

Добавлено через 34 секунды

Сообщение от newkurs

Обнаружил интересную закономерность: все ссылки, которые стоят после загрузки Бегуна - частенько уходят в error. Менял местами, ставил в разные места - всегда после Бегуна ссылки в error.

скорее всего некорректно закрыт какойто тег

Добавлено через 33 секунды

Сообщение от Krokus

Как это так? А почему я ни на одном links.db этих ботов ни разу не видел. Они что по ночам так тайно проверяют что в links.db не попадают?

мы не обязаны вам сообщать как и что мы проверяем.

Добавлено через 30 секунд

Сообщение от Hanapi

да, пропали
скрыть айпишники массовых проверок - это не способ защиты, в конце концов в итоге эти айпишники все таки вычислить можно, а значит и способ защиты не действенный. Как вариант, для защиты от обмана можно использовать следующую схему:
1) список ИП для массовых проверок, с которых идет рекурсивная проверка всех ссылок
2) N штук уникальных нигде не засвеченных ИП, с которых идет ВЫБОРОЧНАЯ штучная проверка части ссылок сайта.

Например: на сайте размещено 1000 ссылок. Все 1000 ссылок проверяется с официальных ИП в штатном режиме. После окончания работы штатных ИП в дело включаются скрытые ИП, которые из 1000 ссылок отбирают, например, 10/100 и неспеша, с приличными задержками между запросами и скрывшись под левыми юзерагентами (иначе определить в них роботов не составит труда, или автоматом забанит, как это у меня происходит) проверяют площадки на фейк. В случае обнаружения не соответствия результатов основной и скрытой проверок - сайт на ручную модерацию, с последующим наказанием, в случае обнаружения факта обмана. Ну это так, сильно утрированно, просто отмечаю направление для мыслей..

согласен, это будет делаться

[Crauler]

Сообщение от Avelon

перепроверка у вас нормально все находит

Ссылка "********** телефону" размещена на странице http://***********/index.php?page=200 и указывает на http://www.afe******

а ссылок то нету на сайте вообще. посмотрел один сайт - дальше не стал

Страница:
http://simplen****.**.*a/index.php?newsid=1951 выжимной подшипник expressorder.ru
А ссылка в ERROR, хотя и есть!

По поводу
http://all***.***.*a/index.php?page=200 - тут вообще не понятно, т.к. ссылки то появляюются, то исчезают (тогда links.db 240 байт)!

[zhegloff]

Crauler, хост пропишите.

[Avelon]

Сообщение от Crauler

Страница:
http://simplen****.**.*a/index.php?newsid=1951 выжимной подшипник expressorder.ru
А ссылка в ERROR, хотя и есть!

По поводу
http://all***.***.*a/index.php?page=200 - тут вообще не понятно, т.к. ссылки то появляюются, то исчезают (тогда links.db 240 байт)!

смотрите faq про ерроры http://www.sape.ru/faq.php?q_id=259

[Hanapi]

Сообщение от Hanapi

да, пропали

сегодня ночью опять все ссылки ушли в эррор.
единственный ИП который еще остался заблоченным, это 93.191.15.81, но с него не было вообще трафика:
# ipfw show 22 | grep 93.191.15.81
00022 0 0 deny ip from 93.191.15.81 to any
все остальные в белом списке:
# cat /etc/firewall.whitelist.conf
217.107.36.73
217.107.36.132
81.177.144.46
87.242.74.101
80.251.136.38
93.191.15.77

пошел проверять links.db, а там 240 байт.. (( Люди, объясните мне, может я чего не понимаю, хоть сам программер - почему нельзя автоматизировать процесс проверки файла links.db с тем, чтобы не приходилось его вручную удалять? ведь это так просто - после обновления ссылочной базы производить еще ее проверку после этого...