Форум SAPE.RU

Форум SAPE.RU (http://forum.sape.ru/index.php)
-   Общие вопросы оптимизации (http://forum.sape.ru/forumdisplay.php?f=33)
-   -   Баны Яндекса и утилита для работы с sape.ru (http://forum.sape.ru/showthread.php?t=15293)

craziman 06.07.2008 19:31

Баны Яндекса и утилита для работы с sape.ru
 
Добрый день!
Начну издалека. Однажды при проверке индексации в Яндексе своих сайтов, с которых я продаю ссылки в Сапе, обнаружил что некоторые cайты присутствуют в индексе только в количестве 1 - 5 страниц. Хотя совсем недавно было более 200 страниц. На вопрос в службу поддержки мне пришел относительно новый стандартный ответ:

"Часть страниц, скачанных роботом, не участвует в поиске, так как алгоритмы Яндекса обнаружили среди них страницы со ссылками на ресурсы, которые раскручиваются с помощью ссылочного спама или являются поисковым спамом. Эти документы и некоторые разделы сайта, куда они входят, были автоматически понижены в результатах поиска или исключены из них, так как поисковый спам ухудшает качество поиска.
Чтобы вернуть страницы в поиск, уберите, пожалуйста, ссылки на подозрительные ресурсы или, если речь идет о немодерируемом разделе сайта, обрамляйте ссылки на внешние сайты тегом . Если изменения будут внесены, сайт вернется в поиск автоматически. "


Я конечно постарался вычислить те самые "ресурсы", отказал каким то рекламодателям, вообщем принял меры, но уже несколько месяцев а воз и ныне там: все те же 1-5 страниц в индексе. Как следствие - далее последовало попадание в черные списки оптимизаторов. Естественно доходы от продажи ссылок на этих сайтах сразу сократились.

Почитав это форум и форум SE сделал несколько выводов:
- Если попасть под такой "полубан" - то восстанавливаться крайне тяжело.
- На автоматическом режиме продавать ссылки по меньшей мере опасно
- Фильтровать ссылки на предмет поискового спама. Ссылкам "Цена славного шкафа купе. Цена незабвенного шкафа купе. Цена замечательного шкафа купе." отказывать. Принимать предложения только с человеческим текстом.
- Использовать функционал sape.ru в плане списка "стоп слов"


У меня в sape.ru несколько аккаунтов - так легче отслеживать сайты. После того как выводы были сделаны, мне приходилось каждый день заходить на все свои аккаунты, заходить на страницу предложений и фильтровать предложения. Не знаю как дела обстоят у других, но при моих относительно высоких ценах (относительно "средних по системе") предложения мне приходят сотнями. В каждом аккаунте просмотреть весь список предложений, определить "спамность" каждой ссылки, проставить галочки, выбрать нужные варианты ответов и нажать несколько раз кнопку, при этом ещё ждать загрузки страниц - вообщем все это стало отнимать столь драгоценное время. Я пришел к выводу что это довольно рутинная работа, которая подлежит автоматизации. И была написана специальная утилита.


Описание утилиты
Написанная утилита превращает меня в наблюдателя, делает всю вышеописанную работу сама и главное - экономит время.
Алгоритм работы состоит из 3 шагов
- Шаг 1: Нажимаем кнопку "Собрать предложения". Программа проходит по всем аккаунтам, заходит на страницу предложений, парсит её и записывает все предложения в таблицу
- Шаг 2: нажимаем кнопку "Проставить ответы". Программа проходит по всем предложениям всех аккаунтов, определяет "спамность" ссылки (что такое "спамность ссылки" - см. ниже), и проставляет согласие- если ссылка человеческая, и отказ по выбранной причине если ссылка является поисковым спамом (я ставлю причину - "текст ссылки не подходит")
- Шаг 3: Нажимаем кнопку "Отправить ответы". Программа вновь проходит по всем аккаунтам, проставляет ответы, нажимает кнопку "Подтвердить"

Как показывает практика, процентов 5 - 10 всех предложений - откровенный спам.

Итого вся работа свелась к 3 кликам мышки.

"Спамность ссылки".
Теперь что такое "спамность ссылки" в моём понимании.
"Спамность ссылки" - максимальное число повторений одного и того же слова.
Тут все просто. Берем вышенаписанный пример: "Цена славного шкафа купе. Цена незабвенного шкафа купе. Цена замечательного шкафа купе." Слова "Цена", "шкафа", "купе" встречаются по 3 раза. Остальные слова - по одному разу. Следовательно спамность ссылки - "3 3 3 1 1 1". И сдаётся мне что за такую ссылку можно попасть под вышеописанный бан. Должен сказать что однокоренные слова программа считает разными словами. Т.е. "шкафа" и "шкаф" - разные слова.
Вот, кстати, статья в тему: http://sapehelp.ru/blog/anchors-2-5-2008/
Ну либо на здешнем форуме посмотрите - масса тем о выпадении сайтов.


В утилите на втором шаге пользователь задаёт максимально
допустимую спамность. Т.е. если максимально допустивая спамность = 2, то ссылки в которых одно и то же слово встречается более 2 раз - получают отказы.

Ожидаю что многие не согласятся с моим алгоритмом определения "спамности ссылки". Возможно некторые применяют какие то другие принципы при отборе ссылок. Очень хотелось бы услышать эти принципы здесь.

Безопасность.
Специально для тех кому будет казаться, что программа
  • Сливает логины и пароли
  • Выполняет какие то плохие действия
  • Пытается дестабилизировать экономическую обстановку в России и стремится к мировому господству:)
Отвечаю:
  • Нет, не сливает
  • Нет, не выполняет
  • Нет, не пытается и не стремиться

Для тех кто живет по принципу "Доверяй, но проверяй" пишу один из возможных способов проверки:
Ставим файервол (например OutPost), закрываем абсолютно все порты, запускаем программу, нажимаем кнопку "Собрать предложения". Файервол пишет: "программа sape.exe пытается пролезть по http на сайт sape.ru". Если она еще куда то полезет - файервол обязательно скажет.

Обновления
Недостаток программы один: она привязана к html интерфейсу Сапы.
Соответственно если меняются какие либо из опорных элементов - программа перестаёт работать.
Чтобы не менять саму программу все названия html элементов вынесены в отдельный ини-файл. Т.е. названия кнопок, чекбоксов, названия полей ввода, регулярное выражение которым парситься страница предложений и его расшифровка - все записано в этом ини-файле. Последнюю версию Вы всегда можете скачать с этой страницы. Я работаю с Sape.ru давно и работать собираюсь еще долго. Запускаю эту утилиту каждое утро, и по идее первым должен увидеть какие либо изменения. Поэтому если в интерфейсе что то меняется, я оперативно меняю инифайл и выкладываю его в общедоступное место.

Что касается обновления функционала. Если будет интерес к программе среди народных масс, и если будут какие то пожелания по дополнительной функциональности, я постараюсь объединить эти пожелания и выпущу новую версию.

Резюме: утилита рассчитана на тех кто продаёт ссылки в ручном режиме.

Итак, качаем демо версию, знакомимся, пишем аргументированную критику, свои мысли. Особенно хотелось бы услышать принципы, по которым Вы делаете отбор предложений.

WebFX 06.07.2008 19:37

Тема интересная. Где гарантия что данная программа не является бэкдором?

craziman 06.07.2008 19:45

Цитата:

Сообщение от WebFX (Сообщение 191658)
Тема интересная. Где гарантия что данная программа не является бэкдором?

Я написал:
Программа не сливает логины и пароли и вообще не делает ничего плохого. Насчет гарантии: ставите файервол, и смотрите куда ходит утилита. Утилита ходит только на sape.ru по протоколу http. И все. Проверте её антивирусом, придумайте свой способ проверки и обязательно расскажите мне:). Я их здесь опубликую.

P.S. Если бы я хотел сделать бекдор - я бы раздавал её бесплатно.

Администрация 6-ой палаты 06.07.2008 19:45

Цитата:

Сообщение от WebFX (Сообщение 191658)
Тема интересная. Где гарантия что данная программа не является бэкдором?

попросить проверить код друга-программиста...

WebFX 06.07.2008 19:47

Цитата:

Сообщение от craziman (Сообщение 191665)
Программа не сливает логины и пароли и вообще не делает ничего плохого

Ночью потестю.
Ориентировочная цена в будущем?

Smok 06.07.2008 19:54

Цитата:

Сообщение от craziman (Сообщение 191655)
Не знаю как дела обстоят у других, но при моих относительно высоких ценах (относительно "средних по системе") предложения мне приходят сотнями.

Вот тут то Вы и спалились!
:)
НУ НЕТУ ЩАС ТАКИХ ЛЮДЕЙ НЕТУ!!!
Щас 80-90% плачутся, что заявок вообще нет, а Вы просто *Счастливчик*?!
:)
p.s.
Щас прога может быть и чистенькая, а через пару месяцев в одном из апдейтов проги добавите что нить весьма *интересное и полезное*.
;)

craziman 06.07.2008 19:57

Цитата:

Сообщение от WebFX (Сообщение 191667)
Ночью потестю.
Ориентировочная цена в будущем?

Полное описание здесь.
Стоимость полнофункциональной версии 200 WMR.

Протестите обязательно, результаты напишите здесь. За объективную оценку - с меня пиво:).

Также интересуют принципы по которым проходит отбор заявок (кроме придуманного мной), чтобы их реализовать.

craziman 06.07.2008 20:05

Цитата:

Сообщение от Smok (Сообщение 191672)
Вот тут то Вы и спалились!
:)
НУ НЕТУ ЩАС ТАКИХ ЛЮДЕЙ НЕТУ!!!
Щас 80-90% плачутся, что заявок вообще нет, а Вы просто *Счастливчик*?!
:)

Согласен. У меня такая ситуация после последнего обновления ТИЦ. Т.е. после обновления шквал заявок, затем уже дня три - глухо. Думаю что явление временное. Хотя фиг знает....

Цитата:

Сообщение от Smok (Сообщение 191672)
p.s.
Щас прога может быть и чистенькая, а через пару месяцев в одном из апдейтов проги добавите что нить весьма *интересное и полезное*.
;)

Обновление планируется одно. Проверяется так же как и первая версия.
Можно кстати сниффером посмотреть что и куда отправляет утилита (наверное, так как сниферами не пользовался). Фаервол опять всю информацию выдает. Просто создаете правило: sape.exe можно ходить только на sape.ru по http. Как ещё убедить???:)

Добавлено через 3 минуты
Меня интересует - есть ли необходимость в такой утилите, или только меня одного напрягает это пробегание глазами все предложений, проставление галочек и нажатие кнопок?

Из тех сайтов на которых я продаю ссылки вручную - еще ни одного не выпало. Так что считаю ручной режим - мера эффективная.

Ufaweb 06.07.2008 20:13

Тема интересная :) SSL будет поддерживать?
Цитата:

Файервол пишет: "программа sape.exe пытается пролезть по http на сайт sape.ru". Если она еще куда то полезет - файервол обязательно скажет.
Я конечно не в чем Вас не обвиняю и склонен верить в Вашу честность, но можно <чисто теоретически :)> создать в панельке оптимайзера проект, купить ссылку с анкором логин:пароль на своем сайте, после чего удалить проект. Тут фаервол сильно не спасет :D

swm 06.07.2008 20:22

Я бы купил, руками тяжело чистить


Часовой пояс GMT +3, время: 12:29.

Работает на vBulletin® версия 3.8.7.
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Перевод: zCarot
SAPE.RU — система купли-продажи ссылок с главных и внутренних страниц сайтов.