Старый 06.07.2008, 19:31   #1
Специалист
 
Аватар для craziman
 
Регистрация: 26.12.2007
Сообщений: 100
Вес репутации: 151
craziman - как роза среди колючекcraziman - как роза среди колючекcraziman - как роза среди колючекcraziman - как роза среди колючек
Exclamation Баны Яндекса и утилита для работы с sape.ru

Добрый день!
Начну издалека. Однажды при проверке индексации в Яндексе своих сайтов, с которых я продаю ссылки в Сапе, обнаружил что некоторые cайты присутствуют в индексе только в количестве 1 - 5 страниц. Хотя совсем недавно было более 200 страниц. На вопрос в службу поддержки мне пришел относительно новый стандартный ответ:

"Часть страниц, скачанных роботом, не участвует в поиске, так как алгоритмы Яндекса обнаружили среди них страницы со ссылками на ресурсы, которые раскручиваются с помощью ссылочного спама или являются поисковым спамом. Эти документы и некоторые разделы сайта, куда они входят, были автоматически понижены в результатах поиска или исключены из них, так как поисковый спам ухудшает качество поиска.
Чтобы вернуть страницы в поиск, уберите, пожалуйста, ссылки на подозрительные ресурсы или, если речь идет о немодерируемом разделе сайта, обрамляйте ссылки на внешние сайты тегом . Если изменения будут внесены, сайт вернется в поиск автоматически. "


Я конечно постарался вычислить те самые "ресурсы", отказал каким то рекламодателям, вообщем принял меры, но уже несколько месяцев а воз и ныне там: все те же 1-5 страниц в индексе. Как следствие - далее последовало попадание в черные списки оптимизаторов. Естественно доходы от продажи ссылок на этих сайтах сразу сократились.

Почитав это форум и форум SE сделал несколько выводов:
- Если попасть под такой "полубан" - то восстанавливаться крайне тяжело.
- На автоматическом режиме продавать ссылки по меньшей мере опасно
- Фильтровать ссылки на предмет поискового спама. Ссылкам "Цена славного шкафа купе. Цена незабвенного шкафа купе. Цена замечательного шкафа купе." отказывать. Принимать предложения только с человеческим текстом.
- Использовать функционал sape.ru в плане списка "стоп слов"


У меня в sape.ru несколько аккаунтов - так легче отслеживать сайты. После того как выводы были сделаны, мне приходилось каждый день заходить на все свои аккаунты, заходить на страницу предложений и фильтровать предложения. Не знаю как дела обстоят у других, но при моих относительно высоких ценах (относительно "средних по системе") предложения мне приходят сотнями. В каждом аккаунте просмотреть весь список предложений, определить "спамность" каждой ссылки, проставить галочки, выбрать нужные варианты ответов и нажать несколько раз кнопку, при этом ещё ждать загрузки страниц - вообщем все это стало отнимать столь драгоценное время. Я пришел к выводу что это довольно рутинная работа, которая подлежит автоматизации. И была написана специальная утилита.


Описание утилиты
Написанная утилита превращает меня в наблюдателя, делает всю вышеописанную работу сама и главное - экономит время.
Алгоритм работы состоит из 3 шагов
- Шаг 1: Нажимаем кнопку "Собрать предложения". Программа проходит по всем аккаунтам, заходит на страницу предложений, парсит её и записывает все предложения в таблицу
- Шаг 2: нажимаем кнопку "Проставить ответы". Программа проходит по всем предложениям всех аккаунтов, определяет "спамность" ссылки (что такое "спамность ссылки" - см. ниже), и проставляет согласие- если ссылка человеческая, и отказ по выбранной причине если ссылка является поисковым спамом (я ставлю причину - "текст ссылки не подходит")
- Шаг 3: Нажимаем кнопку "Отправить ответы". Программа вновь проходит по всем аккаунтам, проставляет ответы, нажимает кнопку "Подтвердить"

Как показывает практика, процентов 5 - 10 всех предложений - откровенный спам.

Итого вся работа свелась к 3 кликам мышки.

"Спамность ссылки".
Теперь что такое "спамность ссылки" в моём понимании.
"Спамность ссылки" - максимальное число повторений одного и того же слова.
Тут все просто. Берем вышенаписанный пример: "Цена славного шкафа купе. Цена незабвенного шкафа купе. Цена замечательного шкафа купе." Слова "Цена", "шкафа", "купе" встречаются по 3 раза. Остальные слова - по одному разу. Следовательно спамность ссылки - "3 3 3 1 1 1". И сдаётся мне что за такую ссылку можно попасть под вышеописанный бан. Должен сказать что однокоренные слова программа считает разными словами. Т.е. "шкафа" и "шкаф" - разные слова.
Вот, кстати, статья в тему: http://sapehelp.ru/blog/anchors-2-5-2008/
Ну либо на здешнем форуме посмотрите - масса тем о выпадении сайтов.


В утилите на втором шаге пользователь задаёт максимально
допустимую спамность. Т.е. если максимально допустивая спамность = 2, то ссылки в которых одно и то же слово встречается более 2 раз - получают отказы.

Ожидаю что многие не согласятся с моим алгоритмом определения "спамности ссылки". Возможно некторые применяют какие то другие принципы при отборе ссылок. Очень хотелось бы услышать эти принципы здесь.

Безопасность.
Специально для тех кому будет казаться, что программа
  • Сливает логины и пароли
  • Выполняет какие то плохие действия
  • Пытается дестабилизировать экономическую обстановку в России и стремится к мировому господству
Отвечаю:
  • Нет, не сливает
  • Нет, не выполняет
  • Нет, не пытается и не стремиться

Для тех кто живет по принципу "Доверяй, но проверяй" пишу один из возможных способов проверки:
Ставим файервол (например OutPost), закрываем абсолютно все порты, запускаем программу, нажимаем кнопку "Собрать предложения". Файервол пишет: "программа sape.exe пытается пролезть по http на сайт sape.ru". Если она еще куда то полезет - файервол обязательно скажет.

Обновления
Недостаток программы один: она привязана к html интерфейсу Сапы.
Соответственно если меняются какие либо из опорных элементов - программа перестаёт работать.
Чтобы не менять саму программу все названия html элементов вынесены в отдельный ини-файл. Т.е. названия кнопок, чекбоксов, названия полей ввода, регулярное выражение которым парситься страница предложений и его расшифровка - все записано в этом ини-файле. Последнюю версию Вы всегда можете скачать с этой страницы. Я работаю с Sape.ru давно и работать собираюсь еще долго. Запускаю эту утилиту каждое утро, и по идее первым должен увидеть какие либо изменения. Поэтому если в интерфейсе что то меняется, я оперативно меняю инифайл и выкладываю его в общедоступное место.

Что касается обновления функционала. Если будет интерес к программе среди народных масс, и если будут какие то пожелания по дополнительной функциональности, я постараюсь объединить эти пожелания и выпущу новую версию.

Резюме: утилита рассчитана на тех кто продаёт ссылки в ручном режиме.

Итак, качаем демо версию, знакомимся, пишем аргументированную критику, свои мысли. Особенно хотелось бы услышать принципы, по которым Вы делаете отбор предложений.
craziman вне форума   Ответить с цитированием
Старый 06.07.2008, 19:37   #2
фОшЫст
 
Аватар для WebFX
 
Регистрация: 10.01.2008
Адрес: Эквадор
Сообщений: 6,773
Вес репутации: 448
WebFX - прекрасное будущееWebFX - прекрасное будущееWebFX - прекрасное будущееWebFX - прекрасное будущееWebFX - прекрасное будущееWebFX - прекрасное будущееWebFX - прекрасное будущееWebFX - прекрасное будущееWebFX - прекрасное будущееWebFX - прекрасное будущееWebFX - прекрасное будущее
Отправить сообщение для WebFX с помощью ICQ
По умолчанию

Тема интересная. Где гарантия что данная программа не является бэкдором?
__________________
Скоро 2012 год. Скоро наступит апокалипсис. Страшный апокалипсис. Тупой апокалипсис. Ну вообще без мозгов апокалипсис.
WebFX вне форума   Ответить с цитированием
Старый 06.07.2008, 19:45   #3
Специалист
 
Аватар для craziman
 
Регистрация: 26.12.2007
Сообщений: 100
Вес репутации: 151
craziman - как роза среди колючекcraziman - как роза среди колючекcraziman - как роза среди колючекcraziman - как роза среди колючек
По умолчанию

Цитата:
Сообщение от WebFX Посмотреть сообщение
Тема интересная. Где гарантия что данная программа не является бэкдором?
Я написал:
Программа не сливает логины и пароли и вообще не делает ничего плохого. Насчет гарантии: ставите файервол, и смотрите куда ходит утилита. Утилита ходит только на sape.ru по протоколу http. И все. Проверте её антивирусом, придумайте свой способ проверки и обязательно расскажите мне. Я их здесь опубликую.

P.S. Если бы я хотел сделать бекдор - я бы раздавал её бесплатно.
craziman вне форума   Ответить с цитированием
Старый 06.07.2008, 19:45   #4
пусто
 
Аватар для Администрация 6-ой палаты
 
Регистрация: 28.10.2007
Сообщений: 3,116
Вес репутации: 317
Администрация 6-ой палаты - прекрасное будущееАдминистрация 6-ой палаты - прекрасное будущееАдминистрация 6-ой палаты - прекрасное будущееАдминистрация 6-ой палаты - прекрасное будущееАдминистрация 6-ой палаты - прекрасное будущееАдминистрация 6-ой палаты - прекрасное будущееАдминистрация 6-ой палаты - прекрасное будущееАдминистрация 6-ой палаты - прекрасное будущееАдминистрация 6-ой палаты - прекрасное будущееАдминистрация 6-ой палаты - прекрасное будущееАдминистрация 6-ой палаты - прекрасное будущее
По умолчанию

Цитата:
Сообщение от WebFX Посмотреть сообщение
Тема интересная. Где гарантия что данная программа не является бэкдором?
попросить проверить код друга-программиста...
__________________
Умное лицо - это еще не признак ума господа. Все глупости на земле делаются именно с этим выражением лица. Улыбайтесь господа, улыбайтесь.
Администрация 6-ой палаты вне форума   Ответить с цитированием
Старый 06.07.2008, 19:47   #5
фОшЫст
 
Аватар для WebFX
 
Регистрация: 10.01.2008
Адрес: Эквадор
Сообщений: 6,773
Вес репутации: 448
WebFX - прекрасное будущееWebFX - прекрасное будущееWebFX - прекрасное будущееWebFX - прекрасное будущееWebFX - прекрасное будущееWebFX - прекрасное будущееWebFX - прекрасное будущееWebFX - прекрасное будущееWebFX - прекрасное будущееWebFX - прекрасное будущееWebFX - прекрасное будущее
Отправить сообщение для WebFX с помощью ICQ
По умолчанию

Цитата:
Сообщение от craziman Посмотреть сообщение
Программа не сливает логины и пароли и вообще не делает ничего плохого
Ночью потестю.
Ориентировочная цена в будущем?
__________________
Скоро 2012 год. Скоро наступит апокалипсис. Страшный апокалипсис. Тупой апокалипсис. Ну вообще без мозгов апокалипсис.
WebFX вне форума   Ответить с цитированием
Старый 06.07.2008, 19:54   #6
Сапер со стажем
 
Аватар для Smok
 
Регистрация: 16.05.2007
Адрес: Днепропетровск
Сообщений: 4,377
Вес репутации: 465
Smok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущее
Smile

Цитата:
Сообщение от craziman Посмотреть сообщение
Не знаю как дела обстоят у других, но при моих относительно высоких ценах (относительно "средних по системе") предложения мне приходят сотнями.
Вот тут то Вы и спалились!

НУ НЕТУ ЩАС ТАКИХ ЛЮДЕЙ НЕТУ!!!
Щас 80-90% плачутся, что заявок вообще нет, а Вы просто *Счастливчик*?!

p.s.
Щас прога может быть и чистенькая, а через пару месяцев в одном из апдейтов проги добавите что нить весьма *интересное и полезное*.
__________________
Кто счастлив сам, другим зла не желает.
Л. Н. Толстой
Smok вне форума   Ответить с цитированием
Старый 06.07.2008, 19:57   #7
Специалист
 
Аватар для craziman
 
Регистрация: 26.12.2007
Сообщений: 100
Вес репутации: 151
craziman - как роза среди колючекcraziman - как роза среди колючекcraziman - как роза среди колючекcraziman - как роза среди колючек
По умолчанию

Цитата:
Сообщение от WebFX Посмотреть сообщение
Ночью потестю.
Ориентировочная цена в будущем?
Полное описание здесь.
Стоимость полнофункциональной версии 200 WMR.

Протестите обязательно, результаты напишите здесь. За объективную оценку - с меня пиво.

Также интересуют принципы по которым проходит отбор заявок (кроме придуманного мной), чтобы их реализовать.
craziman вне форума   Ответить с цитированием
Старый 06.07.2008, 20:05   #8
Специалист
 
Аватар для craziman
 
Регистрация: 26.12.2007
Сообщений: 100
Вес репутации: 151
craziman - как роза среди колючекcraziman - как роза среди колючекcraziman - как роза среди колючекcraziman - как роза среди колючек
По умолчанию

Цитата:
Сообщение от Smok Посмотреть сообщение
Вот тут то Вы и спалились!

НУ НЕТУ ЩАС ТАКИХ ЛЮДЕЙ НЕТУ!!!
Щас 80-90% плачутся, что заявок вообще нет, а Вы просто *Счастливчик*?!
Согласен. У меня такая ситуация после последнего обновления ТИЦ. Т.е. после обновления шквал заявок, затем уже дня три - глухо. Думаю что явление временное. Хотя фиг знает....

Цитата:
Сообщение от Smok Посмотреть сообщение
p.s.
Щас прога может быть и чистенькая, а через пару месяцев в одном из апдейтов проги добавите что нить весьма *интересное и полезное*.
Обновление планируется одно. Проверяется так же как и первая версия.
Можно кстати сниффером посмотреть что и куда отправляет утилита (наверное, так как сниферами не пользовался). Фаервол опять всю информацию выдает. Просто создаете правило: sape.exe можно ходить только на sape.ru по http. Как ещё убедить???

Добавлено через 3 минуты
Меня интересует - есть ли необходимость в такой утилите, или только меня одного напрягает это пробегание глазами все предложений, проставление галочек и нажатие кнопок?

Из тех сайтов на которых я продаю ссылки вручную - еще ни одного не выпало. Так что считаю ручной режим - мера эффективная.

Последний раз редактировалось craziman; 06.07.2008 в 20:10. Причина: Добавлено сообщение
craziman вне форума   Ответить с цитированием
Старый 06.07.2008, 20:13   #9
Особый статус
 
Регистрация: 23.03.2008
Адрес: localhost
Сообщений: 2,593
Вес репутации: 269
Ufaweb - прекрасное будущееUfaweb - прекрасное будущееUfaweb - прекрасное будущееUfaweb - прекрасное будущееUfaweb - прекрасное будущееUfaweb - прекрасное будущееUfaweb - прекрасное будущееUfaweb - прекрасное будущееUfaweb - прекрасное будущееUfaweb - прекрасное будущееUfaweb - прекрасное будущее
Отправить сообщение для Ufaweb с помощью ICQ
По умолчанию

Тема интересная SSL будет поддерживать?
Цитата:
Файервол пишет: "программа sape.exe пытается пролезть по http на сайт sape.ru". Если она еще куда то полезет - файервол обязательно скажет.
Я конечно не в чем Вас не обвиняю и склонен верить в Вашу честность, но можно <чисто теоретически > создать в панельке оптимайзера проект, купить ссылку с анкором логин:пароль на своем сайте, после чего удалить проект. Тут фаервол сильно не спасет
Ufaweb вне форума   Ответить с цитированием
Старый 06.07.2008, 20:22   #10
Новичок
 
Аватар для swm
 
Регистрация: 24.06.2008
Адрес: Новороссийск
Сообщений: 84
Вес репутации: 142
swm скоро станет известенswm скоро станет известен
Отправить сообщение для swm с помощью ICQ
По умолчанию

Я бы купил, руками тяжело чистить
swm вне форума   Ответить с цитированием
Ответ

Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Секреты успешной работы вебмастеров в Sape Евген Вопросы по работе системы 453 05.01.2013 13:29
Поведения робота Яндекса... Каков алгоритм работы...??? DFish Яндекс 15 07.05.2008 19:19
в индексе яндекса более 2000 стр. в sape добавилось окло 600 ant Вопросы по работе системы 2 14.12.2007 14:49
5 предложений по совершенствованию работы Sape. SammoLove Пожелания пользователей системы 14 04.12.2007 02:51
Какие настройки php.ini нужны для корректной работы sape.ru? Danila Вопросы по работе системы 0 13.09.2007 12:22


Часовой пояс GMT +3, время: 20:43.