Вечная тема - проверка проиндексированности страниц. Поиск решения
 

И так, у меня есть идея как можно организовать проверку проиндексированности страниц яндексом. Эта тема не один раз уже пережёвывалась - и вывод такой - что саповцам тяжело это сделать. Яндекс не даёт проверить огромное количество страниц.

Так вот, суть решения. На каждой площадке вебмастера размещается некий клиент для проверки проиндексированности страниц, просто как пример - что-то наподобие клиента якиша - http://ya-cache.net.ru.

Далее когда нужно проверить страницу на проиндексированность робот сапы делает запросы к яндексу через этот клиент. Делает это "распределённо" - равномерно распределяя нагрузку, - чтобы снизить вероятность появления - "Вы робот?". При таком варианте - у ВМ не будет желание переписывать скрипт для реализации клоакинга (типа - любой запрос, а ответ - проиндексирована яндексом), т.к. его площадка вряд ли будет проверяться его же скриптом (ну может пара страниц).

Соответственно, напишу по собственному опыту, - мне не так часто приходится проверять страницы на проиндексированность, но когда приходится - это головная боль. А так - поставил скрипт и пусть через него проверяются страницы на проиндексированность. Проверяется сёдня, завтра, - проверяются в любое время... К конце концов мне не холодно, не жарко - пашет купленный хостинг.

Для чего я это пишу - родился у меня в голове проект, который проверяет на индексируемость страницы. На входе - список страниц, - а по окончании процесса - письмо с результатами. И работать он будут т.о., чтобы ВМ разместил у себя код клиента для работы с яндексом. Сервис будет проверять страницы, распределять нагрузку через всех доступных клиентов. Для этого сервиса нужен VDS минимум. У меня его нет. Если если честно, такой сервис нужен в первую очередь для сапы - чтобы облегчить жизнь ВМ. Опять таки - если бы сапа сама проверяла бы страницы на проиндексированность - потребности в данном сервисе не было.

Поэтому я и клоню к тому, что лучше бы саповцам самим такое организовать в рамках существующего проекта sape.ru. Тем более что, есть железо, есть большое количество клиентских площадок.

Идея не новая и многим наверняка приходила в голову, но есть один неприятный момент - любой из вебмастеров (или примкнувших к ним "нехороших людей") теоретически имеет возможность поправить скрипт и за довольно продолжительное время - собрать практически всю базу URL сайтов, продающих ссылки в системе...
Как Вам такая перспективка? :-)

Да, перспективка интересная.
Хотя можно опционально как-то сделать - проверять только те сайты, для которых ВМ открыл доменное имя в настройках площадки.
Те кто скрывает свои домены, пусть работают "по старинке" - сами всё проверяют.

чтобы облегчить жизнь ВМ им не нужно мешать жить. любой ВМ знает какие страницы есть в индексе, каких нет.

для О есть Правильное решение. проверять не все страницы сайтов ВМ а только те , ссылки на которых О готов оплатить. Это делается гораздо проще, и не нужно свои проблемы свешивать на ВМ, у него хватает и без этого проблем.

а пинкод от моей банковской карточки вам не сказать?

бред в общем очередного любителя купить миллион ссылок и при этом не имеющего на это бюджета.

а Если есть бюджет - то есть и вдсы, и дедикейтов 41юнит с пачкой сеток для проверки всего чего угодно, и обычно люди имеющие такую надобность не создают таких тем.

какие ещё свои проблемы? Наоборот хочу помочь ВМ в вечной проблеме проверки страниц на проиндексированность.

Интересные выводы, получается проверка на проиндексированность не нужна что ли. Хотя форум перстрит сообщениями "ах как бы было хорошо".
и не надо меня называть любителем купить миллион ссылок. Ссылки покупаю ОЧЕНЬ мало. В основном продаю.

Да и не так много народу - у кого есть свой сервер. Полно людей, у кого 1, 2 сайта на вирт. хостинге. Им то что делать? До вас ещё расти и расти многим...

делать харакири? :) не будет код sape проверять проиндексированность, это бред

да, идея похоже не приживается. Ни одного положительного голоса!

с Вами всё в порядке? у меня 8 сайтов, на каждом по тысяче страниц, каким образом мне знать какие страницы есть в индексе, а каких нет? или мы сейчас говорим о вебмастерах с 1 блогом в 100 страниц?

Добавлено через 5 минут
да и вообще для меня это болючая тема. у меня есть сайт, добавил в Сапу, бот нашёл 1050 страниц, тогда как сам яндекс пишет что видит у меня 1350 страниц. почему бот не нашёл всех страниц и вообще как мне проверить тысячу страниц на проиндексированность - это ваще загадка. ну ладно, один раз я как-то проверю, но потом я добавлю еще сайты, там тоже больше тысячи страниц, ну не буду же я круглосуточно сидеть. тем более если проверять напористо, то яндекс начинает запрашивать каптчу.

глупо конечно указывать на конкурентов сапы, но есть такие, которые сами проверяют проиндексированность. хотя, конечно, там не такие масштабы...

Решения ЕСТЬ! :)

Какая нафиг загадка, куча софта на форуме для этих целей.