YAP - как проверить тысячи сраниц на наличие в индексе Яндекса?
 

Как известно, не всегда найденные при индексации Сапой страницы, есть в индексе Яндекса.
Естественно, модерацию сайт не проходить пока не удалены странице которых нет в индексе Яндекса.

Но, как узнать эти страницы?
Можно ручками проверить, когда сраниц пару десятков...

А когда их тысячи?
Например, надо проверить более 10к страниц (ес-но сайт не один)... Как это сделать?
Есть софт который частично автоматизирует и сотни страниц можно проверить довольно быстро.

Но чем проверить тысячи страниц? (руками не предлагать :) )
Возможно кто предоставляет услуги проверки (пишите в приват)...

P.S - прокси быстро банят или не могу нормально настроить... (

ручками, сам 2к ручками проверял

Коллега, могу посоветовать Вам поиск по этому форуму использовать, тема эта не раз обсуждалась и скриптов не мало можно накопать для этих целей. Но скрипты - это для тех, кто умеет их грамотно прикручивать, я вот не программер, к сожалению, и риходится ручками :), даже там, где 1000 стр.

Пробуйте, через xml. Через регистрацию ip в Яндекс Панели.

Автоматическая проверка проиндексированности страниц яндексом - Yandexoid

YCCY - бесплатная прога нормально проверяющая проиндексированность..

Вы, видимо, очень волевой человек...
Проверять руками тысячи сраниц, это надо иметь очень много упорства...

Но, мне ближе, не тупое клацанье с утра до вечера... Потому и пытаюсь найти варианты автоматизации.

Спасибо, возможно.

Пробовал я эти программы - без выделенного своего IP много не проверить, точнее до 1000 страниц в сутки :)
а если их 50 000 ? :)

говорят проксихантером можно насканить свежих проксей, для таких объемов хватает. Мы пробовали - тема работает, но нам все равно не подошла потому что мощи надо гораздо больше.

А для вас должно хватить

Юзал Яндексоид только что по рекомендации sergeinn. Так и не смог настроить на качетсвенный уровень работы.
Урлы загнал, задержки настроил - с этим полный ок. Роботом Яндекс не обзывается и капчи не просит.
Но качество проверки на проиндексированность не устраивает, забросил туда прокликанные вручную страницы через YAP - в результате кто в лес, кто по дрова :) А жалко, юзабилити программы на высоком уровне! Может я не прав в чем-то...тогда подскажите у кого работает!?

Ну именно тысячу - через хмл. Надо больше? - обзаведитесь разными дешовыми хостингами...

Avelon терь буду твердить в каждой теме, что надо использовать ресурсы пользователей. Ну конечно в разумных пределах... И заодно пр тоже так же проверять...

CheckIdx сносно работает.

очень легко, просто запросов меньше... вот пример:

ццц.сайт.ру/х-ня.пхп?ф-ня=число1 - пример адреса...

в вмконсоли яндекса вводим ццц.сайт.ру/х-ня.пхп?ф-ня=*

яша выдает колличество таких страниц, т.е. число2

простая формула сносим все странички типа

вар число1; число1=число1;
вар число2; число2=число2;
вар число3; число3=число1-число2+1;

иф(число3<число1)
{
снести в сапе ццц.сайт.ру/х-ня.пхп?ф-ня=число3;
число3+1;
}
елсе поход за пивом;

Если в пределах 1000 страниц в сутки надо проверять, то вот поисковая фраза: "Лаборатория DEKODA - Проверка страниц на наличие в индексе поисковой системы Yandex, для Sape.ru", потом немного руки приложить и все оно будет тестить...;)

У меня она прекрасно работает, нареканий нет, проверял в день около 3000 страниц с одного IP. Задержка стоит от 3 до 10 секунд. :cool:

Ок, немного изменю стартовый вопрос топика...

Есть ли те, кто способен проверить 10к страниц?
1. Высылаю Вам страницы
2. Получаю страницы которых нет в индексе в течении суток.
3. Вы получаете перевод на ВебМани

Если кто способен, пишите в приват цену за 10 тысяч страниц...

Вот этой программкой - http://www.yccy.ru/ со стандартными настройками (задержка 2000 - 3000 мс) 333 страницы проверил за 25 минут.
Получается 10к страниц - 12-13 часов.
Или думаете, яндекс заблокирует ip?
Могу взять 2к страниц. Попробовать.

это с одного сайта столько страниц?

мне просто для тестов пакетной индексации нужен как раз жирный сайт
результат не обещаю, но бесплатно
аська в профиле

денех сколько? 22 58 58 четыреста61 (аська)

если Яшу попросить, то дадут и больше 1к запросов на XML

чего вы велосипед изобретаете??

в меню страницы в СООТВЕСТВУЮЩЕЕ поле вводите фрагмент урла "х-ня.пхп?ф-ня="

вам тутже вылезают только эти страницы и их можно удалить 1 кликом

Примерно схожий вопрос:
Закинул новый сайт, робот нашел ~9000 страниц, активировал в системе только 1й и 2й уровни (~90) что делать с остальными? удалять до индексации или оставить как есть?

По-подробнее можно? А то че-то я не интересовался этим вопросом, 1к запросов хватало просто ;)

ip регистриуете в xml Яндекс и 1000 запросов в сутки ваши :)

сам не делал, но знакомый говорил, что увеличивать кол-во запросов можно, если обосновать причину

ЗЫ Причина вида - хочу проверять массово ссылки для сапы явно не пойдет :) Потому наверное у кого 10к адресов - то тупо 10к ип или разных дешовых хостингов...
Кроме того что мешает сделать проверку за 3 дня например, ссылки месяцами висят - там торописться некуда. А так по-идее 1к запросов должен как-то обходиться...

Уже давно тама и так и 1000 мне хватает вполне, так ради спортивного интереса узнаю ;)

http://shelkovo.org/yap
по 500-1000 страниц за раз желательно

Чем ограничение в 1к запросов преодалевалось?

У нас куплено 17 ИП адресов, могу работать от любого из них.
Платится за них мизер.
В чём проблема, купить блок ИП адресов побольше и по очереди от них работать?

тож возникла необходимость удалить непроиндексированные странички
жаль не программер, но чую, что это сделать можно очень быстро
берем список всех проиндексированных страниц здесь
_http://www.yandex.ru/yandsearch?ras=1&text=&site=site.ru
совмещаем со списком в интерфейсе сапы и усе
ток как это реализовать?

ну так XML не только для сапы можно использовать, причину придумать можно, мне говорили именно про 1 ай-пи

Работа с нескольких IP адерсов (не прокси)

Спасибо за ответ ;)

Кстати по сайту - у Вас там зачок с тицем и пр есть, так вот его можно получить просто написав имя сайта в адерсе - так не делается. К примеру, я размещу 1000 штук таких значков у себя на странице и буду показывать их всем кому не лень, а Вы получите бан от гугла... или вообще у Вас можно читать - а показывать как бы от себя :cool:
Исправте лучше как у всех на id площадки, который будет даваться при проверке сайта и генерации кода обратной ссылки...

Да и если проиндексировано 10к страниц к примеру, то их придеть прочитать... Ну конечно бана то не будет если читать чужие сайты, но трафик... А вот для небольшого чиста страниц самошго сайта - идея неплохая, ток там чисто свои страницы сайта, т.е. запрос должен быть другого вида, а вот его-то вроде и убрал яндекс... ;)

Странные люди...
Деньги гр**** лопатой, а бакс-другой на проверку жалко. Скрипты пишут... Совсем жаба распоясалась.

Проверку же не каждый день делать нужно, купите на пару wmz несколько тысяч неанонимных, самых дешевых проксей, понятно, что на 95 % дохлые, но на одну проверку хватит за глаза. Поди не обеднеете, YCCY в руки и вперед. Не нужно изобретать велосипед. Для особо жадных палю тему: есть даже такие сайты, на которых списочки выкладываются абсолютно бесплатно. Можно потренироваться.

Спабио за совет, когда руки дойдут до этого прикручу кеш ))

Всё это уже сделано и работает тут:
http://ya-cache.net.ru

Никаких программ! Работает прям через браузер.


А вот
можно в сапе с помощью фичи - пакетной закрузки урлов (кнопка "Отметить ссылки")

мда. проблема актуальна для В имеющих много страниц. и всё приходится делать самим, руками копать как и где бы отфильтровать страницы которые в индексе или не в индексе Я. Сопсно встречный вопрос, который уже поднимался, почему сапа не делает автоматическую проверку при индексации своим роботом? наткнулся на один ресурс, подобный сапе, дак там всё просто, добавил сайт, его проиндексировал робот, и выдал в списке страниц ВСЕ страницы, с пометками которые есть в яшке/гугле и которых там нет. ничо удалять не надо, просто страницы которых в яшке и гугле нет, они не продаются. вот и всё. проект молодой, а уже обскакал сапу в юзабилити. вообщем пожелание такое, уважаемые программеры/админы сапы, не пора ли уже занятся усовершенствованием кода? к тому же, указанная выше фитча облегчит и работу модеров.
вообщем, есть к чему стремиться. так что ВПЕРЁД )

Таки я не один, кто поднимает данный вопрос: http://forum.sape.ru/showthread.php?t=13351

2 sofree
По поводу ya-cache.net.ru - у Вас даже в подписи сказано, что выдаются данные из кэша Яндекса, а вот на самом деле, то, что выдает поиск примерно на 15% отличается от кэша (как правило, в худшую сторону). И в итоге все приходится опять же доделывать ручками.

дык чего в сапе сидите, вперед на этот новый привлекательный ресурс, когда он наберет такую же базу клиентов и поочередно его IP забанит Яндекс и Гугл он быстренько отменит эту лафу :cool: