Проверка проиндексированности страниц
 

Представляю на бета-тестинг программулину, за 1 час написанную в буквальном смысле "на коленках" (на ноуте в пробке :)). Сильне не пинать, если честно, за Delphi больше года не садился... И вообще, кодер из меня хреновый, звиняйте :p

Скачать YAP_Checker.exe

Отзывы, баги, пожелания сваливаем в топик.

И где? :confused:

в гамне порылся, не нашел :)

В гамне нету)) Поправил топикстарт :)

Добавлено через 7 минут
Как эта хренотень работает?!

Нужен список УРЛов. Можно ручками вбивать, а можно взять из сапы. Для этого добавляем площадку :D, в списке площадок кликаем по ней - откроется меню. Переходим по ссылке "Страницы", внизу видим ссылку Страницы сайта в .TXT. Кликаем, скачиваем список и открываем блокнотом. Копируем весь список и вставляем в сабж. Как видите, в списке, скачанном с сапы строки имеют вид
Пофигу, из строки программой берется только урл. :)

Программа работает без проксей, Я.xml и прочей лабуды, при этом нас не будут обзывать роботами-хоботами :)

пробил пару сайтегов - все стр не в индексе.. Но они все там..

rusteam, скинь в асю список урлов.

думаешь не так их вбил?.. ща скину

Думаю, надо поправить софт, если не чекается :)

Уфа, на кой писанное на коленке выкладывать, а?

И ещё тупой аск: Если на дельфях, то значит, она не требует установки на сервер или апача на компе?

чет не пашет прога, очень много страниц, которые не в индексе, хотя на самом деле все в индексе...(как у rusteam)

+ сделать бы еще полосы прокрутки
+ сколь всего сайтов, сколь проиндексилось, сколь не в индексе
+ хорошо бы еще сделать кнопку "пауза", "остановить", "начать с последней позиции"
+ ручную регулировку ширины окон (слишком узко)
+ убрать сверху дельфовскую надпись "form1" :D

ну вроде и все...))

не требует

Готово.

Спать хащу, нащальника...

Готово.

Спать... Спать...

не требует...

Перезалито, ссылка в первом посте :) Размер не изменился - 170 Кб.

Добавлено через 1 минуту
Спроси у саповцев, на кой наколенкенаписанную систему открывать без тестинга... :D

Добавлено через 26 минут
Исправлена ошибка, возникавшая из-за отсутствия слешев на конце УРЛов. Размер - 177 Кб.

Ufaweb, пошли спать.. завтра доклепаешь до ума...

Всем доброго утречка. Поставила на тест мой самый противный список урлов, пошла пока кофе попью....

Добавлено через 2 часа 33 минуты
ну наконец то проверила. Потеряла почти половину стр в индексе, Вообщем нашла не все :(

7Кб на проверку слеша? :p

Прикольная программа, только работает нифига не правильно. Из пяти URL ошиблась в двух.

И что? Паритет. :D Сапа тоже из 5-и чекнутых, на вопрос ВС, показывает верно в 3-х.

Нет, там еще ShellAPI прикрутил...
У Rusteam были ошибки обращения к памяти из-за того, что прога была запакована AsPack'ом. Выложена незапакованная версия, поэтому размер увеличился до 400 с копейками килобайт :)


Урлы в личку, плз, возможно, опять со слешами косяки. ПС не выдает результаты для site.ru/catalog/, поэтому приходится срезать последний слеш: site.ru/catalog, но в выдаче все равно будет site.ru/catalog/ :D

Ufaweb, за старания большоооой бы плюсег поставил...если бы кармы хватило))

а чем YCCY не угодил, денег вроде не просит?

Через что проверяет?

технически не знаю, чесна. там используется 2 типа запросов к "продвинутому" поиску яши, запрос чз мейл и чз xml того же самого яндекса. там можно выставлять задержки(пробовал 1-2 сек, работает практически безотказно), настроить прокси, сохраняется история проверки, можно застопить и продолжить позже проверку страниц. так же есть проверка индекса в гугле и индексированности текстов ссылок в Я. пользуюсь и радуюсь, какта летом помойму обсуждали уже эту програмулину

оффтоп: хочу карму как у психаделика)

Пойду тестить прогу. Буду следить за темой :)
++++++++++++++++++++++++++++++++++++

Фто то у меня тоге не прет)))
Встаил список урлов вида http://www.xxxxxxx.xx/xxx/xx.php Начала показывать, что не проиндексированны, я много проверять не стал, около 4 проверилось, дальше отключил, трафик жрет много, а показывает неправильно. Хорошо бы через прокси сделать, а то при наземки жпрс не на проверяешься...

Не спеши...

Попробовал, закинул 90 урлов - из них две не в индексе, хотя и в индексе (каламбур). :)

Хорошая программа, нормальное и правильное направление.
Нужно конечно некоторые моменты исправить и дополнить.

Но автору почёт и уважение - сделать что то полезное для других )):)

(1 сайт полностью оказался непроиндексированным по версии программы - только главная в индексе. На самом деле все 210 страниц в индексе. Это видимо из за специфики CMS - хотя многие ей пользуются.)

Штучек 20 таких урлов скиньте в личку, плз. Постараюсь исправить.

Добавлено через 1 минуту
Скиньте тоже списочек из 20 урлов в личку.

Добавлено через 1 час 18 минут
Исправлен баг при обработке урлов со знаками ? и .
Добавлен счетчик УРЛов в списках.

Cкачать обновленную версию можно по все той же ссылке: http://vsape.info/files/YAP_Checker.exe, вес программы - 410 Кб.

Планируется: прогресс-бар, кнопки "Копировать все".

Что-то у меня из 750 ссылок показал меньше сотни в индексе, хотя всё наоборот должно быть.

В новой версии? Урлов в индексе и не в индексе по 10 штук в личку отсыпьте :)

Да в новой, ссылки скинул в ПМ

Ufaweb, мот чет не то... мот лучше написать что-нить другое и не менее полезное?

но есть же уже яндексоид, и работает более-менее без багов...
и весит в 2 раза меньше)))

Он платный, вроде?

Оо, ну прям 100 Мб против 200 Мб :D

Ufaweb будешь писать в машине проги, смотри чтоб тот мужик на BMW не подкрался... :)

я в пробке был, в чужой машине, на пассажирском сиденье...

Ну тогда другое дело... :)

Уфа, а можно прикрутить проверку по sitemap.xml/?
А че, кинул сайтмапу и пусть проверяется...
есть такая возможность?

Добавлено через 6 минут
и еще
http://s40.radikal.ru/i090/0810/4b/d9560983859d.jpg
Что за кракозябры?)

О, идея есть) очень нуна прога для проверки страниц на индекс в гугле...
именно просто на индекс странички.. никаких кешей не надо...

что-то типо етого

искал щас сидел, очень нуно, а найти не мог)
не над никакх прог там типа сеомонитора и прочих.. нуна простая программулина, типа яндексоида, только для гугля...

Ufaweb, зобанеле? ну как идея? )

программа не работает. ввел один урл - нажал старт, написано Проверено и не написано проиндексирована она или нет...

Это для прикола :D

Сделаем, но гугл жестко банит. Ладно, ченить придумаем ;)

Наблюдалась проблема: программа врала по поводу непроиндексированности некоторых страниц... Понаблюдал за ней, прологировал. Оказывается, функция для получения страниц глючила и выдавала не всю страницу. Это я исправил. Сейчас проверяю внушительный список урлов по просьбе одного человека. Если его 2 сайта пройдут модерацию, значит прога не глючит и утром выложу апдейт )))

// Шутко, вроде она и так не глючит :)

Думаю, в качестве бонуса добавить проверку проиндексированности ссылок... Можбыть с этим апдейтом появится.

О! а для гугли можно замутить в этой же проге, чтоб сразу и по яндексу и по гуглю можно было бы смотреть))

типа ставишь галочки - проверять по яндексу, проверять по гуглю и будет ваще супер))

:)

Так и задумано :)
+ проверка индексированности ссылок.

// найден способ уменьшить (раз в 5-10!) трафик при работе программы. В сегодняшней версии уже будет реализовано.

проверил...из 184 стр. только три в индексе показывает
примеры урлов отписал в личку =)

Угу, получил :)
Тестируем обновление (уменьшен трафик, пофиксен баг) - http://vsape.info/files/YAP_Checker.exe
Скорость проверки реально возрасла: при моем 100 Кбит-ном тырнете за 1 секунду проверяется 2 страницы :p

Добавлено через 2 минуты
Планирую:
- счетчик трафега
- счетчик времени проверки и прогресс-бар
- Исправление новых багов, добавленных в последней версии :D
- ручная перепроверка.