11.06.2008, 09:34 | #1 |
Новичок
Регистрация: 11.10.2007
Сообщений: 64
Вес репутации: 203
|
Вечная тема - проверка проиндексированности страниц. Поиск решения
И так, у меня есть идея как можно организовать проверку проиндексированности страниц яндексом. Эта тема не один раз уже пережёвывалась - и вывод такой - что саповцам тяжело это сделать. Яндекс не даёт проверить огромное количество страниц.
Так вот, суть решения. На каждой площадке вебмастера размещается некий клиент для проверки проиндексированности страниц, просто как пример - что-то наподобие клиента якиша - http://ya-cache.net.ru. Далее когда нужно проверить страницу на проиндексированность робот сапы делает запросы к яндексу через этот клиент. Делает это "распределённо" - равномерно распределяя нагрузку, - чтобы снизить вероятность появления - "Вы робот?". При таком варианте - у ВМ не будет желание переписывать скрипт для реализации клоакинга (типа - любой запрос, а ответ - проиндексирована яндексом), т.к. его площадка вряд ли будет проверяться его же скриптом (ну может пара страниц). Соответственно, напишу по собственному опыту, - мне не так часто приходится проверять страницы на проиндексированность, но когда приходится - это головная боль. А так - поставил скрипт и пусть через него проверяются страницы на проиндексированность. Проверяется сёдня, завтра, - проверяются в любое время... К конце концов мне не холодно, не жарко - пашет купленный хостинг. Для чего я это пишу - родился у меня в голове проект, который проверяет на индексируемость страницы. На входе - список страниц, - а по окончании процесса - письмо с результатами. И работать он будут т.о., чтобы ВМ разместил у себя код клиента для работы с яндексом. Сервис будет проверять страницы, распределять нагрузку через всех доступных клиентов. Для этого сервиса нужен VDS минимум. У меня его нет. Если если честно, такой сервис нужен в первую очередь для сапы - чтобы облегчить жизнь ВМ. Опять таки - если бы сапа сама проверяла бы страницы на проиндексированность - потребности в данном сервисе не было. Поэтому я и клоню к тому, что лучше бы саповцам самим такое организовать в рамках существующего проекта sape.ru. Тем более что, есть железо, есть большое количество клиентских площадок.
__________________
Стань рефералом. А вот тут можно немного подзаработать. Да, - всегда удаляю ГС со своих проектов... Господа О. - не тратьте деньги зря! |
11.06.2008, 10:10 | #2 |
Специалист
Регистрация: 16.03.2008
Сообщений: 256
Вес репутации: 203
|
Идея не новая и многим наверняка приходила в голову, но есть один неприятный момент - любой из вебмастеров (или примкнувших к ним "нехороших людей") теоретически имеет возможность поправить скрипт и за довольно продолжительное время - собрать практически всю базу URL сайтов, продающих ссылки в системе...
Как Вам такая перспективка? :-) |
11.06.2008, 10:16 | #3 |
Новичок
Регистрация: 11.10.2007
Сообщений: 64
Вес репутации: 203
|
Да, перспективка интересная.
Хотя можно опционально как-то сделать - проверять только те сайты, для которых ВМ открыл доменное имя в настройках площадки. Те кто скрывает свои домены, пусть работают "по старинке" - сами всё проверяют.
__________________
Стань рефералом. А вот тут можно немного подзаработать. Да, - всегда удаляю ГС со своих проектов... Господа О. - не тратьте деньги зря! |
11.06.2008, 10:26 | #4 | |
Мастер
Регистрация: 14.10.2007
Сообщений: 666
Вес репутации: 225
|
Цитата:
для О есть Правильное решение. проверять не все страницы сайтов ВМ а только те , ссылки на которых О готов оплатить. Это делается гораздо проще, и не нужно свои проблемы свешивать на ВМ, у него хватает и без этого проблем. а пинкод от моей банковской карточки вам не сказать? бред в общем очередного любителя купить миллион ссылок и при этом не имеющего на это бюджета. а Если есть бюджет - то есть и вдсы, и дедикейтов 41юнит с пачкой сеток для проверки всего чего угодно, и обычно люди имеющие такую надобность не создают таких тем.
__________________
работа в омске |
|
11.06.2008, 10:39 | #5 | |||
Новичок
Регистрация: 11.10.2007
Сообщений: 64
Вес репутации: 203
|
Цитата:
Цитата:
и не надо меня называть любителем купить миллион ссылок. Ссылки покупаю ОЧЕНЬ мало. В основном продаю. Цитата:
__________________
Стань рефералом. А вот тут можно немного подзаработать. Да, - всегда удаляю ГС со своих проектов... Господа О. - не тратьте деньги зря! |
|||
11.06.2008, 15:06 | #6 |
Эксперт
|
делать харакири? не будет код sape проверять проиндексированность, это бред
__________________
Аттестат продавца. |
11.06.2008, 15:09 | #7 |
Новичок
Регистрация: 11.10.2007
Сообщений: 64
Вес репутации: 203
|
да, идея похоже не приживается. Ни одного положительного голоса!
__________________
Стань рефералом. А вот тут можно немного подзаработать. Да, - всегда удаляю ГС со своих проектов... Господа О. - не тратьте деньги зря! |
19.11.2008, 21:41 | #8 |
Новичок
|
с Вами всё в порядке? у меня 8 сайтов, на каждом по тысяче страниц, каким образом мне знать какие страницы есть в индексе, а каких нет? или мы сейчас говорим о вебмастерах с 1 блогом в 100 страниц?
Добавлено через 5 минут да и вообще для меня это болючая тема. у меня есть сайт, добавил в Сапу, бот нашёл 1050 страниц, тогда как сам яндекс пишет что видит у меня 1350 страниц. почему бот не нашёл всех страниц и вообще как мне проверить тысячу страниц на проиндексированность - это ваще загадка. ну ладно, один раз я как-то проверю, но потом я добавлю еще сайты, там тоже больше тысячи страниц, ну не буду же я круглосуточно сидеть. тем более если проверять напористо, то яндекс начинает запрашивать каптчу. глупо конечно указывать на конкурентов сапы, но есть такие, которые сами проверяют проиндексированность. хотя, конечно, там не такие масштабы...
__________________
Последний раз редактировалось mekal; 19.11.2008 в 21:41. Причина: Добавлено сообщение |
19.11.2008, 21:44 | #9 |
Дикий
Регистрация: 02.06.2007
Адрес: <Noindex>
Сообщений: 2,551
Вес репутации: 355
|
Решения ЕСТЬ!
__________________
Делаю кулоны с опалами в стекле и не только! |
19.11.2008, 21:55 | #10 |
Эксперт
Регистрация: 27.10.2007
Сообщений: 3,484
Вес репутации: 428
|
Какая нафиг загадка, куча софта на форуме для этих целей.
__________________
Bombing for peace is like fucking for virginity anti-captcha свежий инвайт - cdb729713e |
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Yandexoid - Автоматическая проверка проиндексированности страниц - есть решение | toropchin | Софт для оптимизаторов и вебмастеров | 231 | 29.10.2009 10:19 |
Проверка проиндексированности страниц! Почему именно так? | peeplanet | Вопросы от новичков | 1 | 06.05.2008 22:19 |
Проверка проиндексированности страниц Яшой | Zhentozz | Пожелания пользователей системы | 17 | 22.04.2008 04:27 |
Проверка проиндексированности страниц | svn | Вопросы по работе системы | 1 | 19.07.2007 15:19 |
Массовая проверка проиндексированности страниц | stalker-g2 | Вопросы по работе системы | 10 | 25.05.2007 13:29 |
Часовой пояс GMT +3, время: 02:56.