Старый 11.06.2008, 12:48   #1
Новичок
 
Регистрация: 10.06.2008
Сообщений: 12
Вес репутации: 0
dab на пути к лучшему
По умолчанию Решение для автоматической проверки ссылок :)

http://yandex.ru/yandsearch?date=&te...&ds=&numdoc=50

могу утверждать, что все эти ссылки проиндексированы яндексом.

Достаточно пройтись по страницам выдачи и получить список страниц.

Соответственно не надо сервер сапы напрягать самостоятельной индексацией.

кстати, именно так я проверял на своих страницах - сграбил 20 страниц яндексовской выдачи, выбрал уникальные адреса, отметил их в интерфейсе сапы и принял, а остальные тупо удалил.


PS: решил сделать так как описал, после того как увидел, что мои 1000 ссылок YCCY будет проверять часа три и сожрет кучу траффика

Последний раз редактировалось dab; 11.06.2008 в 12:52.
dab вне форума   Ответить с цитированием
Старый 11.06.2008, 13:09   #2
Новичок
 
Аватар для sofree
 
Регистрация: 11.10.2007
Сообщений: 64
Вес репутации: 202
sofree на пути к лучшему
По умолчанию

Что-то подобное работает тут
http://ya-cache.net.ru
Проходит страницы выдачи и собирает ссылки на страницы сайта
__________________
Сервис ya-cache.net.ru очень помогает найти url`ы, находящиеся в кэше ПС Яндекс.
Стань рефералом. А вот тут можно немного подзаработать.
Да, - всегда удаляю ГС со своих проектов... Господа О. - не тратьте деньги зря!
sofree вне форума   Ответить с цитированием
Старый 11.06.2008, 16:12   #3
Новичок
 
Регистрация: 10.06.2008
Сообщений: 12
Вес репутации: 0
dab на пути к лучшему
По умолчанию

именно это я и имел в виду

вот только по ссылке ограничение в 5000,
а если немного подумать и сегментировать запрос по времени, то можно вообще все выцепить
dab вне форума   Ответить с цитированием
Старый 11.06.2008, 20:30   #4
Guest
 
Сообщений: n/a
По умолчанию

Цитата:
а если немного подумать и сегментировать запрос по времени, то можно вообще все выцепить
если сайт не "...?newsid=10", а урлы каталогизированны, то проверка 10к страниц занимает от силы 5 минут, хотя и в первом варианте почти всегда можно правильно составить запрос
аналогично реализовал и у себя, теперь гемор с проверкой страниц отпал
а то доставало извечное рытьЁ проксей
  Ответить с цитированием
Ответ

Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Программа для автоматической проверки индексации ссылок специально для Sape toropchin Софт для оптимизаторов и вебмастеров 145 29.10.2009 10:18
Сапер – программа автоматической проверки ссылок для самы. Fibonachi Общие вопросы оптимизации 13 18.06.2008 11:03
Скрипт автоматической проверки купленных страниц и бана непроиндексированных antsv Деловое сотрудничество 21 11.05.2008 20:55
Проблема с GBL при автоматической покупке ссылок RXL Ошибки при работе с системой 2 12.01.2008 14:27
Частота проверки ссылок на ERROR Sergio Вопросы по работе системы 3 13.08.2007 14:06


Часовой пояс GMT +3, время: 18:31.