Форум SAPE.RU

Форум SAPE.RU (http://forum.sape.ru/index.php)
-   Пожелания пользователей системы (http://forum.sape.ru/forumdisplay.php?f=15)
-   -   Решение для автоматической проверки ссылок :) (http://forum.sape.ru/showthread.php?t=14338)

dab 11.06.2008 12:48

Решение для автоматической проверки ссылок :)
 
http://yandex.ru/yandsearch?date=&te...&ds=&numdoc=50

могу утверждать, что все эти ссылки проиндексированы яндексом. :)

Достаточно пройтись по страницам выдачи и получить список страниц.

Соответственно не надо сервер сапы напрягать самостоятельной индексацией.

кстати, именно так я проверял на своих страницах - сграбил 20 страниц яндексовской выдачи, выбрал уникальные адреса, отметил их в интерфейсе сапы и принял, а остальные тупо удалил.


PS: решил сделать так как описал, после того как увидел, что мои 1000 ссылок YCCY будет проверять часа три и сожрет кучу траффика

sofree 11.06.2008 13:09

Что-то подобное работает тут
http://ya-cache.net.ru
Проходит страницы выдачи и собирает ссылки на страницы сайта

dab 11.06.2008 16:12

именно это я и имел в виду :)

вот только по ссылке ограничение в 5000,
а если немного подумать и сегментировать запрос по времени, то можно вообще все выцепить

medus_a 11.06.2008 20:30

Цитата:

а если немного подумать и сегментировать запрос по времени, то можно вообще все выцепить
если сайт не "...?newsid=10", а урлы каталогизированны, то проверка 10к страниц занимает от силы 5 минут, хотя и в первом варианте почти всегда можно правильно составить запрос
аналогично реализовал и у себя, теперь гемор с проверкой страниц отпал
а то доставало извечное рытьЁ проксей


Часовой пояс GMT +3, время: 01:21.

Работает на vBulletin® версия 3.8.7.
Copyright ©2000 - 2022, Jelsoft Enterprises Ltd.
Перевод: zCarot
SAPE.RU — система купли-продажи ссылок с главных и внутренних страниц сайтов.