Форум SAPE.RU

Форум SAPE.RU (http://forum.sape.ru/index.php)
-   Пожелания пользователей системы (http://forum.sape.ru/forumdisplay.php?f=15)
-   -   Предложение по поводу добавления сайтов и индексации страниц. (http://forum.sape.ru/showthread.php?t=15231)

Lex77 05.07.2008 00:23

Предложение по поводу добавления сайтов и индексации страниц.
 
После добавления сайта, было бы неплохо роботам пройтись сначала по страницам
http://www.google.com/search?num=100&start=0&q=site:URL, ..start=100.. и т.д. сколько найдется (для англоязычных сайтов)
аналогично по яндексу для русскоязычных сайтов
забрать все закешированные ссылки и уже потом индексировать их.

Это сразу исключит необходимость модераторам и вебмастерам тратить время на ручную проверку и снизит нагрузку на робота (например по моим сайтам остается ~5% страниц).

Хотя есть проблема, - гугль быстро прекращает показывать результаты при большом числе запросов с одного IP.
Так что этот вариант не пройдет (написал для того, чтоб идея была ясна).

Тогда можно предложить вебмастерам вводить список страниц, которые они могут скопировать со страниц гугля или яндекса.

Уж очень напряжно выискивать из 1000 страниц 100 проиндексированных. Вебмастерам ведь и так приходится открывать списки закешированных страниц, но сейчас приходится глазками сравнивать 2 списка.
А если предложить просто скопировать текст и вставить в форму (а потом скриптом выбрать URL-ы), то все можно сделать очень быстро.


Часовой пояс GMT +3, время: 19:07.

Работает на vBulletin® версия 3.8.7.
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Перевод: zCarot
SAPE.RU — система купли-продажи ссылок с главных и внутренних страниц сайтов.