Старый 05.07.2008, 00:23   #1
Новичок
 
Регистрация: 03.07.2008
Сообщений: 1
Вес репутации: 0
Lex77 на пути к лучшему
По умолчанию Предложение по поводу добавления сайтов и индексации страниц.

После добавления сайта, было бы неплохо роботам пройтись сначала по страницам
http://www.google.com/search?num=100&start=0&q=site:URL, ..start=100.. и т.д. сколько найдется (для англоязычных сайтов)
аналогично по яндексу для русскоязычных сайтов
забрать все закешированные ссылки и уже потом индексировать их.

Это сразу исключит необходимость модераторам и вебмастерам тратить время на ручную проверку и снизит нагрузку на робота (например по моим сайтам остается ~5% страниц).

Хотя есть проблема, - гугль быстро прекращает показывать результаты при большом числе запросов с одного IP.
Так что этот вариант не пройдет (написал для того, чтоб идея была ясна).

Тогда можно предложить вебмастерам вводить список страниц, которые они могут скопировать со страниц гугля или яндекса.

Уж очень напряжно выискивать из 1000 страниц 100 проиндексированных. Вебмастерам ведь и так приходится открывать списки закешированных страниц, но сейчас приходится глазками сравнивать 2 списка.
А если предложить просто скопировать текст и вставить в форму (а потом скриптом выбрать URL-ы), то все можно сделать очень быстро.
Lex77 вне форума   Ответить с цитированием
Ответ

Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Ошибка при индексации сайтов во время добавления в систему tim12 Ошибки при работе с системой 14 08.11.2008 00:38
предложение=вопрос по правилам добавления страниц форумов kikimora17 Пожелания пользователей системы 1 02.04.2008 11:59
По поводу бана сайтов X039uH Пожелания пользователей системы 0 06.02.2008 09:52
Уменьшение ссылок для добавления новых страниц? kikimora17 Вопросы от новичков 3 23.01.2008 06:27
Пожелания по новым категориям для добавления сайтов в систем WebNamo Пожелания пользователей системы 2 05.06.2007 05:22


Часовой пояс GMT +3, время: 01:25.