Старый 12.09.2007, 13:00   #1
Новичок
 
Регистрация: 07.09.2007
Сообщений: 41
Вес репутации: 172
mik-a-el на пути к лучшему
По умолчанию Список урлов для индексации

Предлагаю реализовать возможность явного указания списка урлов для индексации.
mik-a-el вне форума   Ответить с цитированием
Старый 12.09.2007, 21:12   #2
Мастер
 
Регистрация: 24.06.2007
Сообщений: 574
Вес репутации: 190
uniks - луч света в тёмном царствеuniks - луч света в тёмном царствеuniks - луч света в тёмном царствеuniks - луч света в тёмном царствеuniks - луч света в тёмном царстве
По умолчанию

Чего-чего? По подробнее, пожалуйста.
__________________
Все пожелания ввели, ура!
uniks вне форума   Ответить с цитированием
Старый 13.09.2007, 00:27   #3
Новичёк
 
Аватар для Ataka
 
Регистрация: 02.09.2007
Адрес: Эксрезидент
Сообщений: 2,579
Вес репутации: 284
Ataka - прекрасное будущееAtaka - прекрасное будущееAtaka - прекрасное будущееAtaka - прекрасное будущееAtaka - прекрасное будущееAtaka - прекрасное будущееAtaka - прекрасное будущееAtaka - прекрасное будущееAtaka - прекрасное будущееAtaka - прекрасное будущееAtaka - прекрасное будущее
По умолчанию

Цитата:
Сообщение от uniks Посмотреть сообщение
Чего-чего? По подробнее, пожалуйста.
Человек имеет ввиду что-то типа Site Map, скорей всего. НО с таким же успехом в настройках можно страницы отключить, если не нужны.
Хотя, для уменьшения нагрузки на сервер полезнее, чтоб Сапин робот знал куда лазить ни нуна.

Последний раз редактировалось Ataka; 13.09.2007 в 00:30.
Ataka вне форума   Ответить с цитированием
Старый 13.09.2007, 09:22   #4
Специалист
 
Аватар для windtalker
 
Регистрация: 06.09.2007
Сообщений: 209
Вес репутации: 176
windtalker на пути к лучшему
По умолчанию

типо чтоб лишнее не индексировал?
а как же robots.txt ?
windtalker вне форума   Ответить с цитированием
Старый 13.09.2007, 09:58   #5
Мастер
 
Регистрация: 24.06.2007
Сообщений: 574
Вес репутации: 190
uniks - луч света в тёмном царствеuniks - луч света в тёмном царствеuniks - луч света в тёмном царствеuniks - луч света в тёмном царствеuniks - луч света в тёмном царстве
По умолчанию

Так вы можете после того, как сапа все найдет, убрать лишнее, это на много быстрее, чем руками добавлять.
__________________
Все пожелания ввели, ура!
uniks вне форума   Ответить с цитированием
Старый 13.09.2007, 10:16   #6
Специалист
 
Регистрация: 30.03.2007
Сообщений: 114
Вес репутации: 180
Eugeny на пути к лучшему
По умолчанию

Идея дельная, поддержу топикстартера. Сам давно мучаюсь с этой проблемой, постоянно возникает такая ситуация, когда робот sape индексирует сайт, активно съедая новости и другие свежие страницы, на которые есть ссылки с главной. К сожалению, Яндекс их так быстро не индексирует, поэтому приходится удалять все вручную.

Было бы хорошо, если бы была возможность либо добавлять список урлов, которые нужно включить в систему, либо в настройках robots.txt или непосредственно в коде сайта запрещать индексацию отдельных страниц роботом sape и только им, т.е. noindex здесь не годится.

Кстати, а если в robots.txt прописать User-agent: sape и настроить для него Disallow - сработает или нет?
Eugeny вне форума   Ответить с цитированием
Ответ

Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Ошибка интерпретации УРЛов Hanapi Ошибки при работе с системой 9 10.08.2008 20:00
обишки при удалении урлов из ВМ keepaneye Ошибки при работе с системой 1 02.05.2008 09:27
Пакетное снятие УРЛов Bouncer Пожелания пользователей системы 0 05.02.2008 18:04
Заморозка урлов kikoz Вопросы от новичков 3 22.01.2008 15:11
Уберите сессиииз УРЛов antono Ошибки при работе с системой 1 30.01.2007 11:13


Часовой пояс GMT +3, время: 12:42.