13.09.2007, 00:27 | #3 |
Новичёк
Регистрация: 02.09.2007
Адрес: Эксрезидент
Сообщений: 2,579
Вес репутации: 315
|
Человек имеет ввиду что-то типа Site Map, скорей всего. НО с таким же успехом в настройках можно страницы отключить, если не нужны.
Хотя, для уменьшения нагрузки на сервер полезнее, чтоб Сапин робот знал куда лазить ни нуна. Последний раз редактировалось Ataka; 13.09.2007 в 00:30. |
13.09.2007, 09:22 | #4 |
Специалист
Регистрация: 06.09.2007
Сообщений: 209
Вес репутации: 207
|
типо чтоб лишнее не индексировал?
а как же robots.txt ? |
13.09.2007, 10:16 | #6 |
Специалист
Регистрация: 30.03.2007
Сообщений: 114
Вес репутации: 210
|
Идея дельная, поддержу топикстартера. Сам давно мучаюсь с этой проблемой, постоянно возникает такая ситуация, когда робот sape индексирует сайт, активно съедая новости и другие свежие страницы, на которые есть ссылки с главной. К сожалению, Яндекс их так быстро не индексирует, поэтому приходится удалять все вручную.
Было бы хорошо, если бы была возможность либо добавлять список урлов, которые нужно включить в систему, либо в настройках robots.txt или непосредственно в коде сайта запрещать индексацию отдельных страниц роботом sape и только им, т.е. noindex здесь не годится. Кстати, а если в robots.txt прописать User-agent: sape и настроить для него Disallow - сработает или нет? |
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Ошибка интерпретации УРЛов | Hanapi | Ошибки при работе с системой | 9 | 10.08.2008 20:00 |
обишки при удалении урлов из ВМ | keepaneye | Ошибки при работе с системой | 1 | 02.05.2008 09:27 |
Пакетное снятие УРЛов | Bouncer | Пожелания пользователей системы | 0 | 05.02.2008 18:04 |
Заморозка урлов | kikoz | Вопросы от новичков | 3 | 22.01.2008 15:11 |
Уберите сессиииз УРЛов | antono | Ошибки при работе с системой | 1 | 30.01.2007 11:13 |
Часовой пояс GMT +3, время: 08:49.