10.07.2009, 20:02 | #1 |
Новичок
Регистрация: 11.03.2008
Сообщений: 21
Вес репутации: 0
|
Robots.txt для Dle. Делаем правильно. Да будет сайт проиндексирован.
В связи с большим количеством вопросов по правильной индексации сайтов на основе DLE, выкладываю правила для создания robots.txt для DLE.
Создание robotx.txt для dle. Ситуация: Яндекс индексирует страницы для печати (print:...) и, со временем, выбрасывает новости, для которых соответствуют страницы для печати. Результат: Со временем сайт в поисковом индексе представляет собой почти сплошное собрание страниц для печати. Проблема: Для бирж ссылок трудно продать ссылки с этих страниц. Решение: Запрещаем страницы для печати: User-agent: * Disallow: /*print Ситуация: Индексируются страницы /user/. Спамеры "толкают" страницы на их профили т.к. последние содержат внешние ссылки (спам). Результат: Передаются ненужные Вам веса спамерским ссылкам. Решение: Запрещаем /user/: Disallow: /*print Ситуация: Индексируются страницы, не содержащие контент. Результат: Всё равно выпадут со временем, лишняя нагрузка на поискового робота, ненужные директивы. Решение: Запрещаем подобные директории: Disallow: /backup/ Disallow: /engine/ Disallow: /language/ Disallow: /templates/ Disallow: /upgrade/ Disallow: /uploads/ Disallow: /autobackup.php Disallow: /admin.php Ситуация: Индексируются страницы вида: */index.php?do=* Результат: Никакой пользы для сайта не принесут. Решение: Запрещаем все такие страницы, а также страницу /index.php?subaction=newposts и /?do=lastcomments. Ну и статистику не мешало бы убрать (Disallow: /statistics.html): Disallow: /index.php?do=addnews Disallow: /index.php?do=feedback Disallow: /index.php?do=lostpassword Disallow: /index.php?do=pm Disallow: /index.php?do=register Disallow: /index.php?do=stats Disallow: /index.php?do=search Disallow: /index.php?subaction=newposts Disallow: /?do=lastcomments Disallow: /statistics.html Не лишним будет напомнить, что нужно обязательно создавать карту сайта в админ панели. Карта сайта будет находится по адресу: Ваш_сайт/sitemap.xml Далее явно задаём местонахождение нашей карты сайта в robots.txt: Sitemap: Ваш_сайт/sitemap.xml Явно задаём хост. User-agent: Yandex Host: Ваш_сайт Nota bene!: Если иметь много сайтов на одном аккаунте хостинга, на некоторых панелях хостинга (hsphere, directadmin) из-за отсутствия задания хоста может возникнуть склеивание всех сайтов в виде заркал для сайта, идущего первым по алфавиту. Поэтому хост берём за правило прописывать явно. Nota bene 2!: Если сайт уже проиндексирован, то, чтобы узнать, как правильнее задавать хост (с www или без www) (для случая с ПС Яндекс) вводим в браузере: http://yandex.ru/yandsearch?serverurl=ваш_сайт. От того, с www или без www проиндексирован зависит то, с www или без www будем задавать хост, т.е.: Host: www.Ваш_сайт или Host: Ваш_сайт Nota bene 3!: Если сайт ещё (или уже ) не проиндексирован, то задаём то из значения, которое либо указано при установке движка, либо то, которое больше нравится. Подводим итог и выводим общий вид универсального robots.txt для сайта на CMS DLE: Код:
User-agent: * Disallow: /*print Запрещаем /user/ Disallow: /backup/ Disallow: /engine/ Disallow: /language/ Disallow: /templates/ Disallow: /upgrade/ Disallow: /uploads/ Disallow: /autobackup.php Disallow: /admin.php Disallow: /index.php?do=addnews Disallow: /index.php?do=feedback Disallow: /index.php?do=lostpassword Disallow: /index.php?do=pm Disallow: /index.php?do=register Disallow: /index.php?do=stats Disallow: /index.php?do=search Disallow: /index.php?subaction=newposts Disallow: /?do=lastcomments Disallow: /statistics.html Sitemap: http://Ваш_сайт/sitemap.xml User-agent: Yandex Host: Ваш_сайт Вставляйте в каждый из Ваших сайтов, не ленитесь и всё у Вас будет хорошо. |
11.07.2009, 06:38 | #3 | |
Специалист
|
Слишком мудрёно. Яша больше любит так:
Цитата:
Wrong! C этих страниц продаются ссылки на ура! Последний раз редактировалось siteground; 11.07.2009 в 06:38. Причина: Добавлено сообщение |
|
Опции темы | |
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Пишет: сайт не проиндексирован ПС Яндекс | alxx88 | Вопросы от новичков | 14 | 19.03.2009 08:17 |
Сайт проиндексирован, но показывается обратное | V I P | Ошибки при работе с системой | 3 | 06.09.2008 00:11 |
Сайт не проиндексирован ПС Яндекс ? | inkvizitor | Вопросы от новичков | 10 | 07.05.2008 03:22 |
«Сайт не проиндексирован ПС Яндекс» | LXj | Вопросы от новичков | 5 | 24.01.2008 22:25 |
Сайт проиндексирован | Alex-Spb | Вопросы по работе системы | 15 | 22.01.2008 14:22 |
Часовой пояс GMT +3, время: 17:24.