Форум SAPE.RU

Форум SAPE.RU (http://forum.sape.ru/index.php)
-   Разработка и сопровождение сайтов (http://forum.sape.ru/forumdisplay.php?f=29)
-   -   robots.txt для Wordpress? (http://forum.sape.ru/showthread.php?t=91111)

Zevss 09.11.2013 14:10

robots.txt для Wordpress?
 

Уважаемые гуру, что скажете, все ли тут правильно?


Код:
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Host: мойсайт.ru

Sitemap: http://мойсайт.ru/sitemap.xml
Sitemap: http://мойсайт.ru/sitemap.xml.gz

lbmoney 09.11.2013 16:52

Я извиняюсь за наглость, но меня также интересует настройка Роботс для сайтов на ВП. Я хотел бы для себя уточнить некоторые моменты на будущее.

Два кода - один для Яндекса, второй для других ПС?

Код:
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed

Эти команды закрывают ненужные страницы для индексации, не содержащие контент для посетителей?

Disallow: */comments

ЧТо именно тут запрещается индексировать, касательно комментариев?

Disallow: /*?*
Disallow: /*?

За что отвечают эти команды?

Disallow: /category/*/*

Вот этот пункт для меня наиболее важен. Дело в том, что я хочу чтобы главные страницы рубрик выступали как уникальные полноценные страницы и боролись за СЧ запросы, имели свой текст и т.п. Этой командой закрываем дубли страниц рубрик из-за большого количества записей в рубрике?

Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments

Тут снова касательно комментариев что-то, но в чем разница?

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Host: мойсайт.ru

Для чего указывается hosts?

Sitemap: http://мойсайт.ru/sitemap.xml
Sitemap: http://мойсайт.ru/sitemap.xml.gz

D.iK.iJ 09.11.2013 18:28

С ВП не работал, но * - это любой символ или последовательность.
Например: Disallow: /*?* - это скорее всего запрет индексации всех страниц с параметрами. И просто с вопросом: /*?

А hosts - указывать обязательно! Это главное зеркало сайта. Иначе Яша может ваш сайт без www. сделать зеркалом сайта с www (и наоборот) а склейщика потом не дождетесь.

Ну и указано все отдельно для Яши - именно из-за хост скорее всего. Вроде, Гугл его не поддерживает... но, в общем-то, пофиг :)

lbmoney 09.11.2013 18:53

Цитата:

Сообщение от D.iK.iJ (Сообщение 1364796)

А hosts - указывать обязательно! Это главное зеркало сайта. Иначе Яша может ваш сайт без www. сделать зеркалом сайта с www (и наоборот) а склейщика потом не дождетесь.

А исходя из каких принципов выбирать главное зеркало лучше всего?

D.iK.iJ 09.11.2013 19:51

Цитата:

Сообщение от lbmoney (Сообщение 1364800)
А исходя из каких принципов выбирать главное зеркало лучше всего?

У меня - сайт без WWW. И в htaccess переадресация стоит. А вообще - выбирают обычно по степени проиндексированности :)
Для этого движка - не знаю даже.

struva 09.11.2013 20:16

Цитата:

Сообщение от D.iK.iJ (Сообщение 1364803)
У меня - сайт без WWW. И в htaccess переадресация стоит. А вообще - выбирают обычно по степени проиндексированности :)
Для этого движка - не знаю даже.

а что нужно писать в htaccess ? Какой код на переадресацию?

D.iK.iJ 09.11.2013 20:27

У меня сайт без www. и в файле .htaccess код такой:
PHP код:

RewriteEngine On
         RewriteBase 
/
         
RewriteRule ^.htaccess$ - [F#запрет просмотра .htaccess
         
RewriteCond %{HTTP_HOST} ^www.dikij.com$ [NC]
         
RewriteRule (.*) http://dikij.com/$1 [R=301] 


zhegloff 09.11.2013 21:23

Цитата:

Сообщение от lbmoney (Сообщение 1364800)
А исходя из каких принципов выбирать главное зеркало лучше всего?

Исходя из своих внутренних убеждений.

zeta 09.11.2013 21:42

Цитата:

Сообщение от lbmoney (Сообщение 1364800)
А исходя из каких принципов выбирать главное зеркало лучше всего?

вы когда у хостера домен прописывали -> какой сделали основным доменом сайта - тот и ставьте

lbmoney 10.11.2013 22:01

Так а в целом у Zevss а правильный код, с точки зрения того же SEO?


Часовой пояс GMT +3, время: 17:14.

Работает на vBulletin® версия 3.8.7.
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Перевод: zCarot
SAPE.RU — система купли-продажи ссылок с главных и внутренних страниц сайтов.