Старый 30.05.2010, 08:33   #1
Новичок
 
Аватар для admbuxonly
 
Регистрация: 27.03.2010
Сообщений: 23
Вес репутации: 0
admbuxonly на пути к лучшему
Отправить сообщение для admbuxonly с помощью ICQ
По умолчанию Файл Robots.txt

Ребят, вчера наткнулся на свой файл Robots.txt случайно проанализировал через вебмастер.яндекс и обнаружил вот это:

Код:
User-agent: *
Disallow:
Sitemap: http://finanse-pro.ru/sitemap.xml.gz
Дело в том, что мой сайт уже давно весит в яше, но в индексе только 1 страница и загружена роботом тоже одна. Я все не мог понять почему так. Код, что выше может кто-то рассказать что он значит. Я вроде понял, что Disallow: - это блок, получается он блокирует мою карту сайта? Я просто в этом не силен.

Вобщем заменил я этот код на следующий:

Код:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /

# digg mirror
User-agent: duggmirror
Disallow: /

Sitemap: http://www.russian-webstyle.ru/sitemap.xml

User-agent: Yandex
Crawl-delay: 5

Disallow: /tag
Но! Яша ругается, говорит, что

Цитата:
Строка 19: # Google Image Синтаксическая ошибка
Что не правильно? Помогите разобраться!!
admbuxonly вне форума   Ответить с цитированием
Старый 30.05.2010, 08:58   #2
Специалист
 
Аватар для lostawer
 
Регистрация: 14.04.2010
Адрес: 127.0.0.1
Сообщений: 127
Вес репутации: 117
lostawer скоро станет известенlostawer скоро станет известен
Отправить сообщение для lostawer с помощью ICQ
По умолчанию

Какой движок?

Добавлено через 5 минут
Цитата:
User-agent: *
Disallow:
Sitemap: http://finanse-pro.ru/sitemap.xml.gz
Этот роботс правильный.

Последний раз редактировалось lostawer; 30.05.2010 в 08:58. Причина: Добавлено сообщение
lostawer вне форума   Ответить с цитированием
Старый 30.05.2010, 09:06   #3
Новичок
 
Аватар для admbuxonly
 
Регистрация: 27.03.2010
Сообщений: 23
Вес репутации: 0
admbuxonly на пути к лучшему
Отправить сообщение для admbuxonly с помощью ICQ
По умолчанию

Движок WP

Добавлено через 1 минуту
Цитата:
Сообщение от lostawer Посмотреть сообщение
Этот роботс правильный.
А почему до сих пор 1 стр. в поиске и загружена одна. Та уже штук 10 должно быть, и тем более робот яндекса был на моем сайте 28 числа... и сайтмап проверял он там 13 ссылок нашел... а в индекс не ставит ...ппц

Последний раз редактировалось admbuxonly; 30.05.2010 в 09:06. Причина: Добавлено сообщение
admbuxonly вне форума   Ответить с цитированием
Старый 30.05.2010, 09:37   #4
Специалист
 
Аватар для lostawer
 
Регистрация: 14.04.2010
Адрес: 127.0.0.1
Сообщений: 127
Вес репутации: 117
lostawer скоро станет известенlostawer скоро станет известен
Отправить сообщение для lostawer с помощью ICQ
По умолчанию

Цитата:
User-agent: *
Disallow: /xmlrpc.php
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /tag/
Disallow: /?s=
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Allow: /wp-content/uploads/
Host: сайт.ru

Sitemap: http://сайт.ru/sitemap.xml
Вот тебе для WP robots

Добавлено через 43 секунды
А на счёт яндекса, что сказать ЖДИ. Не всё так быстро, тем более что ЯВМ обновляется не часто.

Последний раз редактировалось lostawer; 30.05.2010 в 09:37. Причина: Добавлено сообщение
lostawer вне форума   Ответить с цитированием
Старый 30.05.2010, 09:51   #5
Новичок
 
Аватар для admbuxonly
 
Регистрация: 27.03.2010
Сообщений: 23
Вес репутации: 0
admbuxonly на пути к лучшему
Отправить сообщение для admbuxonly с помощью ICQ
По умолчанию

Спасибо, буду пробовать...
admbuxonly вне форума   Ответить с цитированием
Старый 30.05.2010, 11:07   #6
Новичок
 
Регистрация: 04.05.2010
Сообщений: 70
Вес репутации: 0
kkk008009kkk не любят в этих краяхkkk008009kkk не любят в этих краяхkkk008009kkk не любят в этих краях
По умолчанию

Disallow: /comments/-коменты то зачем блокировать?пусть висят
kkk008009kkk вне форума   Ответить с цитированием
Старый 30.05.2010, 11:46   #7
Специалист
 
Аватар для lostawer
 
Регистрация: 14.04.2010
Адрес: 127.0.0.1
Сообщений: 127
Вес репутации: 117
lostawer скоро станет известенlostawer скоро станет известен
Отправить сообщение для lostawer с помощью ICQ
По умолчанию

Цитата:
Сообщение от kkk008009kkk Посмотреть сообщение
Disallow: /comments/-коменты то зачем блокировать?пусть висят
Это пример Robots.txt для MFS, не хочется чтобы спамные коменты были допущены к индексации.

Добавлено через 49 секунд
Хотя и на блоге их тоже стоит блочить.

Последний раз редактировалось lostawer; 30.05.2010 в 11:46. Причина: Добавлено сообщение
lostawer вне форума   Ответить с цитированием
Старый 30.05.2010, 11:51   #8
Новичок
 
Регистрация: 04.05.2010
Сообщений: 70
Вес репутации: 0
kkk008009kkk не любят в этих краяхkkk008009kkk не любят в этих краяхkkk008009kkk не любят в этих краях
По умолчанию

lostawer, Спамные легко отсеиваются, если автор следит за блогом.Они даже к индексу не идут, так как обычно админ должен проверить коммент для его показа.
kkk008009kkk вне форума   Ответить с цитированием
Старый 30.05.2010, 11:56   #9
Специалист
 
Аватар для lostawer
 
Регистрация: 14.04.2010
Адрес: 127.0.0.1
Сообщений: 127
Вес репутации: 117
lostawer скоро станет известенlostawer скоро станет известен
Отправить сообщение для lostawer с помощью ICQ
По умолчанию

Цитата:
Сообщение от kkk008009kkk Посмотреть сообщение
lostawer, Спамные легко отсеиваются, если автор следит за блогом.Они даже к индексу не идут, так как обычно админ должен проверить коммент для его показа.
А мне нехер делать больше, как только следить за MFS-ами. Я пока буду следить ещё пару штук сделаю)
lostawer вне форума   Ответить с цитированием
Старый 30.05.2010, 12:14   #10
Новичок
 
Регистрация: 04.05.2010
Сообщений: 70
Вес репутации: 0
kkk008009kkk не любят в этих краяхkkk008009kkk не любят в этих краяхkkk008009kkk не любят в этих краях
По умолчанию

lostawer,
Так это занимает не более 10 минут в день перед сном.

Как бы между прочим, если контент не уникальный, то комменты разбавляют его, делая уникальным.
Так что на ГС комменты в самый раз.
kkk008009kkk вне форума   Ответить с цитированием
Ответ

Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Help!!! Как удалить файл? Lesnik59 Курилка 16 07.02.2010 12:33
Лог файл по слипам. Tai Neko Пожелания пользователей системы 9 08.12.2009 15:37
запрет страниц для индекса через файл robots.txt Dr.Dream Яндекс 9 23.08.2009 23:29
Бот сапы смотрит на файл robots.txt? mekal Вопросы по работе системы 13 18.10.2008 15:20
Закачать файл 100 мб? Mr.Wolf Курилка 21 11.03.2008 15:32


Часовой пояс GMT +3, время: 04:46.