Файл Robots.txt

[admbuxonly]

Ребят, вчера наткнулся на свой файл Robots.txt случайно проанализировал через вебмастер.яндекс и обнаружил вот это:

User-agent: *
Disallow:
Sitemap: http://finanse-pro.ru/sitemap.xml.gz

Дело в том, что мой сайт уже давно весит в яше, но в индексе только 1 страница и загружена роботом тоже одна. Я все не мог понять почему так. Код, что выше может кто-то рассказать что он значит. Я вроде понял, что Disallow: - это блок, получается он блокирует мою карту сайта? Я просто в этом не силен.

Вобщем заменил я этот код на следующий:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /

# digg mirror
User-agent: duggmirror
Disallow: /

Sitemap: http://www.russian-webstyle.ru/sitemap.xml

User-agent: Yandex
Crawl-delay: 5

Disallow: /tag

Но! Яша ругается, говорит, что

Строка 19: # Google Image Синтаксическая ошибка

Что не правильно? Помогите разобраться!!

[lostawer]

Какой движок?

Добавлено через 5 минут

User-agent: *
Disallow:
Sitemap: http://finanse-pro.ru/sitemap.xml.gz

Этот роботс правильный.

[admbuxonly]

Движок WP

Добавлено через 1 минуту

Сообщение от lostawer

Этот роботс правильный.

А почему до сих пор 1 стр. в поиске и загружена одна. Та уже штук 10 должно быть, и тем более робот яндекса был на моем сайте 28 числа... и сайтмап проверял он там 13 ссылок нашел... а в индекс не ставит ...ппц

[lostawer]

User-agent: *
Disallow: /xmlrpc.php
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /tag/
Disallow: /?s=
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Allow: /wp-content/uploads/
Host: сайт.ru

Sitemap: http://сайт.ru/sitemap.xml

Вот тебе для WP robots

Добавлено через 43 секунды
А на счёт яндекса, что сказать ЖДИ. Не всё так быстро, тем более что ЯВМ обновляется не часто.

[admbuxonly]

Спасибо, буду пробовать...

[kkk008009kkk]

Disallow: /comments/-коменты то зачем блокировать?пусть висят

[lostawer]

Сообщение от kkk008009kkk

Disallow: /comments/-коменты то зачем блокировать?пусть висят

Это пример Robots.txt для MFS, не хочется чтобы спамные коменты были допущены к индексации.

Добавлено через 49 секунд
Хотя и на блоге их тоже стоит блочить.

[kkk008009kkk]

lostawer, Спамные легко отсеиваются, если автор следит за блогом.Они даже к индексу не идут, так как обычно админ должен проверить коммент для его показа.

[lostawer]

Сообщение от kkk008009kkk

lostawer, Спамные легко отсеиваются, если автор следит за блогом.Они даже к индексу не идут, так как обычно админ должен проверить коммент для его показа.

А мне нехер делать больше, как только следить за MFS-ами. Я пока буду следить ещё пару штук сделаю)

[kkk008009kkk]

lostawer,
Так это занимает не более 10 минут в день перед сном.

Как бы между прочим, если контент не уникальный, то комменты разбавляют его, делая уникальным.
Так что на ГС комменты в самый раз.