| admbuxonly |
30.05.2010 08:33 |
Файл Robots.txt
Ребят, вчера наткнулся на свой файл Robots.txt случайно проанализировал через вебмастер.яндекс и обнаружил вот это:
Код:
User-agent: *
Disallow:
Sitemap: http://finanse-pro.ru/sitemap.xml.gz
Дело в том, что мой сайт уже давно весит в яше, но в индексе только 1 страница и загружена роботом тоже одна. Я все не мог понять почему так. Код, что выше может кто-то рассказать что он значит. Я вроде понял, что Disallow: - это блок, получается он блокирует мою карту сайта? Я просто в этом не силен.
Вобщем заменил я этот код на следующий:
Код:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /
# digg mirror
User-agent: duggmirror
Disallow: /
Sitemap: http://www.russian-webstyle.ru/sitemap.xml
User-agent: Yandex
Crawl-delay: 5
Disallow: /tag
Но! Яша ругается, говорит, что
Цитата:
Строка 19: # Google Image Синтаксическая ошибка
|
Что не правильно? Помогите разобраться!! |
