robots.txt
 

У меня есть сайт с элементами флеша, джава скрипта и т.п.
Структура на фтп примерно такая:
в корне основные странички:
index.html
contacts.html и т.п.
у каждой страницы есть флешовая заставка, которые находятся в подкаталоге:
/flash
Так же все скрипты в подкаталоге:
/scripts
картинки в:
/images
еще джава скрипты в:
/js
цсс файлы:
/css но насколько знаю он их и так не индексирует

Нужно ли это все закрыть в роботс.тхт?
Ибо гугл уже проиндексировал мои флеш заставки и всякую фигню.
Какая вообще политика роботс.тхт, я закрыл конечно админку и все логи. Стоит ли оставлять только странички, предназначенные для людей? или же картинки и все эти заставки оставлять?

спс

Закройте все, что не приносит пользы вашему сайту, картинки - оставьте.

Как-то многозначительно сказано.
Скрипты, заставки все приносит пользу сайту.

А если гугл проиндексировал сайт, я потом через роботс.тхт закрыл часть проиндексированного, выкинет ли гугл с индекса эти страницы, и если да, то через сколько примерно?

Да, выкинет, через несколько апдейтов.

Для индексирование оставьте хтмл страницы и картинки, остальное запрещайте.
Еще нужные страницы продублируйте в сайтмапе.

Интересно насколько важно разобраться в файле robot.txt?
Как это влияет на поднятие позиций в яндексе?
Как влияет на индексацию?

На индексацию влияет тем, что будет индексироваться или нет.
Лишние страницы надо обязательно убирать. Для одного запроса обязательно должна быть одна страница.

Не знаю как в яше, но у гоши есть супер функция в панелях вебмастера.
Это удалить ненужные страницы и каталоги с индекса, быстро и удобно.
Днем поставил на удаление кучу ненужного хлама, пришел вечером - все удалено. Супер!
У меня есть странички, на страничке просто pdf файлик. Нужно ли гоше давать их сканить? Хотя он текст от туда отлично вытаскивает, думаю неплохо.

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/


Вот мой робот.ткст Что нужно убрать или добавить???