Старый 13.11.2010, 20:29   #1
Специалист
 
Аватар для FlyingDutchman
 
Регистрация: 10.08.2010
Сообщений: 350
Вес репутации: 174
FlyingDutchman - весьма и весьма положительная личностьFlyingDutchman - весьма и весьма положительная личность
Отправить сообщение для FlyingDutchman с помощью ICQ
По умолчанию robots.txt

У меня есть сайт с элементами флеша, джава скрипта и т.п.
Структура на фтп примерно такая:
в корне основные странички:
index.html
contacts.html и т.п.
у каждой страницы есть флешовая заставка, которые находятся в подкаталоге:
/flash
Так же все скрипты в подкаталоге:
/scripts
картинки в:
/images
еще джава скрипты в:
/js
цсс файлы:
/css но насколько знаю он их и так не индексирует

Нужно ли это все закрыть в роботс.тхт?
Ибо гугл уже проиндексировал мои флеш заставки и всякую фигню.
Какая вообще политика роботс.тхт, я закрыл конечно админку и все логи. Стоит ли оставлять только странички, предназначенные для людей? или же картинки и все эти заставки оставлять?

спс
FlyingDutchman вне форума   Ответить с цитированием
Старый 13.11.2010, 21:22   #2
Печник
 
Аватар для ubuntu
 
Регистрация: 11.10.2009
Адрес: Наш мир
Сообщений: 2,060
Вес репутации: 232
ubuntu - за этого человека можно гордитсяubuntu - за этого человека можно гордитсяubuntu - за этого человека можно гордитсяubuntu - за этого человека можно гордитсяubuntu - за этого человека можно гордитсяubuntu - за этого человека можно гордитсяubuntu - за этого человека можно гордитсяubuntu - за этого человека можно гордитсяubuntu - за этого человека можно гордитсяubuntu - за этого человека можно гордится
По умолчанию

Закройте все, что не приносит пользы вашему сайту, картинки - оставьте.
__________________
Сайты на Друпале, я держу здесь.
ubuntu вне форума   Ответить с цитированием
Старый 13.11.2010, 21:33   #3
Специалист
 
Аватар для FlyingDutchman
 
Регистрация: 10.08.2010
Сообщений: 350
Вес репутации: 174
FlyingDutchman - весьма и весьма положительная личностьFlyingDutchman - весьма и весьма положительная личность
Отправить сообщение для FlyingDutchman с помощью ICQ
По умолчанию

Цитата:
Сообщение от ubuntu Посмотреть сообщение
Закройте все, что не приносит пользы вашему сайту, картинки - оставьте.
Как-то многозначительно сказано.
Скрипты, заставки все приносит пользу сайту.
FlyingDutchman вне форума   Ответить с цитированием
Старый 17.11.2010, 17:04   #4
Специалист
 
Аватар для FlyingDutchman
 
Регистрация: 10.08.2010
Сообщений: 350
Вес репутации: 174
FlyingDutchman - весьма и весьма положительная личностьFlyingDutchman - весьма и весьма положительная личность
Отправить сообщение для FlyingDutchman с помощью ICQ
По умолчанию

А если гугл проиндексировал сайт, я потом через роботс.тхт закрыл часть проиндексированного, выкинет ли гугл с индекса эти страницы, и если да, то через сколько примерно?
FlyingDutchman вне форума   Ответить с цитированием
Старый 17.11.2010, 20:20   #5
Новичок
 
Регистрация: 17.11.2010
Сообщений: 9
Вес репутации: 0
13L на пути к лучшему
По умолчанию

Цитата:
Сообщение от FlyingDutchman Посмотреть сообщение
А если гугл проиндексировал сайт, я потом через роботс.тхт закрыл часть проиндексированного, выкинет ли гугл с индекса эти страницы, и если да, то через сколько примерно?
Да, выкинет, через несколько апдейтов.
13L вне форума   Ответить с цитированием
Старый 18.11.2010, 18:10   #6
Эксперт
 
Аватар для Cyj
 
Регистрация: 01.04.2008
Адрес: Москва
Сообщений: 1,131
Вес репутации: 233
Cyj - прекрасное будущееCyj - прекрасное будущееCyj - прекрасное будущееCyj - прекрасное будущееCyj - прекрасное будущееCyj - прекрасное будущееCyj - прекрасное будущееCyj - прекрасное будущееCyj - прекрасное будущееCyj - прекрасное будущееCyj - прекрасное будущее
По умолчанию

Для индексирование оставьте хтмл страницы и картинки, остальное запрещайте.
Еще нужные страницы продублируйте в сайтмапе.
Cyj вне форума   Ответить с цитированием
Старый 21.11.2010, 23:38   #7
Специалист
 
Регистрация: 13.05.2009
Сообщений: 145
Вес репутации: 0
Accord не любят в этих краяхAccord не любят в этих краяхAccord не любят в этих краяхAccord не любят в этих краях
По умолчанию

Интересно насколько важно разобраться в файле robot.txt?
Как это влияет на поднятие позиций в яндексе?
Как влияет на индексацию?
Accord вне форума   Ответить с цитированием
Старый 22.11.2010, 00:31   #8
Эксперт
 
Аватар для Cyj
 
Регистрация: 01.04.2008
Адрес: Москва
Сообщений: 1,131
Вес репутации: 233
Cyj - прекрасное будущееCyj - прекрасное будущееCyj - прекрасное будущееCyj - прекрасное будущееCyj - прекрасное будущееCyj - прекрасное будущееCyj - прекрасное будущееCyj - прекрасное будущееCyj - прекрасное будущееCyj - прекрасное будущееCyj - прекрасное будущее
По умолчанию

На индексацию влияет тем, что будет индексироваться или нет.
Лишние страницы надо обязательно убирать. Для одного запроса обязательно должна быть одна страница.
Cyj вне форума   Ответить с цитированием
Старый 22.11.2010, 02:38   #9
Специалист
 
Аватар для FlyingDutchman
 
Регистрация: 10.08.2010
Сообщений: 350
Вес репутации: 174
FlyingDutchman - весьма и весьма положительная личностьFlyingDutchman - весьма и весьма положительная личность
Отправить сообщение для FlyingDutchman с помощью ICQ
По умолчанию

Не знаю как в яше, но у гоши есть супер функция в панелях вебмастера.
Это удалить ненужные страницы и каталоги с индекса, быстро и удобно.
Днем поставил на удаление кучу ненужного хлама, пришел вечером - все удалено. Супер!
У меня есть странички, на страничке просто pdf файлик. Нужно ли гоше давать их сканить? Хотя он текст от туда отлично вытаскивает, думаю неплохо.
FlyingDutchman вне форума   Ответить с цитированием
Старый 22.11.2010, 15:26   #10
Специалист
 
Регистрация: 13.05.2009
Сообщений: 145
Вес репутации: 0
Accord не любят в этих краяхAccord не любят в этих краяхAccord не любят в этих краяхAccord не любят в этих краях
По умолчанию

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/


Вот мой робот.ткст Что нужно убрать или добавить???
Accord вне форума   Ответить с цитированием
Ответ

Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Robots.txt FlyingDutchman Вопросы от новичков 12 17.08.2010 19:03
robots artoff Вопросы от новичков 4 14.08.2010 11:37
Robots.txt для DLE NIG Разработка и сопровождение сайтов 8 04.08.2010 13:30
robots.txt Ruganin Вопросы от новичков 29 24.02.2009 18:20
в robots.txt без www... tito-m Вопросы от новичков 4 01.12.2008 20:34


Часовой пояс GMT +3, время: 17:04.