13.11.2010, 20:29 | #1 |
Специалист
|
robots.txt
У меня есть сайт с элементами флеша, джава скрипта и т.п.
Структура на фтп примерно такая: в корне основные странички: index.html contacts.html и т.п. у каждой страницы есть флешовая заставка, которые находятся в подкаталоге: /flash Так же все скрипты в подкаталоге: /scripts картинки в: /images еще джава скрипты в: /js цсс файлы: /css но насколько знаю он их и так не индексирует Нужно ли это все закрыть в роботс.тхт? Ибо гугл уже проиндексировал мои флеш заставки и всякую фигню. Какая вообще политика роботс.тхт, я закрыл конечно админку и все логи. Стоит ли оставлять только странички, предназначенные для людей? или же картинки и все эти заставки оставлять? спс |
13.11.2010, 21:33 | #3 |
Специалист
|
|
17.11.2010, 17:04 | #4 |
Специалист
|
А если гугл проиндексировал сайт, я потом через роботс.тхт закрыл часть проиндексированного, выкинет ли гугл с индекса эти страницы, и если да, то через сколько примерно?
|
17.11.2010, 20:20 | #5 |
Новичок
Регистрация: 17.11.2010
Сообщений: 9
Вес репутации: 0
|
|
22.11.2010, 02:38 | #9 |
Специалист
|
Не знаю как в яше, но у гоши есть супер функция в панелях вебмастера.
Это удалить ненужные страницы и каталоги с индекса, быстро и удобно. Днем поставил на удаление кучу ненужного хлама, пришел вечером - все удалено. Супер! У меня есть странички, на страничке просто pdf файлик. Нужно ли гоше давать их сканить? Хотя он текст от туда отлично вытаскивает, думаю неплохо. |
22.11.2010, 15:26 | #10 |
Специалист
Регистрация: 13.05.2009
Сообщений: 145
Вес репутации: 0
|
User-agent: *
Disallow: /administrator/ Disallow: /cache/ Disallow: /components/ Disallow: /images/ Disallow: /includes/ Disallow: /installation/ Disallow: /language/ Disallow: /libraries/ Disallow: /media/ Disallow: /modules/ Disallow: /plugins/ Disallow: /templates/ Disallow: /tmp/ Disallow: /xmlrpc/ Вот мой робот.ткст Что нужно убрать или добавить??? |
Опции темы | |
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Robots.txt | FlyingDutchman | Вопросы от новичков | 12 | 17.08.2010 19:03 |
robots | artoff | Вопросы от новичков | 4 | 14.08.2010 11:37 |
Robots.txt для DLE | NIG | Разработка и сопровождение сайтов | 8 | 04.08.2010 13:30 |
robots.txt | Ruganin | Вопросы от новичков | 29 | 24.02.2009 18:20 |
в robots.txt без www... | tito-m | Вопросы от новичков | 4 | 01.12.2008 20:34 |
Часовой пояс GMT +3, время: 17:04.