19.12.2007, 11:43 | #1 |
Специалист
Регистрация: 20.02.2007
Сообщений: 305
Вес репутации: 221
|
Яндекс и robots.txt
Прописал в robots.txt:
user-agent: * disallow: file.html Проверил по Яндексу: http://www.yandex.ru/cgi-bin/test-robots?host=имя.ru Написано: Данный файл robots.txt ничего не запрещает. Глюк? Прочитал, что можно сделать так: user-agent: * disallow: /file Поможет? |
19.12.2007, 11:52 | #2 |
Хитрый жук
Регистрация: 05.12.2007
Адрес: Конаково
Сообщений: 2,987
Вес репутации: 389
|
user-agent: *
disallow: /file.html |
19.12.2007, 12:10 | #3 |
Специалист
Регистрация: 20.02.2007
Сообщений: 305
Вес репутации: 221
|
Ок.
В массе литературы написано, что достаточно написать: disallow: file.html http://www.webmascon.com/topics/adv/8a.asp http://www.realcoding.net/article/view/4440 Это меня и сбило... |
19.12.2007, 12:18 | #4 | ||
Новичок
|
Цитата:
Например: http://site.ru/blabla/file.html http://site.ru/go/file.html http://site.ru/file.html Цитата:
|
||
19.12.2007, 12:18 | #5 |
Хитрый жук
Регистрация: 05.12.2007
Адрес: Конаково
Сообщений: 2,987
Вес репутации: 389
|
disallow: file.html - запрет индексации file.html в любом месте
disallow: /file.html - запрет индексации file.html в корне сайта |
19.12.2007, 13:45 | #6 |
Специалист
Регистрация: 18.08.2007
Адрес: Минск
Сообщений: 262
Вес репутации: 210
|
Вот тут все примеры что правильно что нет
http://robotstxt.org.ru/RobotstxtErrors |
19.12.2007, 14:00 | #7 | ||
Специалист
Регистрация: 18.06.2007
Сообщений: 175
Вес репутации: 210
|
Цитата:
Цитата:
__________________
|
||
19.12.2007, 14:12 | #8 |
Эксперт
Регистрация: 21.08.2007
Адрес: Мск
Сообщений: 1,503
Вес репутации: 271
|
Когда Яндекс начнёт понимать символы подстановки, хотя в роботсе он читает эти символы, но фактически игнорирует.
Использование в Disallow символов подстановки Иногда необходимо написать что-то вроде: User-agent: * Disallow: file*.html |
19.12.2007, 14:24 | #9 | |
Хитрый жук
Регистрация: 05.12.2007
Адрес: Конаково
Сообщений: 2,987
Вес репутации: 389
|
Цитата:
Offtop, но про robots.txt: http://forum.sape.ru/showthread.php?t=6894 |
|
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
robots.txt | Alexander | Разработка и сопровождение сайтов | 10 | 25.02.2010 21:54 |
вопрос по robots.txt | exe2 | Разработка и сопровождение сайтов | 11 | 08.04.2008 21:00 |
301 для robots.txt | eveningspend | Вопросы от новичков | 4 | 24.02.2008 12:42 |
Robots.txt | leszkin | Вопросы по работе системы | 7 | 17.09.2007 09:37 |
Немного о robots.txt | Kater | Разработка и сопровождение сайтов | 10 | 19.08.2007 09:11 |
Часовой пояс GMT +3, время: 12:17.