Подскажите про robots.txt

админ · 19.04.2008, 04:58

Удалил партнерский магазин на одном сайте и хочу выкинуть его из индекса гугла.
Адрес был /index.php?do=market и далее.
Как правильно написать в robots.txt?

Код:

User-agent: Googlebot

Disallow: /index.php?do=market*

Код:

User-agent: Googlebot

Disallow: /*?do=market*

Или по другому?

siarzhuk · 19.04.2008, 10:12

Код HTML:

User-agent: Googlebot
Disallow: /index.php?do=market

вот так

админ · 19.04.2008, 12:19

попробую ))

ahsinis · 19.04.2008, 13:51

Все записи правильные.
А вот интересно, что Гугл в панеле вебмастера пишет, что нет страниц запрещенных к индексации, хотя роботс.тхт такой

User-agent: *
Disallow: /redirect/

Может он не воспринимает User-agent: * ?

админ · 19.04.2008, 15:23

да должен воспринимать, я вчера чето читал про * у них

D.iK.iJ · 19.04.2008, 18:03

Цитата:

Сообщение от ahsinis

User-agent: *
Disallow: /redirect/

Мне кажется, лучше так написать:

User-agent: *
Disallow: /redirect

Иначе Яша, например может сдуру проиндексировать /redirect так как не запрещено!

V!rus · 19.04.2008, 18:11

а если надо топики форума закрыть,

Цитата:

User-agent: *
Disallow: /index.php?showtopic=*

правильно?

D.iK.iJ · 19.04.2008, 18:14

Я звездочки нигде не пользовал... Яша и так Disallow: /index.php?showtopic понимает.
Проще всего проверить через их панель Вебмастера.

ahsinis · 19.04.2008, 19:19

Да звездочки в конце строки автоматом добавляются Яшой, вот их примеры
http://help.yandex.ru/webmaster/?id=996567

Цитата:

По умолчанию к концу каждого правила, описанного в robots.txt, приписывается '*', например:

User-agent: Yandex
Disallow: /cgi-bin* # блокирует доступ к страницам начинающимся с '/cgi-bin'
Disallow: /cgi-bin # то же самое

19.04.2008, 04:58	#1
админ Эксперт Регистрация: 04.02.2007 Сообщений: 2,242 Вес репутации: 383	Подскажите про robots.txt Удалил партнерский магазин на одном сайте и хочу выкинуть его из индекса гугла. Адрес был /index.php?do=market и далее. Как правильно написать в robots.txt? Код: User-agent: Googlebot Disallow: /index.php?do=market* Код: User-agent: Googlebot Disallow: /?do=market Или по другому? __________________ тиц до яиц )) © Последний раз редактировалось админ; 19.04.2008 в 05:01.

19.04.2008, 10:12	#2
siarzhuk Мастер Регистрация: 08.06.2007 Адрес: Минск Сообщений: 909 Вес репутации: 239	Код HTML: User-agent: Googlebot Disallow: /index.php?do=market вот так

19.04.2008, 12:19	#3
админ Эксперт Регистрация: 04.02.2007 Сообщений: 2,242 Вес репутации: 383	попробую )) __________________ тиц до яиц )) ©

19.04.2008, 15:23	#5
админ Эксперт Регистрация: 04.02.2007 Сообщений: 2,242 Вес репутации: 383	да должен воспринимать, я вчера чето читал про * у них __________________ тиц до яиц )) ©

19.04.2008, 18:14	#8
D.iK.iJ Дикий Регистрация: 02.06.2007 Адрес: <Noindex> Сообщений: 2,551 Вес репутации: 355	Я звездочки нигде не пользовал... Яша и так Disallow: /index.php?showtopic понимает. Проще всего проверить через их панель Вебмастера. __________________ Сделаю адаптивный дизайн для любого сайта! Ну и адаптация сайтов - в 2 строчки. Делаю кулоны с опалами в стекле и не только!

19.04.2008, 13:51	#4
ahsinis Мастер Регистрация: 17.03.2008 Сообщений: 638 Вес репутации: 237	Все записи правильные. А вот интересно, что Гугл в панеле вебмастера пишет, что нет страниц запрещенных к индексации, хотя роботс.тхт такой User-agent: * Disallow: /redirect/ Может он не воспринимает User-agent: * ?

Похожие темы
Тема	Автор	Раздел	Ответов	Последнее сообщение
robots.txt	Alexander	Разработка и сопровождение сайтов	10	25.02.2010 21:54
вопрос по robots.txt	exe2	Разработка и сопровождение сайтов	11	08.04.2008 21:00
301 для robots.txt	eveningspend	Вопросы от новичков	4	24.02.2008 12:42
Robots.txt что то с гуглем не то......	Sergeixp	Google, MSN, Yahoo	2	15.01.2008 19:33
Robots.txt	leszkin	Вопросы по работе системы	7	17.09.2007 09:37