вопрос по robots.txt

exe2 · 07.04.2008, 20:29

вопрос по robots.txt
если я закрыл в robots.txt доступ поисковикам в определенный каталог, то он в него точно не зайдет ли всё же ему п.л.е.в.а.т.ь на то что я ему запретил?

den78ru · 07.04.2008, 20:32

В теории не должен.
Если очень боишься за инфу в данном каталоге - отдавай роботам с него 404

exe2 · 07.04.2008, 20:36

Цитата:

Сообщение от den78ru

В теории не должен.
Если очень боишься за инфу в данном каталоге - отдавай роботам с него 404

ну не то что бы боюсь, просто вот фишка в чем, поставил каталог сайтов/линков у себя на хосте, hxxp://mippcsite.net/catalog и в роботе закрыл для него доступ для поисковиков. вот теперь думаю как бы сделать так тчо бы ПС не спалил его и не удалил за линко помойку.
но всё ссылки там пока что не закрыты в ноиндекс и ноуфолов

den78ru · 07.04.2008, 20:45

добавь
<META content="NOINDEX, NOFOLLOW" name=ROBOTS>

Jooz · 07.04.2008, 21:26

Зайдет 100% проверяльщик линкаторов. <noindex> исключает только выдачу и переход по внешним ссылкам. META content="NOINDEX, NOFOLLOW" name=ROBOTS аналогично. А для своего анализа ПС обязательно посмотрит что там к чему.

slonis4e · 07.04.2008, 21:27

явой прикрой ссылку.. помимо роботса

Jooz · 07.04.2008, 21:28

Цитата:

Сообщение от slonis4e

явой прикрой ссылку.. помимо роботса

Верно, но нельзя исключать появление нормальных ссылок с наружи. А каталог я так понимаю будет кнопочки раздавать.

den78ru · 07.04.2008, 21:32

Цитата:

Сообщение от slonis4e

явой прикрой ссылку.. помимо роботса

Абсолютно бесполезная затея. Каталоги ставят частенько ссылку на страницу со ссылкой на себя. И это не обязательно кривость или злой умысел, просто некоторые движки катов так устрены, что адрес страницы, где в теории стоит ссылка на них и по которой робот каталога шарится её проверять, открыта для индексации.

slonis4e · 07.04.2008, 21:36

нуу.. человек же не говорил, что будет урлы ентова каталога светить :-)) может это каталог северогвинейских страусов :-))

exe2 · 07.04.2008, 22:24

урлы светится будут, ну т.е. где-то может и промилькнет моя ссылка на каталог.
решил все ссылки прикрыть через go.php и замутить всё и сразу, т.к. вы писали и в мете и в роботе и вообще noindex везде там)

ЗЫ: а каталог вообще сделан для поднятия тИЦ, правда не очень честный методом, но всё же кому тИЦ роли не играет очень даже пригодится. иногда меняешься ссылками с каким-то сайтом на народ.ру девочки блондинки и она добавляет просто ссылку у меня в каталоге и мою у себя, каталог пробивает есть ли ссылка и тогда оставляет. итог: девочка рада и думает что кто-то зайдет по её ссылке и вполне возможно что кто-то зайдет всё же и я рад и знаю что тИЦ возмоно поднимется из-за десятка таких сайтов девачек на народ.ру

07.04.2008, 20:29	#1
exe2 Специалист Регистрация: 08.01.2008 Сообщений: 303 Вес репутации: 210	вопрос по robots.txt вопрос по robots.txt если я закрыл в robots.txt доступ поисковикам в определенный каталог, то он в него точно не зайдет ли всё же ему п.л.е.в.а.т.ь на то что я ему запретил? __________________ Где симпсоны? Тут Всё о Симпсонах Развлечения? Будут вам развлечения Астрология и гороскоп нужен? а он есть тут: Астрология любви и гороскопы

07.04.2008, 21:26	#5
Jooz Вредина Регистрация: 03.07.2007 Адрес: д.Коноплянка Сообщений: 3,535 Вес репутации: 432	Зайдет 100% проверяльщик линкаторов. <noindex> исключает только выдачу и переход по внешним ссылкам. META content="NOINDEX, NOFOLLOW" name=ROBOTS аналогично. А для своего анализа ПС обязательно посмотрит что там к чему. __________________ Чтобы произошло чудо нужно обязательно дунуть. Если не дунуть - чуда не произойдет! ツ

07.04.2008, 21:27	#6
slonis4e Новичок Регистрация: 26.12.2007 Сообщений: 80 Вес репутации: 200	явой прикрой ссылку.. помимо роботса __________________ качественный рерайт статей. из одной - тысяча! брось пить! послушай жану! для тех, ради кого живем

07.04.2008, 21:36	#9
slonis4e Новичок Регистрация: 26.12.2007 Сообщений: 80 Вес репутации: 200	нуу.. человек же не говорил, что будет урлы ентова каталога светить :-)) может это каталог северогвинейских страусов :-)) __________________ качественный рерайт статей. из одной - тысяча! брось пить! послушай жану! для тех, ради кого живем

07.04.2008, 22:24	#10
exe2 Специалист Регистрация: 08.01.2008 Сообщений: 303 Вес репутации: 210	урлы светится будут, ну т.е. где-то может и промилькнет моя ссылка на каталог. решил все ссылки прикрыть через go.php и замутить всё и сразу, т.к. вы писали и в мете и в роботе и вообще noindex везде там) ЗЫ: а каталог вообще сделан для поднятия тИЦ, правда не очень честный методом, но всё же кому тИЦ роли не играет очень даже пригодится. иногда меняешься ссылками с каким-то сайтом на народ.ру девочки блондинки и она добавляет просто ссылку у меня в каталоге и мою у себя, каталог пробивает есть ли ссылка и тогда оставляет. итог: девочка рада и думает что кто-то зайдет по её ссылке и вполне возможно что кто-то зайдет всё же и я рад и знаю что тИЦ возмоно поднимется из-за десятка таких сайтов девачек на народ.ру __________________ Где симпсоны? Тут Всё о Симпсонах Развлечения? Будут вам развлечения Астрология и гороскоп нужен? а он есть тут: Астрология любви и гороскопы Последний раз редактировалось exe2; 07.04.2008 в 22:26.

07.04.2008, 20:32	#2
den78ru Погулять вышел Регистрация: 15.05.2007 Адрес: С-Пб! О/ВМ 50/50 Сообщений: 1,921 Вес репутации: 316	В теории не должен. Если очень боишься за инфу в данном каталоге - отдавай роботам с него 404

07.04.2008, 20:45	#4
den78ru Погулять вышел Регистрация: 15.05.2007 Адрес: С-Пб! О/ВМ 50/50 Сообщений: 1,921 Вес репутации: 316	добавь <META content="NOINDEX, NOFOLLOW" name=ROBOTS>

Похожие темы
Тема	Автор	Раздел	Ответов	Последнее сообщение
robots.txt	Alexander	Разработка и сопровождение сайтов	10	25.02.2010 21:54
Подскажите про robots.txt	админ	Курилка	8	19.04.2008 19:19
301 для robots.txt	eveningspend	Вопросы от новичков	4	24.02.2008 12:42
Вопрос по Яше и robots.txt	IPV	Яндекс	1	07.11.2007 11:33
Robots.txt	leszkin	Вопросы по работе системы	7	17.09.2007 09:37