Конкретизация запрета хтаксес

Challenger · 25.11.2008, 21:29

Суть вопроса такова, что нужно запретить поисковым ботам Гоши и Яши лазить в определенный раздел сайта и, как следствие, запретить индексацию всех страниц этого раздела сайта и самого раздела (самого раздела в целом). Проблема состоит именно в конкретизации запрета - нужно не просто запретить разделы, а запретить их для просмотра конкретных ботов. Задача: убрать с глаз ПС ссылки на каталоги, которые требуют размещения обратной ссылки. Есть у кого идеи?

ПС: надписи в роботсах иногда мешают ботам, которые проверяют ссылки от каталогов, поэтом скорее всего редация роботс.тхт не катит.

Ufaweb · 26.11.2008, 08:54

Варианты:
1) создать robots.txt и robots2.txt
написать .htaccess:

Код:

RewriteCond %{HTTP_USER_AGENT} ^.*(Googlebot|Yandex|Yahoo|Rambler|Webalta).*$ [NC]
RewriteRule ^robots.txt$ robots2.txt

robots2.txt для ботов, robots.txt для остальных.
2) написать .htaccess:

Код:

RewriteCond %{HTTP_USER_AGENT} ^.*(Googlebot|Yandex|Yahoo|Rambler|Webalta).*$ [NC]
RewriteRule ^links.*$ http://site.ru/ [R=302]

mobilniku · 26.11.2008, 09:07

Ufaweb, если это прокатит то будет полный пипец каталогам сайтов.

Ufaweb · 26.11.2008, 09:21

Цитата:

Сообщение от mobilniku

Ufaweb, если это прокатит то будет полный пипец каталогам сайтов.

Умные люди давно так делают

Клоакинг называется...

Veles · 26.11.2008, 09:39

Файл robots.txt для поисковых роботов не является на 100% обязательным. А скорее рекомендательным...

NikolaZ · 26.11.2008, 09:52

Н-да...
А если все так будут друг друга объ...ть?
Смысл тогда какой в этих каталогах?

Да и от стука это не спасет.

mobilniku · 26.11.2008, 13:13

Цитата:

Сообщение от NikolaZ

Н-да...
А если все так будут друг друга объ...ть?
Смысл тогда какой в этих каталогах?

Да и от стука это не спасет.

Да так и происходит - друг друга объ...т. Сейчас по базе Белых Каталогов прошелся. Вывод: часть каталогов ставит ссылки в noindex, другая часть требует обратку(нифига себе белые). Раскрутка через Каталоги Сайтов вымирает, будушее за системами типа Сапы и блоги.

zhegloff · 26.11.2008, 14:09

Цитата:

Сообщение от mobilniku

Ufaweb, если это прокатит то будет полный пипец каталогам сайтов.

Прокатить то оно прокатит... но боты они не всегда представляются правильно. И тогда клоакинг вылазит наружу. А за клоакинг можно и в баньку отправиться.

Challenger · 26.11.2008, 18:54

Ufaweb, сам лично пользуешься? И целесообразна ли вообще эта затея? ВСе таки стрем берет касательно того что за клоакинг наказывают.
Какие вообще риски(кроме бана) и как палится( и палят ли это Я и Го)?

mobilniku · 27.11.2008, 15:32

Цитата:

Сообщение от Challenger

Ufaweb, сам лично пользуешься? И целесообразна ли вообще эта затея? ВСе таки стрем берет касательно того что за клоакинг наказывают.
Какие вообще риски(кроме бана) и как палится( и палят ли это Я и Го)?

Вот я и очкую...слышал что за клоакинг бан навечно.
Якобы Гугл может заходить через прокси и сравнивает сохранённые копии. Но это ещё не факт, может баян.

25.11.2008, 21:29	#1
Challenger Специалист Регистрация: 29.08.2008 Адрес: РОССИЯ. Севастополь. Сообщений: 430 Вес репутации: 220	Конкретизация запрета хтаксес Суть вопроса такова, что нужно запретить поисковым ботам Гоши и Яши лазить в определенный раздел сайта и, как следствие, запретить индексацию всех страниц этого раздела сайта и самого раздела (самого раздела в целом). Проблема состоит именно в конкретизации запрета - нужно не просто запретить разделы, а запретить их для просмотра конкретных ботов. Задача: убрать с глаз ПС ссылки на каталоги, которые требуют размещения обратной ссылки. Есть у кого идеи? ПС: надписи в роботсах иногда мешают ботам, которые проверяют ссылки от каталогов, поэтом скорее всего редация роботс.тхт не катит. __________________ Люблю все на "Ш". Шампанское, маШины, женШин...

26.11.2008, 08:54	#2
Ufaweb Особый статус Регистрация: 23.03.2008 Адрес: localhost Сообщений: 2,594 Вес репутации: 337	Варианты: 1) создать robots.txt и robots2.txt написать .htaccess: Код: RewriteCond %{HTTP_USER_AGENT} ^.(Googlebot\|Yandex\|Yahoo\|Rambler\|Webalta).$ [NC] RewriteRule ^robots.txt$ robots2.txt robots2.txt для ботов, robots.txt для остальных. 2) написать .htaccess: Код: RewriteCond %{HTTP_USER_AGENT} ^.(Googlebot\|Yandex\|Yahoo\|Rambler\|Webalta).$ [NC] RewriteRule ^links.*$ http://site.ru/ [R=302]

26.11.2008, 09:39	#5
Veles Велес Регистрация: 01.07.2007 Адрес: Россия Сообщений: 1,422 Вес репутации: 279	Файл robots.txt для поисковых роботов не является на 100% обязательным. А скорее рекомендательным... __________________ Wish You Were Here...

26.11.2008, 18:54	#9
Challenger Специалист Регистрация: 29.08.2008 Адрес: РОССИЯ. Севастополь. Сообщений: 430 Вес репутации: 220	Ufaweb, сам лично пользуешься? И целесообразна ли вообще эта затея? ВСе таки стрем берет касательно того что за клоакинг наказывают. Какие вообще риски(кроме бана) и как палится( и палят ли это Я и Го)? __________________ Люблю все на "Ш". Шампанское, маШины, женШин...

26.11.2008, 09:07	#3
mobilniku Специалист Регистрация: 19.03.2008 Сообщений: 196 Вес репутации: 217	Ufaweb, если это прокатит то будет полный пипец каталогам сайтов.

26.11.2008, 09:52	#6
NikolaZ Специалист Регистрация: 21.07.2007 Сообщений: 286 Вес репутации: 226	Н-да... А если все так будут друг друга объ...ть? Смысл тогда какой в этих каталогах? Да и от стука это не спасет.