Запрет на индексацию линкопомойки
 

Всем привет. Прогнал свой сайт через каталоги (1ps.ru). Надо сделать страницу с обратными ссылками. Как поисковым роботам запретить индексировать страницу с линками? Напишите пожалуйста сюда всё что я должен вставить в файл robots.txt Запрет нужен для всех пс. Заранее спасибо.

User-Agent: *
Disallow: links.html
Host: www.site.cоm

Host на индексацию не влияет, но служит для определения главного зеркала.

Это запрет полностью для всех роботов?

Для всех, но не все роботы соблюдают эти предписания.

Добавлено через 1 минуту
слеш перед линк надо еще вроде как
Disallow: /links.html

Все равно пройдется, даже если в индекс и не пустит, но баном за это наградит

Ясно... Всем спасибо. Без обратной ссылки вышло где-то 1200 каталогов.

Попробуй реферер сравнивать на наличие Yandexbot Googlebot (точно не помню как там) и если реферер содержит (Yandexbot Googlebot) то не выводить ссылки, иначе выводить.

Напиши по русски :)

сейчас насоветуете, точно в баню улетит :) Пользуйтесь медвежьими услугами :cool:

Я не настаиваю, и не реферер имел ввиду, а Юзер-агент, в голове одно, а пишу другое.
Я написал как предложение, если ТС интересно может подначитается и сделает под свои нужды у меня были другие нужды.

$USER_AGENT=$_SERVER[HTTP_USER_AGENT];
if (stristr($url, 'yandex')) { $sw = 'text='; $engine = "<a href='$url' target=_blank>Yandex</a>";$statys='engine';}
elseif(stristr($url, 'rambler')) { $sw = 'query='; $engine = "<a href='$url' target=_blank>Rambler</a>";$statys='engine'; }
elseif(stristr($url, 'www.rambler')) { $sw = 'words='; $engine = "<a href='$url' target=_blank>Rambler</a>"; $statys='engine';}
elseif(stristr($url, 'go.mail')) { $sw = 'q='; $engine = "<a href='$url' target=_blank>Mail.ru</a>"; $statys='engine';}
elseif(stristr($url, 'nigma')) { $sw = 's='; $engine = "<a href='$url' target=_blank>Nigma</a>"; $statys='engine';}
elseif(stristr($url, 'google.')) { $sw='q='; $engine = "<a href='$url' target=_blank>Google</a>"; $statys='engine';}

Но санкции действительно могут быть за это, везде пишут по разному, без аргументов как правило. Так что 10 раз подумай.