Немного о robots.txt

[Kater]

Что-то прям yahoo совсем ошалел)) страницы жрет только шум стоит)) гугль блин в 3 раза меньше ест)) прям уже две недели круглосуточно сидит на сайте... нагрузку не хилую на сервер дает... как раз нашёл статейку в тему http://help.yahoo.com/l/us/yahoo/sea.../slurp-03.html кто-нибудь читал? О каких там цифрах речь идет? Дни? Минуты? Секунды?

И правильно составил роботс?

User-agent: Slurp
Crawl-delay: 1440

User-Agent: *
Disallow: faq.php
Disallow: groupcp.php
Disallow: index.php?c=
Disallow: index.php?id=
Disallow: index.php?year=
Disallow: login.php
Disallow: memberlist.php
Disallow: posting.php
Disallow: privmsg.php
Disallow: profile.php
Disallow: search.php
Disallow: viewonline.php

[117195m]

Только хотел тему постить про робота. Напишу здесь:
Есть на форуме ссылка переводящая тему в печатный режим, ссылка всегда разная:
/viewtopic.php?f=20&t=57&start=0&st=0&sk=t&sd=a&view=print
/viewtopic.php?f=20&t=100&start=0&st=0&sk=t&sd=a&view=print
Идентичный только на конце. Мн енадо запретить индексацию этих ссылок, но не прописывать же каждую темку форума в .txt. Как веделять фрагмент и возможно ли это?

[Kater]

Похоже, что нельзя... наверное придется весь viewtopic.php блокировать, а это не есть гуд... может мод реврайт подключить, там сделать ссылки другого вида и их как-нибудь заблокировать?

[Ank]

Да верните Вы 404 для версии для печати, и не надо мучится..

[117195m]

А как это сделать?..

[Sasa]

на ПХП ?

[Ank]

Версию для печати формирует что? Скорее всего некий пхп-скрипт, в которм просто надо написать
header("HTTP/1.1 404 Not Found");

пользователь не заметит ничего, индексить все равно не собирался, а поисковики со временем про нее забудут

[Sasa]

Сообщение от Ank

Версию для печати формирует что? Скорее всего некий пхп-скрипт, в которм просто надо написать
header("HTTP/1.1 404 Not Found");

главное как и положено напиши этот хедер в начале скрипта - до любого вывода

[Kater]

По-моему вопросу подскажите плиз

[117195m]

Хрен знает, что её формирует. Это на форуме. Поищу где это прячется...