Форум SAPE.RU - Немного о robots.txt

Страница 1 из 2

Показывать 40 сообщений этой темы на одной странице

Форум SAPE.RU (http://forum.sape.ru/index.php)

- Разработка и сопровождение сайтов (http://forum.sape.ru/forumdisplay.php?f=29)

- - Немного о robots.txt (http://forum.sape.ru/showthread.php?t=3866)

Kater

16.08.2007 14:49

Немного о robots.txt

Что-то прям yahoo совсем ошалел)) страницы жрет только шум стоит)) гугль блин в 3 раза меньше ест)) прям уже две недели круглосуточно сидит на сайте... нагрузку не хилую на сервер дает... как раз нашёл статейку в тему http://help.yahoo.com/l/us/yahoo/sea.../slurp-03.html кто-нибудь читал? О каких там цифрах речь идет? Дни? Минуты? Секунды?

И правильно составил роботс?

Код:

User-agent: Slurp

Crawl-delay: 1440



User-Agent: *

Disallow: faq.php

Disallow: groupcp.php

Disallow: index.php?c=

Disallow: index.php?id=

Disallow: index.php?year=

Disallow: login.php

Disallow: memberlist.php

Disallow: posting.php

Disallow: privmsg.php

Disallow: profile.php

Disallow: search.php

Disallow: viewonline.php

117195m

16.08.2007 15:23

Только хотел тему постить про робота. Напишу здесь:
Есть на форуме ссылка переводящая тему в печатный режим, ссылка всегда разная:
/viewtopic.php?f=20&t=57&start=0&st=0&sk=t&sd=a&view=print
/viewtopic.php?f=20&t=100&start=0&st=0&sk=t&sd=a&view=print
Идентичный только на конце. Мн енадо запретить индексацию этих ссылок, но не прописывать же каждую темку форума в .txt. Как веделять фрагмент и возможно ли это?

Kater

16.08.2007 15:45

Похоже, что нельзя... наверное придется весь viewtopic.php блокировать, а это не есть гуд... может мод реврайт подключить, там сделать ссылки другого вида и их как-нибудь заблокировать?

Ank	16.08.2007 15:47

Да верните Вы 404 для версии для печати, и не надо мучится..

117195m

16.08.2007 18:35

А как это сделать?..

Sasa	16.08.2007 18:45

на ПХП ?

Ank	16.08.2007 18:46

Версию для печати формирует что? Скорее всего некий пхп-скрипт, в которм просто надо написать
header("HTTP/1.1 404 Not Found");

пользователь не заметит ничего, индексить все равно не собирался, а поисковики со временем про нее забудут

Sasa	16.08.2007 18:50

Цитата:

Сообщение от Ank (Сообщение 33833)

Версию для печати формирует что? Скорее всего некий пхп-скрипт, в которм просто надо написать
header("HTTP/1.1 404 Not Found");

главное как и положено напиши этот хедер в начале скрипта - до любого вывода

Kater

17.08.2007 05:34

По-моему вопросу подскажите плиз :)

117195m

17.08.2007 06:33

Хрен знает, что её формирует. Это на форуме. Поищу где это прячется...

Часовой пояс GMT +3, время: 22:06.

Страница 1 из 2

Показывать 40 сообщений этой темы на одной странице