16.08.2007, 14:49 | #1 |
Специалист
Регистрация: 14.05.2007
Сообщений: 490
Вес репутации: 229
|
Немного о robots.txt
Что-то прям yahoo совсем ошалел)) страницы жрет только шум стоит)) гугль блин в 3 раза меньше ест)) прям уже две недели круглосуточно сидит на сайте... нагрузку не хилую на сервер дает... как раз нашёл статейку в тему http://help.yahoo.com/l/us/yahoo/sea.../slurp-03.html кто-нибудь читал? О каких там цифрах речь идет? Дни? Минуты? Секунды?
И правильно составил роботс? Код:
User-agent: Slurp Crawl-delay: 1440 User-Agent: * Disallow: faq.php Disallow: groupcp.php Disallow: index.php?c= Disallow: index.php?id= Disallow: index.php?year= Disallow: login.php Disallow: memberlist.php Disallow: posting.php Disallow: privmsg.php Disallow: profile.php Disallow: search.php Disallow: viewonline.php |
16.08.2007, 15:23 | #2 |
Специалист
Регистрация: 07.06.2007
Сообщений: 443
Вес репутации: 230
|
Только хотел тему постить про робота. Напишу здесь:
Есть на форуме ссылка переводящая тему в печатный режим, ссылка всегда разная: /viewtopic.php?f=20&t=57&start=0&st=0&sk=t&sd=a&view=print /viewtopic.php?f=20&t=100&start=0&st=0&sk=t&sd=a&view=print Идентичный только на конце. Мн енадо запретить индексацию этих ссылок, но не прописывать же каждую темку форума в .txt. Как веделять фрагмент и возможно ли это?
__________________
|
16.08.2007, 15:47 | #4 |
Администратор
Регистрация: 05.02.2007
Сообщений: 18,405
Вес репутации: 720
|
Да верните Вы 404 для версии для печати, и не надо мучится..
__________________
Читаем ФАК |
16.08.2007, 18:46 | #7 |
Администратор
Регистрация: 05.02.2007
Сообщений: 18,405
Вес репутации: 720
|
Версию для печати формирует что? Скорее всего некий пхп-скрипт, в которм просто надо написать
header("HTTP/1.1 404 Not Found"); пользователь не заметит ничего, индексить все равно не собирался, а поисковики со временем про нее забудут
__________________
Читаем ФАК |
16.08.2007, 18:50 | #8 |
Мастер
|
главное как и положено напиши этот хедер в начале скрипта - до любого вывода
__________________
|
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Еще раз про уникальный контенет. или немного рекламы. | Rifka | Курилка | 12 | 02.09.2008 00:20 |
Немного позитива | melmax | Курилка | 23 | 22.08.2008 16:15 |
Ну уже до смешного. Оптимизаторы вы думайте вообще немного | mYscript | Вопросы по работе системы | 9 | 06.04.2008 20:48 |
Немного о будущем | KritikMassa | Курилка | 6 | 20.09.2007 11:38 |
Немного офтопика. Бэки в гугле... | se7en | Google, MSN, Yahoo | 17 | 05.09.2007 09:26 |
Часовой пояс GMT +3, время: 12:24.