Старый 16.08.2007, 14:49   #1
Специалист
 
Регистрация: 14.05.2007
Сообщений: 490
Вес репутации: 173
Kater - просто великолепная личностьKater - просто великолепная личностьKater - просто великолепная личностьKater - просто великолепная личностьKater - просто великолепная личностьKater - просто великолепная личностьKater - просто великолепная личность
По умолчанию Немного о robots.txt

Что-то прям yahoo совсем ошалел)) страницы жрет только шум стоит)) гугль блин в 3 раза меньше ест)) прям уже две недели круглосуточно сидит на сайте... нагрузку не хилую на сервер дает... как раз нашёл статейку в тему http://help.yahoo.com/l/us/yahoo/sea.../slurp-03.html кто-нибудь читал? О каких там цифрах речь идет? Дни? Минуты? Секунды?

И правильно составил роботс?
Код:
User-agent: Slurp
Crawl-delay: 1440

User-Agent: *
Disallow: faq.php
Disallow: groupcp.php
Disallow: index.php?c=
Disallow: index.php?id=
Disallow: index.php?year=
Disallow: login.php
Disallow: memberlist.php
Disallow: posting.php
Disallow: privmsg.php
Disallow: profile.php
Disallow: search.php
Disallow: viewonline.php
Kater вне форума   Ответить с цитированием
Старый 16.08.2007, 15:23   #2
Специалист
 
Регистрация: 07.06.2007
Сообщений: 443
Вес репутации: 174
117195m - за этого человека можно гордится117195m - за этого человека можно гордится117195m - за этого человека можно гордится117195m - за этого человека можно гордится117195m - за этого человека можно гордится117195m - за этого человека можно гордится117195m - за этого человека можно гордится117195m - за этого человека можно гордится117195m - за этого человека можно гордится
По умолчанию

Только хотел тему постить про робота. Напишу здесь:
Есть на форуме ссылка переводящая тему в печатный режим, ссылка всегда разная:
/viewtopic.php?f=20&t=57&start=0&st=0&sk=t&sd=a&view=print
/viewtopic.php?f=20&t=100&start=0&st=0&sk=t&sd=a&view=print
Идентичный только на конце. Мн енадо запретить индексацию этих ссылок, но не прописывать же каждую темку форума в .txt. Как веделять фрагмент и возможно ли это?
__________________
Руки, ноги... Главное — голова.
117195m вне форума   Ответить с цитированием
Старый 16.08.2007, 15:45   #3
Специалист
 
Регистрация: 14.05.2007
Сообщений: 490
Вес репутации: 173
Kater - просто великолепная личностьKater - просто великолепная личностьKater - просто великолепная личностьKater - просто великолепная личностьKater - просто великолепная личностьKater - просто великолепная личностьKater - просто великолепная личность
По умолчанию

Похоже, что нельзя... наверное придется весь viewtopic.php блокировать, а это не есть гуд... может мод реврайт подключить, там сделать ссылки другого вида и их как-нибудь заблокировать?
Kater вне форума   Ответить с цитированием
Старый 16.08.2007, 15:47   #4
Администратор
 
Аватар для Ank
 
Регистрация: 05.02.2007
Сообщений: 18,404
Вес репутации: 664
Ank - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущее
По умолчанию

Да верните Вы 404 для версии для печати, и не надо мучится..
__________________
Начать зарабатывать на своих сайтах. Консультирую своих рефов по аське
Покупать на алиекспресс просто и выгодно
>>> БЕСПЛАТНЫЙ КОНСТРУКТОР САЙТОВ И LANDING PAGE <<<
Читаем ФАК
Ank вне форума   Ответить с цитированием
Старый 16.08.2007, 18:35   #5
Специалист
 
Регистрация: 07.06.2007
Сообщений: 443
Вес репутации: 174
117195m - за этого человека можно гордится117195m - за этого человека можно гордится117195m - за этого человека можно гордится117195m - за этого человека можно гордится117195m - за этого человека можно гордится117195m - за этого человека можно гордится117195m - за этого человека можно гордится117195m - за этого человека можно гордится117195m - за этого человека можно гордится
По умолчанию

А как это сделать?..
__________________
Руки, ноги... Главное — голова.
117195m вне форума   Ответить с цитированием
Старый 16.08.2007, 18:45   #6
Мастер
 
Аватар для Sasa
 
Регистрация: 21.06.2007
Адрес: Москва
Сообщений: 506
Вес репутации: 166
Sasa скоро станет известенSasa скоро станет известен
Отправить сообщение для Sasa с помощью ICQ
По умолчанию

на ПХП ?
__________________
Sasa
Sasa вне форума   Ответить с цитированием
Старый 16.08.2007, 18:46   #7
Администратор
 
Аватар для Ank
 
Регистрация: 05.02.2007
Сообщений: 18,404
Вес репутации: 664
Ank - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущее
По умолчанию

Версию для печати формирует что? Скорее всего некий пхп-скрипт, в которм просто надо написать
header("HTTP/1.1 404 Not Found");

пользователь не заметит ничего, индексить все равно не собирался, а поисковики со временем про нее забудут
__________________
Начать зарабатывать на своих сайтах. Консультирую своих рефов по аське
Покупать на алиекспресс просто и выгодно
>>> БЕСПЛАТНЫЙ КОНСТРУКТОР САЙТОВ И LANDING PAGE <<<
Читаем ФАК
Ank вне форума   Ответить с цитированием
Старый 16.08.2007, 18:50   #8
Мастер
 
Аватар для Sasa
 
Регистрация: 21.06.2007
Адрес: Москва
Сообщений: 506
Вес репутации: 166
Sasa скоро станет известенSasa скоро станет известен
Отправить сообщение для Sasa с помощью ICQ
По умолчанию

Цитата:
Сообщение от Ank Посмотреть сообщение
Версию для печати формирует что? Скорее всего некий пхп-скрипт, в которм просто надо написать
header("HTTP/1.1 404 Not Found");
главное как и положено напиши этот хедер в начале скрипта - до любого вывода
__________________
Sasa
Sasa вне форума   Ответить с цитированием
Старый 17.08.2007, 05:34   #9
Специалист
 
Регистрация: 14.05.2007
Сообщений: 490
Вес репутации: 173
Kater - просто великолепная личностьKater - просто великолепная личностьKater - просто великолепная личностьKater - просто великолепная личностьKater - просто великолепная личностьKater - просто великолепная личностьKater - просто великолепная личность
По умолчанию

По-моему вопросу подскажите плиз
Kater вне форума   Ответить с цитированием
Старый 17.08.2007, 06:33   #10
Специалист
 
Регистрация: 07.06.2007
Сообщений: 443
Вес репутации: 174
117195m - за этого человека можно гордится117195m - за этого человека можно гордится117195m - за этого человека можно гордится117195m - за этого человека можно гордится117195m - за этого человека можно гордится117195m - за этого человека можно гордится117195m - за этого человека можно гордится117195m - за этого человека можно гордится117195m - за этого человека можно гордится
По умолчанию

Хрен знает, что её формирует. Это на форуме. Поищу где это прячется...
__________________
Руки, ноги... Главное — голова.
117195m вне форума   Ответить с цитированием
Ответ

Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Еще раз про уникальный контенет. или немного рекламы. Rifka Курилка 12 02.09.2008 00:20
Немного позитива melmax Курилка 23 22.08.2008 16:15
Ну уже до смешного. Оптимизаторы вы думайте вообще немного mYscript Вопросы по работе системы 9 06.04.2008 20:48
Немного о будущем KritikMassa Курилка 6 20.09.2007 11:38
Немного офтопика. Бэки в гугле... se7en Google, MSN, Yahoo 17 05.09.2007 09:26


Часовой пояс GMT +3, время: 07:36.