Старый 25.05.2008, 08:29   #1
Специалист
 
Регистрация: 11.12.2007
Сообщений: 269
Вес репутации: 163
Andrew-m - как роза среди колючекAndrew-m - как роза среди колючекAndrew-m - как роза среди колючекAndrew-m - как роза среди колючек
По умолчанию Зачем такой robots.txt?

На одном из сайтов, на котором покупаю ссылки, увидел такой robots.txt. Стало интересно, зачем для всех поисковиков, кроме Яндекса запрещено индексирование? Или я что-то не понимаю?
---------------ROBOTS.txt-------------------
User-agent: Slurp
Disallow: /

User-agent: msnbot
Disallow: /

User-agent: psbot
Disallow: /

User-agent: ichiro
Disallow: /

User-agent: aipbot
Disallow: /

User-agent: ia_archiver
Disallow: /

User-agent: Alexibot
Disallow: /

User-agent: Aqua_Products
Disallow: /

User-agent: asterias
Disallow: /

User-agent: b2w/0.1
Disallow: /

User-agent: BackDoorBot/1.0
Disallow: /

User-agent: becomebot
Disallow: /

User-agent: BlowFish/1.0
Disallow: /

User-agent: Bookmark search tool
Disallow: /

User-agent: BotALot
Disallow: /

User-agent: BotRightHere
Disallow: /

User-agent: BuiltBotTough
Disallow: /

User-agent: Bullseye/1.0
Disallow: /

User-agent: BunnySlippers
Disallow: /

User-agent: CheeseBot
Disallow: /

User-agent: CherryPicker
Disallow: /

User-agent: CherryPickerElite/1.0
Disallow: /

User-agent: CherryPickerSE/1.0
Disallow: /

User-agent: Copernic
Disallow: /

User-agent: CopyRightCheck
Disallow: /

User-agent: cosmos
Disallow: /

User-agent: Crescent
Disallow: /

User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
Disallow: /

User-agent: DittoSpyder
Disallow: /

User-agent: EmailCollector
Disallow: /

User-agent: EmailSiphon
Disallow: /

User-agent: EmailWolf
Disallow: /

User-agent: EroCrawler
Disallow: /

User-agent: ExtractorPro
Disallow: /

User-agent: FairAd Client
Disallow: /

User-agent: Fasterfox
Disallow: /

User-agent: Flaming AttackBot
Disallow: /

User-agent: Foobot
Disallow: /

User-agent: Gaisbot
Disallow: /

User-agent: GetRight/4.2
Disallow: /

User-agent: Harvest/1.5
Disallow: /

User-agent: hloader
Disallow: /

User-agent: httplib
Disallow: /

User-agent: HTTrack 3.0
Disallow: /

User-agent: humanlinks
Disallow: /

User-agent: IconSurf
Disallow: /
Disallow: /favicon.ico

User-agent: InfoNaviRobot
Disallow: /

User-agent: Iron33/1.0.2
Disallow: /

User-agent: JennyBot
Disallow: /

User-agent: Kenjin Spider
Disallow: /

User-agent: Keyword Density/0.9
Disallow: /

User-agent: larbin
Disallow: /

User-agent: LexiBot
Disallow: /

User-agent: libWeb/clsHTTP
Disallow: /

User-agent: LinkextractorPro
Disallow: /

User-agent: LinkScan/8.1a Unix
Disallow: /

User-agent: LinkWalker
Disallow: /

User-agent: LNSpiderguy
Disallow: /

User-agent: lwp-trivial
Disallow: /

User-agent: lwp-trivial/1.34
Disallow: /

User-agent: Mata Hari
Disallow: /

User-agent: Microsoft URL Control
Disallow: /

User-agent: Microsoft URL Control - 5.01.4511
Disallow: /

User-agent: Microsoft URL Control - 6.00.8169
Disallow: /

User-agent: MIIxpc
Disallow: /

User-agent: MIIxpc/4.2
Disallow: /

User-agent: Mister PiX
Disallow: /

User-agent: moget
Disallow: /

User-agent: moget/2.1
Disallow: /

User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95)
Disallow: /

User-agent: MSIECrawler
Disallow: /

User-agent: NetAnts
Disallow: /

User-agent: NICErsPRO
Disallow: /

User-agent: Offline Explorer
Disallow: /

User-agent: Openbot
Disallow: /

User-agent: Openfind
Disallow: /

User-agent: Openfind data gatherer
Disallow: /

User-agent: Oracle Ultra Search
Disallow: /

User-agent: PerMan
Disallow: /

User-agent: ProPowerBot/2.14
Disallow: /

User-agent: ProWebWalker
Disallow: /

User-agent: psbot
Disallow: /

User-agent: Python-urllib
Disallow: /

User-agent: QueryN Metasearch
Disallow: /

User-agent: Radiation Retriever 1.1
Disallow: /

User-agent: RepoMonkey
Disallow: /

User-agent: RepoMonkey Bait & Tackle/v1.01
Disallow: /

User-agent: RMA
Disallow: /

User-agent: searchpreview
Disallow: /

User-agent: SiteSnagger
Disallow: /

User-agent: SpankBot
Disallow: /

User-agent: spanner
Disallow: /

User-agent: SurveyBot
Disallow: /

User-agent: suzuran
Disallow: /

User-agent: Szukacz/1.4
Disallow: /

User-agent: Teleport
Disallow: /

User-agent: TeleportPro
Disallow: /

User-agent: Telesoft
Disallow: /

User-agent: The Intraformant
Disallow: /

User-agent: TheNomad
Disallow: /

User-agent: TightTwatBot
Disallow: /

User-agent: toCrawl/UrlDispatcher
Disallow: /

User-agent: True_Robot
Disallow: /

User-agent: True_Robot/1.0
Disallow: /

User-agent: turingos
Disallow: /

User-agent: TurnitinBot
Disallow: /

User-agent: TurnitinBot/1.5
Disallow: /

User-agent: URL Control
Disallow: /

User-agent: URL_Spider_Pro
Disallow: /

User-agent: URLy Warning
Disallow: /

User-agent: VCI
Disallow: /

User-agent: VCI WebViewer VCI WebViewer Win32
Disallow: /

User-agent: Web Image Collector
Disallow: /

User-agent: WebAuto
Disallow: /

User-agent: WebBandit
Disallow: /

User-agent: WebBandit/3.50
Disallow: /

User-agent: WebCapture 2.0
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: WebCopier v.2.2
Disallow: /

User-agent: WebCopier v3.2a
Disallow: /

User-agent: WebEnhancer
Disallow: /

User-agent: WebSauger
Disallow: /

User-agent: Website Quester
Disallow: /

User-agent: Webster Pro
Disallow: /

User-agent: WebStripper
Disallow: /

User-agent: WebZip
Disallow: /

User-agent: WebZip
Disallow: /

User-agent: WebZip/4.0
Disallow: /

User-agent: WebZIP/4.21
Disallow: /

User-agent: WebZIP/5.0
Disallow: /

User-agent: Wget
Disallow: /

User-agent: wget
Disallow: /

User-agent: Wget/1.5.3
Disallow: /

User-agent: Wget/1.6
Disallow: /

User-agent: WWW-Collector-E
Disallow: /

User-agent: Xenu's
Disallow: /

User-agent: Xenu's Link Sleuth 1.1c
Disallow: /

User-agent: Zeus
Disallow: /

User-agent: Zeus 32297 Webster Pro V2.9 Win32
Disallow: /

User-agent: Zeus Link Scout
Disallow: /

User-agent: *
Crawl-delay: 5
Disallow: /admin/
Disallow: /attach_mod/
Disallow: /murka/
Disallow: /cache/
Disallow: /db/
Disallow: /docs/
Disallow: /files/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /templates/
Disallow: /attach_rules.php
Disallow: /common.php
Disallow: /config.php
Disallow: /download.php
Disallow: /extension.inc
Disallow: /faq.php
Disallow: /groupcp.php
Disallow: /kb_search.php
Disallow: /login.php
Disallow: /memberlist.php
Disallow: /merge.php
Disallow: /modcp.php
Disallow: /posting.php
Disallow: /privmsg.php
Disallow: /profile.php
Disallow: /quick_reply.php
Disallow: /search.php
Disallow: /uacp.php
Disallow: /viewonline.php
Disallow: cat*.html$
Disallow: post*.html$
Andrew-m вне форума   Ответить с цитированием
Старый 25.05.2008, 08:36   #2
Злой модератор
 
Аватар для Wink
 
Регистрация: 25.03.2007
Адрес: Deep forest
Сообщений: 5,346
Вес репутации: 457
Wink - прекрасное будущееWink - прекрасное будущееWink - прекрасное будущееWink - прекрасное будущееWink - прекрасное будущееWink - прекрасное будущееWink - прекрасное будущееWink - прекрасное будущееWink - прекрасное будущееWink - прекрасное будущееWink - прекрасное будущее
По умолчанию

Цитата:
Сообщение от Andrew-m Посмотреть сообщение
User-agent: wget
Disallow: /
Класс

Ну просто не все знают, как правильно создавать robots.txt и для чего он вообще нужен
Wink вне форума   Ответить с цитированием
Старый 25.05.2008, 08:43   #3
Мастер
 
Регистрация: 23.03.2008
Сообщений: 515
Вес репутации: 0
Deadman_n не любят в этих краяхDeadman_n не любят в этих краяхDeadman_n не любят в этих краяхDeadman_n не любят в этих краяхDeadman_n не любят в этих краяхDeadman_n не любят в этих краяхDeadman_n не любят в этих краяхDeadman_n не любят в этих краяхDeadman_n не любят в этих краяхDeadman_n не любят в этих краях
По умолчанию

Странный список... В нем прозвучало несколкьо программ предназначенных для скачивания страниц с сайтов.
__________________
Я из Томска.
Deadman_n вне форума   Ответить с цитированием
Старый 25.05.2008, 08:54   #4
Новичок
 
Регистрация: 06.07.2007
Сообщений: 53
Вес репутации: 161
forall скоро станет известен
По умолчанию

последние 2 строки начинаются не со слеша и не со звездочки.
Wink прав =))
forall вне форума   Ответить с цитированием
Старый 25.05.2008, 10:45   #5
Новичок
 
Аватар для FuseR
 
Регистрация: 24.09.2007
Адрес: home
Сообщений: 75
Вес репутации: 158
FuseR скоро станет известен
По умолчанию

да веселый робот.тхт
помоему проще

User-agent: Yandex

User-agent: *
Disallow: /
FuseR вне форума   Ответить с цитированием
Старый 25.05.2008, 10:59   #6
Злой модератор
 
Аватар для Wink
 
Регистрация: 25.03.2007
Адрес: Deep forest
Сообщений: 5,346
Вес репутации: 457
Wink - прекрасное будущееWink - прекрасное будущееWink - прекрасное будущееWink - прекрасное будущееWink - прекрасное будущееWink - прекрасное будущееWink - прекрасное будущееWink - прекрасное будущееWink - прекрасное будущееWink - прекрасное будущееWink - прекрасное будущее
По умолчанию

FuseR, не проще Ваш вариант мало того что тоже неверный, но и еще закрывает доступ на сайт Гуглю, Рамблеру, Майл.ру и еще куче поисковиков.
Wink вне форума   Ответить с цитированием
Старый 25.05.2008, 15:09   #7
Мастер
 
Аватар для Crudelis
 
Регистрация: 25.05.2008
Адрес: Днепропетровск
Сообщений: 582
Вес репутации: 160
Crudelis на пути к лучшему
Отправить сообщение для Crudelis с помощью ICQ
По умолчанию

Disallow: /
Означает запретить к индексации весь сайт))) где ты покупаешь ссылки неодин поисковик их не видет и толку от такой покупки равень нулю
Crudelis вне форума   Ответить с цитированием
Старый 25.05.2008, 15:10   #8
дендромутант-антропоморф
 
Аватар для Маленькая сосна
 
Регистрация: 21.11.2007
Адрес: РФ
Сообщений: 1,826
Вес репутации: 226
Маленькая сосна - прекрасное будущееМаленькая сосна - прекрасное будущееМаленькая сосна - прекрасное будущееМаленькая сосна - прекрасное будущееМаленькая сосна - прекрасное будущееМаленькая сосна - прекрасное будущееМаленькая сосна - прекрасное будущееМаленькая сосна - прекрасное будущееМаленькая сосна - прекрасное будущееМаленькая сосна - прекрасное будущееМаленькая сосна - прекрасное будущее
По умолчанию

Вот вы смеетесь, а я уже пару недель думаю, как искать по одному сайту...

Роботс:

Цитата:
User-agent: *
Disallow: /admin/
Disallow: /author/
Disallow: /chat/
Disallow: /help/
Disallow: /lists/
Disallow: /misc/
Disallow: /olstory/
Disallow: /poll/
Disallow: /review/
Disallow: /search/
Disallow: /searchdisplay/
Disallow: /stats/
Disallow: /stories/
Disallow: /vols/
Disallow: /webmessage/
Disallow: /ywri/
Disallow: /ywstories/
Disallow: /new1.html
Disallow: /new2.html
Disallow: /new3.html
Собственный поиск у них совсем хреновый.. Вопрос: как выцепить нужную статью???
Маленькая сосна вне форума   Ответить с цитированием
Старый 25.05.2008, 15:15   #9
Эксперт
 
Аватар для seocore
 
Регистрация: 18.06.2007
Адрес: Картофель
Сообщений: 2,417
Вес репутации: 311
seocore - прекрасное будущееseocore - прекрасное будущееseocore - прекрасное будущееseocore - прекрасное будущееseocore - прекрасное будущееseocore - прекрасное будущееseocore - прекрасное будущееseocore - прекрасное будущееseocore - прекрасное будущееseocore - прекрасное будущееseocore - прекрасное будущее
По умолчанию

главное чтобы robots.txt на деле не оказался 7Мбайтной mp3'шкой
__________________
Инструменты для веб-мастера: кластеризатор СЯ, все запросы конкурента, XML-лимиты для плагина Wink'а
seocore вне форума   Ответить с цитированием
Старый 25.05.2008, 15:26   #10
Дикий
 
Аватар для D.iK.iJ
 
Регистрация: 02.06.2007
Адрес: <Noindex>
Сообщений: 2,544
Вес репутации: 309
D.iK.iJ - прекрасное будущееD.iK.iJ - прекрасное будущееD.iK.iJ - прекрасное будущееD.iK.iJ - прекрасное будущееD.iK.iJ - прекрасное будущееD.iK.iJ - прекрасное будущееD.iK.iJ - прекрасное будущееD.iK.iJ - прекрасное будущееD.iK.iJ - прекрасное будущееD.iK.iJ - прекрасное будущееD.iK.iJ - прекрасное будущее
По умолчанию

Похоже на войну людей с роботами Ужас!
Интересно, зачем это?
D.iK.iJ вне форума   Ответить с цитированием
Ответ

Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
robots.txt Alexander Разработка и сопровождение сайтов 10 25.02.2010 21:54
301 для robots.txt eveningspend Вопросы от новичков 4 24.02.2008 12:42
sape.ru и robots.txt Алексей Барыкин Ошибки при работе с системой 0 11.12.2007 22:05
Вопрос по Яше и robots.txt IPV Яндекс 1 07.11.2007 11:33
Robots.txt leszkin Вопросы по работе системы 7 17.09.2007 09:37


Часовой пояс GMT +3, время: 06:46.