нужна помощь в написании robots.txt

[Vorona34]

Не нашел подходящей темы, куда можно было бы закинуть вопрос, так что пишу сюда.
Есть сайт на движке shopos , хочу в robots.txt убрать все лишнее, кроме морды и нескольких страниц. Но не могу понять как прописать в файле морду. Дело в том, что на нее можно зайти по адресам
http:/site.ru
http:/site.ru/index.html
http:/site.ru/index.php
причем проданные ссылки отображаются только на странице http:/site.ru
если я запишу в файл строку
allow: /index.php
не вылетит ли морда из индекса?

[zhegloff]

Сообщение от Vorona34

не вылетит ли морда из индекса?

Не вылетит.

Сообщение от Vorona34

Дело в том, что на нее можно зайти по адресам
http:/site.ru
http:/site.ru/index.html
http:/site.ru/index.php

Это, мягко говоря, неправильно.

Добавлено через 27 секунд

Сообщение от Vorona34

allow:

не allow, а disallow

[Vorona34]

Сообщение от zhegloff

не allow, а disallow

я хочу весь сайт отправить в disallow, а морду и статьи в allow

Сообщение от zhegloff

Не вылетит.

спасибо

[zhegloff]

Сообщение от Vorona34

я хочу весь сайт отправить в disallow, а морду и статьи в allow

Во-первых директиву allow понимают не все, а во-вторых морда - это /, а не /index.php

[Vorona34]

Сообщение от zhegloff

Во-первых директиву allow понимают не все, а во-вторых морда - это /, а не /index.php

disallow: / - скрывает от индексации весь сайт, а не только морду, в этом собственно и суть вопроса.
Яндекс понимает allow и это главное.

[Vorona34]

Так я и не придумал, что написать вместо знаков вопроса, что бы индексировалась только морда. помогите,а....


User-agent: Yandex
Allow: ????????
Disallow: /

[Qwazimodo]

Сообщение от Vorona34

причем проданные ссылки отображаются только на странице http:/site.ru

Сообщение от Vorona34

что бы индексировалась только морда. помогите,а....

Сами себе роете яму , как вы думаете будут люди покупать ссылки с сайта у которого в индексе только 1 страница?

НЕТ , или будут покупать но очень дёшево! Потому как считаетеся , что это классический случай АГС.

Морды и с нормальных сайтов плохо покупают , а с АГСного ваобще ничего не выжмите.

Disallow: / Это я прописываю только , чтобы сайт был выкинут полностью , перед тем как залить его на новый домен.

[Vorona34]

Сообщение от Qwazimodo

Сами себе роете яму , как вы думаете будут люди покупать ссылки с сайта у которого в индексе только 1 страница?

НЕТ , или будут покупать но очень дёшево! Потому как считаетеся , что это классический случай АГС.

Морды и с нормальных сайтов плохо покупают , а с АГСного ваобще ничего не выжмите.

Disallow: / Это я прописываю только , чтобы сайт был выкинут полностью , перед тем как залить его на новый домен.

Вы правы, но я не собираюсь оставлять только морду. Остальные необходимые страницы я знаю как добавить в allow

[Atomic]

насколько помню, последовательность такая: запретить весь сайт "/", а затем разрешить /index.php(htm,html, или что у вас там в DirectoryIndex апача)

Добавлено через 1 минуту
а вообще где-то в факе яндекса неплохо было расписано (относительно неплохо..)

[zeta]

Сообщение от Vorona34

убрать все лишнее, кроме морды Но не могу понять как прописать в файле морду.

- определитесь с индексным файлом => остальные запретите (отчасти это можно разрулить в .htaccess)

Сообщение от Vorona34

убрать все лишнее, кроме нескольких страниц.

- как вариант - пропишите в мета:
<META NAME=ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
для всех страниц, а нужные оставьте..