как правильно создать robots.txt?

[Клон]

Сообщение от 4aa19

Интересно, кому надо в школу ????!!! Если в статусе ссылки пишет, что она запрещена в robot.txt.

вам надо, что бы вы хотябы почитали по ссылкам выше и пошевелили могзами =)

или предлагаете телепатически узнать какую хрень вы написали в роботсе и на каких страницах ссылки в эрроре


может у вас все ссылки проданы только с этих страниц =))

Сообщение от 4aa19

Ссылки, которые я хотел бы исключить имеют вид:


Код HTML:
http://site.com/2010/09/post/#comment-790 (то есть ссылка на комментарий, а не на пост)
http://site.com/page/2/?s=метод+крамера (ссылка на поиск)
http://site.com/page/4/?s=e&search=Поиск (ссылка на поиск)
http://site.com/2010/09/post/feed (ссылка на RSS)

[4aa19]

Сообщение от Клон

или предлагаете телепатически узнать какую хрень вы написали в роботсе и на каких страницах ссылки в эрроре

Это ещё раз подтверждает, что вы отвечаете, не читая темы, несколько постами выше я указывал, какие robots.txt я использовал и что практически все ссылки выпали в ERROR. Эти ссылки нормальные не на комментарии и не на RSS а на конкретные посты. Вообще таких ссылок в сапе у меня нет, потому, как я их после переиндексации сайта удалил вручную.
Потому, как я вижу, что уже очередной пост не о чём, наверно, никто не хочет на этом форуме помогать новичкам. Только что и могут тыкать ссылки и упрекать в чем попало.
Так что буду сам методом проб вычислять, в чем ошибка.

[Клон]

Сообщение от 4aa19

несколько постами выше я указывал, какие robots.txt я использовал и что практически все ссылки выпали в ERROR.

вот я и говорил что возможно у вас только на таких страницах ссылки и проданы какие вы закрыть хотите ))

Добавлено через 2 минуты

Сообщение от 4aa19

Так что буду сам методом проб вычислять, в чем ошибка.

зачем метод проб? по той же ссылке выше у яши есть инструмент для проверки корректности закрытия страниц в роботсе