Форум SAPE.RU - как правильно создать robots.txt?

Форум SAPE.RU (http://forum.sape.ru/index.php)

- Ошибки при работе с системой (http://forum.sape.ru/forumdisplay.php?f=14)

- - как правильно создать robots.txt? (http://forum.sape.ru/showthread.php?t=70580)

как правильно создать robots.txt?

Здравствуйте, уважаемые форумчани.

Последнее время в индекс Яндекса начали попадать страницы, которые мне там вообще не нужны, раньше было всё нормально, а тут с каждым АПом их всё больше и при этом, то что мне нужно вообще выпадает :confused: . Так же эти ссылки добавляются в Сапу при переиндексации, что тоже не хорошо.

Я так понимаю, что надо сделать файл robots.txt и там что – то прописать. Подскажите что именно там должно быть. А то я уже несколько раз пробовал, после чего практически все ссылки в Сапе выпадают в ERROR!!!

Ссылки, которые я хотел бы исключить имеют вид:

Код HTML:

http://site.com/2010/09/post/#comment-790 (то есть ссылка на комментарий, а не на пост)

http://site.com/page/2/?s=метод+крамера (ссылка на поиск)

http://site.com/page/4/?s=e&search=Поиск (ссылка на поиск)

http://site.com/2010/09/post/feed (ссылка на RSS)

Цитата:

Сообщение от 4aa19 (Сообщение 1101284)

Я так понимаю, что надо сделать файл robots.txt и там что – то прописать. Подскажите что именно там должно быть. А то я уже несколько раз пробовал, после чего практически все ссылки в Сапе выпадают в ERROR!!!

http://help.yandex.ru/webmaster/?id=996567

пользуйтесь - http://help.yandex.ru/webmaster/?id=996567

Добавлено через 32 секунды
гыы :)
второй нах :)

Цитата:

Сообщение от 4aa19 (Сообщение 1101284)

при этом, то что мне нужно вообще выпадает

от robots это никак не зависит

А какой движок-то?
Как правило, в большинстве уже есть готовые, осталось только подкорректировать.

Можете воспользоваться >этим< сервисом... хотя он весьма примитивный.

Движок Wordpress, пользовался я разными хелпами, но говорю, что ссылки в Error выпадают.
Вот варианты, которые я пробовал и не подошли, может, кто подскажет в чем ошибка:

Цитата:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: /*feed
Disallow: /*?s=
Disallow: /*#comment
Allow: /wp-content/uploads

Sitemap: http://site.com/sitemap.xml
Host: site.com

И второй:

Цитата:

User-agent: *
Disallow: /feed
Disallow: /?s=
Disallow: /#comment
Disallow: /comment

Sitemap: http://site.com/sitemap.xml
Host: site.com

Цитата:

Сообщение от 4aa19 (Сообщение 1101302)

кто подскажет в чем ошибка:

вам же выше 2 раза ссылку дали, там подробно, с примерами расписано как правильно сделать роботс

Цитата:

Сообщение от Клон (Сообщение 1101312)

вам же выше 2 раза ссылку дали, там подробно, с примерами расписано как правильно сделать роботс

Я же писал, что был я там уже не один раз. И создавал robot.txt по тех правилах, которые понял, но ссылки, то все равно в Error выпадают. Видимо где-то допустил ошибку, но не знаю где. Через что и попросил помощи.
Если не знаете чем помочь или не хотите, то зачем писать одно и то же по 10 раз!!!

Цитата:

Сообщение от 4aa19 (Сообщение 1101321)

создавал robot.txt по тех правилах, которые понял

Цитата:

Сообщение от 4aa19 (Сообщение 1101321)

но ссылки, то все равно в Error выпадают

Если вы не понимаете, что роботс и ссылки в ерроре никак не связаны - идите в ШКОЛУ !!!

Цитата:

Сообщение от mr. DR (Сообщение 1101325)

Если вы не понимаете, что роботс и ссылки в ерроре никак не связаны - идите в ШКОЛУ !!!

Интересно, кому надо в школу :confused: ????!!! Если в статусе ссылки пишет, что она запрещена в robot.txt.

Блин, народ, я понимаю, что вы все тут крутые, косите мишками бабло и не хотите помочь какому-то новичку, а лишь бы показать, какой я крутой!!! Но перед тем, как давать бредо-ответы, хотя бы читали тему и шевелили мозгами!