Старый 05.07.2011, 11:52   #1
Новичок
 
Регистрация: 16.12.2010
Сообщений: 48
Вес репутации: 162
4aa19 на пути к лучшему
Exclamation как правильно создать robots.txt?

Здравствуйте, уважаемые форумчани.

Последнее время в индекс Яндекса начали попадать страницы, которые мне там вообще не нужны, раньше было всё нормально, а тут с каждым АПом их всё больше и при этом, то что мне нужно вообще выпадает . Так же эти ссылки добавляются в Сапу при переиндексации, что тоже не хорошо.

Я так понимаю, что надо сделать файл robots.txt и там что – то прописать. Подскажите что именно там должно быть. А то я уже несколько раз пробовал, после чего практически все ссылки в Сапе выпадают в ERROR!!!

Ссылки, которые я хотел бы исключить имеют вид:

Код HTML:
http://site.com/2010/09/post/#comment-790 (то есть ссылка на комментарий, а не на пост)
http://site.com/page/2/?s=метод+крамера (ссылка на поиск)
http://site.com/page/4/?s=e&search=Поиск (ссылка на поиск)
http://site.com/2010/09/post/feed (ссылка на RSS)
4aa19 вне форума   Ответить с цитированием
Старый 05.07.2011, 11:59   #2
Копирайтер-рерайтер
 
Аватар для Asterada
 
Регистрация: 17.08.2007
Адрес: Краснодарский край
Сообщений: 3,620
Вес репутации: 374
Asterada - прекрасное будущееAsterada - прекрасное будущееAsterada - прекрасное будущееAsterada - прекрасное будущееAsterada - прекрасное будущееAsterada - прекрасное будущееAsterada - прекрасное будущееAsterada - прекрасное будущееAsterada - прекрасное будущееAsterada - прекрасное будущееAsterada - прекрасное будущее
Отправить сообщение для Asterada с помощью ICQ
По умолчанию

Цитата:
Сообщение от 4aa19 Посмотреть сообщение
Я так понимаю, что надо сделать файл robots.txt и там что – то прописать. Подскажите что именно там должно быть. А то я уже несколько раз пробовал, после чего практически все ссылки в Сапе выпадают в ERROR!!!
http://help.yandex.ru/webmaster/?id=996567
Asterada вне форума   Ответить с цитированием
Старый 05.07.2011, 11:59   #3
Мастер
 
Аватар для mr. DR
 
Регистрация: 01.07.2010
Адрес: Сибирь матушка.
Сообщений: 723
Вес репутации: 199
mr. DR - прекрасное будущееmr. DR - прекрасное будущееmr. DR - прекрасное будущееmr. DR - прекрасное будущееmr. DR - прекрасное будущееmr. DR - прекрасное будущееmr. DR - прекрасное будущееmr. DR - прекрасное будущееmr. DR - прекрасное будущееmr. DR - прекрасное будущееmr. DR - прекрасное будущее
По умолчанию

пользуйтесь - http://help.yandex.ru/webmaster/?id=996567

Добавлено через 32 секунды
гыы
второй нах

Последний раз редактировалось mr. DR; 05.07.2011 в 11:59. Причина: Добавлено сообщение
mr. DR вне форума   Ответить с цитированием
Старый 05.07.2011, 11:59   #4
Копирайтер-рерайтер
 
Аватар для Asterada
 
Регистрация: 17.08.2007
Адрес: Краснодарский край
Сообщений: 3,620
Вес репутации: 374
Asterada - прекрасное будущееAsterada - прекрасное будущееAsterada - прекрасное будущееAsterada - прекрасное будущееAsterada - прекрасное будущееAsterada - прекрасное будущееAsterada - прекрасное будущееAsterada - прекрасное будущееAsterada - прекрасное будущееAsterada - прекрасное будущееAsterada - прекрасное будущее
Отправить сообщение для Asterada с помощью ICQ
По умолчанию

Цитата:
Сообщение от 4aa19 Посмотреть сообщение
при этом, то что мне нужно вообще выпадает
от robots это никак не зависит
Asterada вне форума   Ответить с цитированием
Старый 05.07.2011, 12:10   #5
Специалист
 
Аватар для [-ART-]
 
Регистрация: 12.05.2011
Сообщений: 220
Вес репутации: 161
[-ART-] скоро станет известен
По умолчанию

А какой движок-то?
Как правило, в большинстве уже есть готовые, осталось только подкорректировать.

Можете воспользоваться >этим< сервисом... хотя он весьма примитивный.
[-ART-] вне форума   Ответить с цитированием
Старый 05.07.2011, 12:29   #6
Новичок
 
Регистрация: 16.12.2010
Сообщений: 48
Вес репутации: 162
4aa19 на пути к лучшему
По умолчанию

Движок Wordpress, пользовался я разными хелпами, но говорю, что ссылки в Error выпадают.
Вот варианты, которые я пробовал и не подошли, может, кто подскажет в чем ошибка:
Цитата:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: /*feed
Disallow: /*?s=
Disallow: /*#comment
Allow: /wp-content/uploads


Sitemap: http://site.com/sitemap.xml
Host: site.com
И второй:
Цитата:
User-agent: *
Disallow: /feed
Disallow: /?s=
Disallow: /#comment
Disallow: /comment

Sitemap: http://site.com/sitemap.xml
Host: site.com
4aa19 вне форума   Ответить с цитированием
Старый 05.07.2011, 12:44   #7
Куриллочный троль
 
Аватар для Клон
 
Регистрация: 15.03.2010
Сообщений: 8,483
Вес репутации: 520
Клон - прекрасное будущееКлон - прекрасное будущееКлон - прекрасное будущееКлон - прекрасное будущееКлон - прекрасное будущееКлон - прекрасное будущееКлон - прекрасное будущееКлон - прекрасное будущееКлон - прекрасное будущееКлон - прекрасное будущееКлон - прекрасное будущее
Отправить сообщение для Клон с помощью ICQ
По умолчанию

Цитата:
Сообщение от 4aa19 Посмотреть сообщение
кто подскажет в чем ошибка:
вам же выше 2 раза ссылку дали, там подробно, с примерами расписано как правильно сделать роботс
__________________
2013 год. В прошлом апокалипсис. Страшный апокалипсис. Гнилой апокалипсис. Просто чмо
Клон вне форума   Ответить с цитированием
Старый 05.07.2011, 13:00   #8
Новичок
 
Регистрация: 16.12.2010
Сообщений: 48
Вес репутации: 162
4aa19 на пути к лучшему
По умолчанию

Цитата:
Сообщение от Клон Посмотреть сообщение
вам же выше 2 раза ссылку дали, там подробно, с примерами расписано как правильно сделать роботс
Я же писал, что был я там уже не один раз. И создавал robot.txt по тех правилах, которые понял, но ссылки, то все равно в Error выпадают. Видимо где-то допустил ошибку, но не знаю где. Через что и попросил помощи.
Если не знаете чем помочь или не хотите, то зачем писать одно и то же по 10 раз!!!
4aa19 вне форума   Ответить с цитированием
Старый 05.07.2011, 13:10   #9
Мастер
 
Аватар для mr. DR
 
Регистрация: 01.07.2010
Адрес: Сибирь матушка.
Сообщений: 723
Вес репутации: 199
mr. DR - прекрасное будущееmr. DR - прекрасное будущееmr. DR - прекрасное будущееmr. DR - прекрасное будущееmr. DR - прекрасное будущееmr. DR - прекрасное будущееmr. DR - прекрасное будущееmr. DR - прекрасное будущееmr. DR - прекрасное будущееmr. DR - прекрасное будущееmr. DR - прекрасное будущее
По умолчанию

Цитата:
Сообщение от 4aa19 Посмотреть сообщение
создавал robot.txt по тех правилах, которые понял
Цитата:
Сообщение от 4aa19 Посмотреть сообщение
но ссылки, то все равно в Error выпадают
Если вы не понимаете, что роботс и ссылки в ерроре никак не связаны - идите в ШКОЛУ !!!
mr. DR вне форума   Ответить с цитированием
Старый 05.07.2011, 13:18   #10
Новичок
 
Регистрация: 16.12.2010
Сообщений: 48
Вес репутации: 162
4aa19 на пути к лучшему
По умолчанию

Цитата:
Сообщение от mr. DR Посмотреть сообщение
Если вы не понимаете, что роботс и ссылки в ерроре никак не связаны - идите в ШКОЛУ !!!
Интересно, кому надо в школу ????!!! Если в статусе ссылки пишет, что она запрещена в robot.txt.

Блин, народ, я понимаю, что вы все тут крутые, косите мишками бабло и не хотите помочь какому-то новичку, а лишь бы показать, какой я крутой!!! Но перед тем, как давать бредо-ответы, хотя бы читали тему и шевелили мозгами!
4aa19 вне форума   Ответить с цитированием
Ответ

Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Помогите правильно создать площадку ArtemiyGAR Вопросы от новичков 0 22.11.2009 15:36
Robots.txt для Dle. Делаем правильно. Да будет сайт проиндексирован. adamsadriane Разработка и сопровождение сайтов 4 13.07.2009 12:38
Нужно создать шаб для ДЛЕ Amlet Разработка и сопровождение сайтов 2 22.12.2008 18:29


Часовой пояс GMT +3, время: 23:53.