05.07.2011, 11:52 | #1 |
Новичок
Регистрация: 16.12.2010
Сообщений: 48
Вес репутации: 168
|
как правильно создать robots.txt?
Здравствуйте, уважаемые форумчани.
Последнее время в индекс Яндекса начали попадать страницы, которые мне там вообще не нужны, раньше было всё нормально, а тут с каждым АПом их всё больше и при этом, то что мне нужно вообще выпадает . Так же эти ссылки добавляются в Сапу при переиндексации, что тоже не хорошо. Я так понимаю, что надо сделать файл robots.txt и там что – то прописать. Подскажите что именно там должно быть. А то я уже несколько раз пробовал, после чего практически все ссылки в Сапе выпадают в ERROR!!! Ссылки, которые я хотел бы исключить имеют вид: Код HTML:
http://site.com/2010/09/post/#comment-790 (то есть ссылка на комментарий, а не на пост) http://site.com/page/2/?s=метод+крамера (ссылка на поиск) http://site.com/page/4/?s=e&search=Поиск (ссылка на поиск) http://site.com/2010/09/post/feed (ссылка на RSS) |
05.07.2011, 11:59 | #2 | |
Копирайтер-рерайтер
|
Цитата:
__________________
|
|
05.07.2011, 11:59 | #3 |
Мастер
Регистрация: 01.07.2010
Адрес: Сибирь матушка.
Сообщений: 723
Вес репутации: 205
|
Последний раз редактировалось mr. DR; 05.07.2011 в 11:59. Причина: Добавлено сообщение |
05.07.2011, 11:59 | #4 |
Копирайтер-рерайтер
|
от robots это никак не зависит
__________________
|
05.07.2011, 12:29 | #6 | ||
Новичок
Регистрация: 16.12.2010
Сообщений: 48
Вес репутации: 168
|
Движок Wordpress, пользовался я разными хелпами, но говорю, что ссылки в Error выпадают.
Вот варианты, которые я пробовал и не подошли, может, кто подскажет в чем ошибка: Цитата:
Цитата:
|
||
05.07.2011, 12:44 | #7 |
Куриллочный троль
|
вам же выше 2 раза ссылку дали, там подробно, с примерами расписано как правильно сделать роботс
__________________
|
05.07.2011, 13:00 | #8 | |
Новичок
Регистрация: 16.12.2010
Сообщений: 48
Вес репутации: 168
|
Цитата:
Если не знаете чем помочь или не хотите, то зачем писать одно и то же по 10 раз!!! |
|
05.07.2011, 13:10 | #9 |
Мастер
Регистрация: 01.07.2010
Адрес: Сибирь матушка.
Сообщений: 723
Вес репутации: 205
|
|
05.07.2011, 13:18 | #10 | |
Новичок
Регистрация: 16.12.2010
Сообщений: 48
Вес репутации: 168
|
Цитата:
Блин, народ, я понимаю, что вы все тут крутые, косите мишками бабло и не хотите помочь какому-то новичку, а лишь бы показать, какой я крутой!!! Но перед тем, как давать бредо-ответы, хотя бы читали тему и шевелили мозгами! |
|
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Помогите правильно создать площадку | ArtemiyGAR | Вопросы от новичков | 0 | 22.11.2009 15:36 |
Robots.txt для Dle. Делаем правильно. Да будет сайт проиндексирован. | adamsadriane | Разработка и сопровождение сайтов | 4 | 13.07.2009 12:38 |
Нужно создать шаб для ДЛЕ | Amlet | Разработка и сопровождение сайтов | 2 | 22.12.2008 18:29 |
Часовой пояс GMT +3, время: 14:59.