10.07.2010, 01:21 | #1 |
Новичок
Регистрация: 13.10.2009
Адрес: Харьков
Сообщений: 49
Вес репутации: 0
|
Файл Robots.txt
Здравствуйте!
Вот создаю новый сайт, хочу все сделать правильно, и возник вопрос:обязательно ли делать файл Robots.txt? Все, что нужно закрыть от индексации, я закрыла тегами noindex. Больше закрывать нечего. И не забанит ли Яша из-за отсутствия файла? |
10.07.2010, 01:28 | #2 |
Визжащий хомячок
Регистрация: 12.01.2010
Сообщений: 3,667
Вес репутации: 361
|
не забанит. и если
то, в принципе, роботс не нужен, но на всякий случай, не мешало бы поставить, вдруг чего то забыли закрыть.
__________________
|
10.07.2010, 03:07 | #4 | |
Специалист
|
Цитата:
"в принципе" - роботс совершенно необходим с точки зрения оптимизации: - что бы дойти до тега "noindex" и понять что индексировать не надо поисковый бот будет каждый раз, снова и снова, заглотывать ненужную старницу сайта, потратив время и замедлив индексацию нужных страниц. а время на каждый заход на сайт у ботов ограничено, объем обрабатываемого контента за проход - то же. одного этого более чем достаточно, но для "гуру" вроде XAHTOB есЧо чуть чуть: - директива Sitemap - важнейшая для Яши (хоть и убогая по сути) директива Host таки дела... |
|
10.07.2010, 03:15 | #5 | |
Мастер
Регистрация: 25.07.2008
Адрес: Симферополь, КРЫМ, Чистенькое :)
Сообщений: 676
Вес репутации: 217
|
роботс обязательно делать, пусть даже и не запрещать а просто прописать - правило хорошего тона
Цитата:
__________________
|
|
10.07.2010, 05:25 | #6 | |
Новичок
Регистрация: 13.10.2009
Адрес: Харьков
Сообщений: 49
Вес репутации: 0
|
Цитата:
|
|
10.07.2010, 05:47 | #7 |
Специалист
Регистрация: 05.05.2008
Адрес: Город Герой О_o
Сообщений: 354
Вес репутации: 217
|
Alexa137, ну вот пример: http://forum.sape.ru/robots.txt
|
10.07.2010, 05:57 | #8 | |
Новичок
Регистрация: 13.10.2009
Адрес: Харьков
Сообщений: 49
Вес репутации: 0
|
Цитата:
|
|
10.07.2010, 14:40 | #9 | ||
Привилегированный сапёр
Регистрация: 21.04.2008
Сообщений: 2,426
Вес репутации: 310
|
Хотел сегодня создать такую же тему.
Раньше особо не обращал внимания, но теперь решил сделать robots-ы. Вопросы к знающим. Пример для DLE сайта: User-agent: * Disallow: /?do=feedback Disallow: /?do=register Disallow: /?do=lastcomments Disallow: /?do=stats Disallow: /?do=lastnews Disallow: /addnews.html Disallow: /?do=search&mode=advanced Disallow: /index.php?do=lostpassword Но когда захожу в панель вебмастера и проверяю, то он не воспринимает запреты. Когда указываю User-agent: Yandex , то всё гуд. Стоит ли делать отдельно указание Яндексу, а потом дублировать для всех остальных, по типу: User-agent: Yandex Disallow: /?do=feedback Disallow: /?do=register Disallow: /?do=lastcomments Disallow: /?do=stats Disallow: /?do=lastnews Disallow: /addnews.html Disallow: /?do=search&mode=advanced Disallow: /index.php?do=lostpassword Host: blabla.ru User-agent: * Disallow: /?do=feedback Disallow: /?do=register Disallow: /?do=lastcomments Disallow: /?do=stats Disallow: /?do=lastnews Disallow: /addnews.html Disallow: /?do=search&mode=advanced Disallow: /index.php?do=lostpassword Sitemap: http://blabla.ru/sitemap.xml И вопрос номер 2. Запрещаете ли rss ленты? По сути - это ведь дублирующийся контент. Спасибо заранее... Добавлено через 3 минуты Цитата:
Кажется нашел ответ сам в самом яндексе: Цитата:
User-agent: * Disallow: /?do=feedback Disallow: /?do=register User-agent: Yandex Host: blabla.info Disallow он перестает учитывать... Я правильно понимаю?
__________________
Последний раз редактировалось Sergoff; 10.07.2010 в 14:46. Причина: Добавлено сообщение |
||
10.07.2010, 14:43 | #10 | ||
Эксперт
Регистрация: 12.12.2009
Адрес: Ростов-на-Дону
Сообщений: 1,537
Вес репутации: 242
|
Цитата:
Добавлено через 1 минуту Цитата:
User-agent: * Disallow:
__________________
Самый удобный Хостинг (в т.ч. сейчас - бесплатное полугодовое тестирование хостинга Node.JS) Последний раз редактировалось eresik; 10.07.2010 в 14:43. Причина: Добавлено сообщение |
||
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Файл Robots.txt | admbuxonly | Вопросы от новичков | 13 | 10.06.2010 20:12 |
Help!!! Как удалить файл? | Lesnik59 | Курилка | 16 | 07.02.2010 12:33 |
запрет страниц для индекса через файл robots.txt | Dr.Dream | Яндекс | 9 | 23.08.2009 23:29 |
Бот сапы смотрит на файл robots.txt? | mekal | Вопросы по работе системы | 13 | 18.10.2008 15:20 |
Закачать файл 100 мб? | Mr.Wolf | Курилка | 21 | 11.03.2008 15:32 |
Часовой пояс GMT +3, время: 03:49.