30.05.2010, 08:33 | #1 | |
Новичок
|
Файл Robots.txt
Ребят, вчера наткнулся на свой файл Robots.txt случайно проанализировал через вебмастер.яндекс и обнаружил вот это:
Код:
User-agent: * Disallow: Sitemap: http://finanse-pro.ru/sitemap.xml.gz Вобщем заменил я этот код на следующий: Код:
User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: /feed Disallow: /comments Disallow: /category/*/* Disallow: */trackback Disallow: */feed Disallow: */comments Disallow: /*?* Disallow: /*? Allow: /wp-content/uploads # Google Image User-agent: Googlebot-Image Disallow: Allow: /* # Google AdSense User-agent: Mediapartners-Google* Disallow: Allow: /* # Internet Archiver Wayback Machine User-agent: ia_archiver Disallow: / # digg mirror User-agent: duggmirror Disallow: / Sitemap: http://www.russian-webstyle.ru/sitemap.xml User-agent: Yandex Crawl-delay: 5 Disallow: /tag Цитата:
|
|
30.05.2010, 08:58 | #2 | |
Специалист
|
Какой движок?
Добавлено через 5 минут Цитата:
Последний раз редактировалось lostawer; 30.05.2010 в 08:58. Причина: Добавлено сообщение |
|
30.05.2010, 09:06 | #3 |
Новичок
|
Движок WP
Добавлено через 1 минуту А почему до сих пор 1 стр. в поиске и загружена одна. Та уже штук 10 должно быть, и тем более робот яндекса был на моем сайте 28 числа... и сайтмап проверял он там 13 ссылок нашел... а в индекс не ставит ...ппц Последний раз редактировалось admbuxonly; 30.05.2010 в 09:06. Причина: Добавлено сообщение |
30.05.2010, 09:37 | #4 | |
Специалист
|
Цитата:
Добавлено через 43 секунды А на счёт яндекса, что сказать ЖДИ. Не всё так быстро, тем более что ЯВМ обновляется не часто. Последний раз редактировалось lostawer; 30.05.2010 в 09:37. Причина: Добавлено сообщение |
|
30.05.2010, 09:51 | #5 |
Новичок
|
Спасибо, буду пробовать...
|
30.05.2010, 11:07 | #6 |
Новичок
Регистрация: 04.05.2010
Сообщений: 70
Вес репутации: 0
|
Disallow: /comments/-коменты то зачем блокировать?пусть висят
|
30.05.2010, 11:46 | #7 |
Специалист
|
Это пример Robots.txt для MFS, не хочется чтобы спамные коменты были допущены к индексации.
Добавлено через 49 секунд Хотя и на блоге их тоже стоит блочить. Последний раз редактировалось lostawer; 30.05.2010 в 11:46. Причина: Добавлено сообщение |
30.05.2010, 11:51 | #8 |
Новичок
Регистрация: 04.05.2010
Сообщений: 70
Вес репутации: 0
|
lostawer, Спамные легко отсеиваются, если автор следит за блогом.Они даже к индексу не идут, так как обычно админ должен проверить коммент для его показа.
|
30.05.2010, 11:56 | #9 |
Специалист
|
|
30.05.2010, 12:14 | #10 |
Новичок
Регистрация: 04.05.2010
Сообщений: 70
Вес репутации: 0
|
lostawer,
Так это занимает не более 10 минут в день перед сном. Как бы между прочим, если контент не уникальный, то комменты разбавляют его, делая уникальным. Так что на ГС комменты в самый раз. |
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Help!!! Как удалить файл? | Lesnik59 | Курилка | 16 | 07.02.2010 12:33 |
Лог файл по слипам. | Tai Neko | Пожелания пользователей системы | 9 | 08.12.2009 15:37 |
запрет страниц для индекса через файл robots.txt | Dr.Dream | Яндекс | 9 | 23.08.2009 23:29 |
Бот сапы смотрит на файл robots.txt? | mekal | Вопросы по работе системы | 13 | 18.10.2008 15:20 |
Закачать файл 100 мб? | Mr.Wolf | Курилка | 21 | 11.03.2008 15:32 |
Часовой пояс GMT +3, время: 03:45.