25.12.2010, 09:20 | #1 |
Новичок
Регистрация: 17.09.2010
Адрес: Россия
Сообщений: 74
Вес репутации: 167
|
Гугл не воспринимает Robots.txt
Возникла проблема, что гугл не следует правилам robots. У меня блог на вордпрессе и запрещены к индексации категории, а он все-равно их проиндексировал. Может он после повторной проверки их всетаки выкинет?
И еще есть страницы в индексе, отдающие 404, как с ними быть? Выкинет их из поиска? С яндексом таких проблем нет... |
25.12.2010, 10:05 | #2 |
Специалист
Регистрация: 19.01.2010
Адрес: дома
Сообщений: 195
Вес репутации: 183
|
Проверяйте строки файла в инструментах для ВМ гугла. Новые изменения вступают не сразу. Robots не имеет отношения к движку - это указания для роботов.
Если они отдают 404, значит их НЕТ и логичнее их выкинуть, т.к. их НЕТ, ибо 404 значит НЕТ такой страницы )) |
25.12.2010, 11:34 | #3 |
Новичок
Регистрация: 17.09.2010
Адрес: Россия
Сообщений: 74
Вес репутации: 167
|
|
25.12.2010, 11:54 | #4 |
Эксперт
Регистрация: 17.11.2009
Адрес: Донбасс
Сообщений: 1,481
Вес репутации: 234
|
что именно не ясно? не знаете где утиллы гугль вебмастера?
__________________
|
25.12.2010, 15:24 | #5 |
Новичок
Регистрация: 17.09.2010
Адрес: Россия
Сообщений: 74
Вес репутации: 167
|
почему же не знаю... знаю! Имеете виду вручную создавать запрос на удаление ненужных страниц? По идее гугл сам не должен без спроса брать что не позволено роботсом . Вот и думаю, выкинет со временем такие страницы или нет...
|
02.01.2011, 15:07 | #6 |
Новичок
Регистрация: 17.09.2010
Адрес: Россия
Сообщений: 74
Вес репутации: 167
|
Вообще кошмар, все хавает и хавает что не положено
|
02.01.2011, 15:23 | #8 |
Эксперт
Регистрация: 12.12.2009
Адрес: Ростов-на-Дону
Сообщений: 1,537
Вес репутации: 242
|
Подтверждаю.
Гугл не всегда (или с очень большой задержкой?) слушается роботса. Содержимое роботса - корректно. Т.е. проверяешь через инструменты вебмастера - "адрес запрещён такой-то строкой файла роботс", фактически - в индексе (в соплях). Хотя, может я не вполне владею терминологией. Страница запрещённая в роботсе не участвует в поиске по запросу site:site.com, но появляется при поиске "включая опущенные результаты очень похожие на уже показанные". Инструменты вебмастера - говорят что страница заблокирована в роботсе (но фактически - получается таки участвует в поиске)
__________________
Самый удобный Хостинг (в т.ч. сейчас - бесплатное полугодовое тестирование хостинга Node.JS) Последний раз редактировалось eresik; 02.01.2011 в 15:32. |
02.01.2011, 17:48 | #9 | |
Новичок
Регистрация: 17.09.2010
Адрес: Россия
Сообщений: 74
Вес репутации: 167
|
Цитата:
Вот роботс: Код:
User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /wp-trackback Disallow: /wp-feed Disallow: /wp-comments Disallow: /category/ Disallow: /page/ Disallow: /feed/ |
|
02.01.2011, 19:12 | #10 | |
Специалист
Регистрация: 08.08.2008
Сообщений: 422
Вес репутации: 206
|
Цитата:
которые в индексе гугла... то на роботс.тхт он забивает. (у меня волынка с такими ссылками тянется почти полгода, исключение, страницы на которые не ссылаются внешние сайты исключаются согласно роботс.тхт) |
|
Опции темы | |
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Robots | Антоха | Разработка и сопровождение сайтов | 0 | 01.10.2010 14:01 |
robots | artoff | Вопросы от новичков | 4 | 14.08.2010 11:37 |
Как Янд. воспринимает тэг blockquote? | Loafer | Яндекс | 7 | 09.03.2010 01:26 |
Как система воспринимает такие страници? | treningdom | Вопросы по работе системы | 1 | 24.09.2009 11:41 |
в robots.txt без www... | tito-m | Вопросы от новичков | 4 | 01.12.2008 20:34 |
Часовой пояс GMT +3, время: 06:12.