Гугл не воспринимает Robots.txt

[strikestar]

Возникла проблема, что гугл не следует правилам robots. У меня блог на вордпрессе и запрещены к индексации категории, а он все-равно их проиндексировал. Может он после повторной проверки их всетаки выкинет?

И еще есть страницы в индексе, отдающие 404, как с ними быть? Выкинет их из поиска? С яндексом таких проблем нет...

[ВладимирВ]

Сообщение от strikestar

Возникла проблема, что гугл не следует правилам robots

Проверяйте строки файла в инструментах для ВМ гугла. Новые изменения вступают не сразу. Robots не имеет отношения к движку - это указания для роботов.

Сообщение от strikestar

отдающие 404, как с ними быть

Если они отдают 404, значит их НЕТ и логичнее их выкинуть, т.к. их НЕТ, ибо 404 значит НЕТ такой страницы ))

[strikestar]

Сообщение от ВладимирВ

Проверяйте строки файла в инструментах для ВМ гугла.

не понял тут вас

[a112]

Сообщение от strikestar

не понял тут вас

что именно не ясно? не знаете где утиллы гугль вебмастера?

[strikestar]

Сообщение от a112

что именно не ясно? не знаете где утиллы гугль вебмастера?

почему же не знаю... знаю! Имеете виду вручную создавать запрос на удаление ненужных страниц? По идее гугл сам не должен без спроса брать что не позволено роботсом . Вот и думаю, выкинет со временем такие страницы или нет...

[strikestar]

Вообще кошмар, все хавает и хавает что не положено

[danilclub]

Сообщение от strikestar

Вообще кошмар, все хавает и хавает что не положено

Покажите содержимое файла роботс.

[eresik]

Подтверждаю.
Гугл не всегда (или с очень большой задержкой?) слушается роботса.
Содержимое роботса - корректно.
Т.е. проверяешь через инструменты вебмастера - "адрес запрещён такой-то строкой файла роботс", фактически - в индексе (в соплях).

Хотя, может я не вполне владею терминологией.
Страница запрещённая в роботсе не участвует в поиске по запросу site:site.com, но появляется при поиске "включая опущенные результаты очень похожие на уже показанные".
Инструменты вебмастера - говорят что страница заблокирована в роботсе (но фактически - получается таки участвует в поиске)

[strikestar]

Сообщение от eresik

Страница запрещённая в роботсе не участвует в поиске по запросу site:site.com, но появляется при поиске "включая опущенные результаты очень похожие на уже показанные".
Инструменты вебмастера - говорят что страница заблокирована в роботсе (но фактически - получается таки участвует в поиске)

вот тоже самое

Вот роботс:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /category/
Disallow: /page/
Disallow: /feed/

Все страницы с категориями /category/ и номерами страниц /page/ в поиске присутствуют...

[smbbws]

Гугл не всегда

если на исключенную страницу есть ссылки из вне....
которые в индексе гугла...
то на роботс.тхт он забивает.
(у меня волынка с такими ссылками тянется почти полгода, исключение, страницы на которые не ссылаются внешние сайты исключаются согласно роботс.тхт)