Сканирует, но не индексирует

[MadGreen]

Коллеги, подскажите.
Есть сайт http://www.fish-hook.ru/
Яндекс индексирует все как нужно, Гугл с 9 мая 2012 катастрофически начал проседать в трафике, в результате упал почти до нуля. Каких-то значимых причин не вижу.
Основной раздел сайта http://www.fish-hook.ru/articles/ не в индексе, хотя по логам бот гугла оттуда не вылезает. Например, сегодня гугл вычитал 1039 страниц, в основном из этого раздела, а яндекс всего 693...
В середине года писал в ТП гугла, ответили что санкций на сайте нет...
Всю голову сломал.

[karamba]

Шибко навороченный роботс.тхт
с мая сильно с ним экспериментировали, как понимаю?

[MadGreen]

karamba, да, каждый раз проверяя корректность через гугл.вебмастер...
В итоге секция для гугла существенно уменьшилась, большая часть правил осталась только для форума. Остальное ушло в meta name="robots" content="noindex" и link rel="canonical" href="..."
Причем каноникал абсолютно корректный, проверялось вручную...

[karamba]

А в вебмастер-панели что пишут? ошибки, статистика? может там что завалялось
Заодно гляньте в логах сервера какой статус ответа получает гуглобот - 200 или там 301...

[MadGreen]

Все это делается в первую очередь: анализ панели вебмастера и логов. Ответы абсолютно корректны, везде 200. Ошибки в панели только естественные (удаление пользовательских страниц и т.д.), результаты модерации (но их единицы, в рамках тысяч страниц сайта).

[karamba]

Глюк странный.
news есть, а articles - нет...
имхо долбить Гугл - похоже там что-то не так (пусть хоть объяснят почему нет страниц в индексе)

Маленькая зацепка к тому, что это именно глюк:
1. Скормил ваш роботс гугл-вебмастеру, подсунул урл из /articles/ - получил "Разрешено, Распознается в качестве каталога; у некоторых файлов могут быть другие ограничения"
2. Добавил второй урл из /news/ (есть в индексе) - получил на первый урл "Разрешено", а на второй - "Разрешено, Распознается в качестве каталога; у некоторых файлов могут быть другие ограничения".

Разные ответы на один и тот же урл при парсинге роботс.тхт - странно.

Варианты решения проблемы "в лоб":
- переход от использования "/" к ".html" (увы, если страницы уже есть в яндексе - болезненное решение)
- упрощение структуры robots.txt
- rel="canonical" (может прошибет? )
- долбание гугловской ТП.

Кстати, в панели вебмастера "Конфигурация - Параметры URL" не эксперименттровали?

[MadGreen]

karamba, тоже склоняюсь уже к долбанию ТП, с параметрами урл экспериментировал, но осторожно
В любом случае спасибо.