Переадресация и Яндекс.Вебмастер и не только

[Kaa]

Пролог. Долбаюсь с правильным удалением ненужных страниц-переадресаций из Яндекса. Текста многа, смысл туманен!


Текст.
У меня своя CMS и я для переадресации сообразил в свое время такую конструкцию - /http://drugoj-sajt.ru Это делает переадресацию на drugoj-sajt.ru. Ссылка целиком выглядит так: http://moj-sajt.ru/http://drugoj-sajt.ru

Удобно писать - просто слэш и адрес нужного сайта, безо всяких goto.php?url=drugoj-sajt.ru. Но хочется как лучше, а получается через *опу... Теперь Яндекс, етить его тиц, блин, воспринял все такие переадресации как отдельные страницы!

При запросе страницы переадресации http://moj-sajt.ru/http://drugoj-sajt.ru происходит следующее:
1. отправляется 301 Moved Permanently;
2. так же в header отправляется новый адрес;
5. выдается предупреждение пользователю о переадресации;
6. переадресация посредством "meta refresh" - это уже контрольный в голову.

И вот такие страницы Яндекс зафигачил себе в базу, хорошо хоть не в индекс. Мне это не нравится, хочется чтобы все было гладенько, чтоб все было гладенько, чтоб все было гладенько и, блин, чистенько.

Чтобы все было чистенько, есть еще два пункта:
3. отключение кэша в header;
4. meta-тег robots noindex.

Фиг то там В Структуре сайта в ЯВМ страницы есть, отображаются в виде замечаний в Ошибках Вопрос: что еще предпринять, чтобы такие страницы свалили из структуры и ошибок?

До кучи недавно в robots.txt дописал запрет на страницы, начинающиеся на http. Страницы начали переваливаться из статуса замечаний "HTTP-статус: Ресурс перемещён навсегда (301)" в статус заметок "Документ запрещен в файле robots.txt". Уже лучше.

Только не записал старые цифорьки и сейчас не могу точно сказать, сваливают ли страницы из Структуры сайта после запрета индексации в robots.txt?


Эпилог. Понимаю, что все это крохоборство, но хочется таки, дабы все было гладко, поэтому и предпринимаю такие извращенные действия. К тому же некоторые клиенты пользуют ЯВМ и не понимают истинных значений статусов и структуры. Короче мозги массажируют почем зря...

На самом деле понимаю, что скорее всего придется переделывать эту переадресацию на общепринятую типа goto.php?url=drugoj-sajt.ru. Тогда только одна страница будет вне закона, и то с этим легко могу управиться, снизится нагрузка на процессор CMSки, можно будет добавить некоторый забавный функционал. Ерунда в том, что автоматом я могу поменять переадресацию на нормальную только в компонентах, а ведь еще куча ручками проставленных таких ссылок... Их ты-ы-ы-ысячи

З.Ы. Вопросы выделены темно-зеленым. Спасибо что дочитали )

[pma87]

Не знаю как Яндекс отнесется к запрету в robots.txt страниц, начинающиеся на http, но все же лучше сделать так: goto.php?url=drugoj-sajt.ru
disallow:goto.php
С такой конструкцией можно не боятся что выпадут нужные страницы.

P.s. Лучше не отходить от стандарта, ибо в стандарте нет такого запретить все, начинающееся на http, это уже Яндекс сам придумал.

[Kaa]

это уже Яндекс сам придумал

Это не Яндекс придумал, это я постарался

Видимо на самом деле придется делать goto.php. Утешает меня то, что я смогу фичу одну реализовать - приделать на goto.php отображение статистики переходов. Чтобы если просто так адрес goto.php набираешь, то значит и показывается на какие сайты больше переходов было

Огорчает только то, что моя идея движка в один единый php-файл сыплется на ходу

[orko]

User-agent: Yandex
Disallow: /http://*

т.к. CMS твоя, тот лучше исправь все на аналог "goto.php?url="

Добавлено через 12 минут

Сообщение от Kaa

Ерунда в том, что автоматом я могу поменять переадресацию на нормальную только в компонентах, а ведь еще куча ручками проставленных таких ссылок... Их ты-ы-ы-ысячи

все это в базе ?
тогда в чем проблема там все поменять ???

[Kaa]

все это в базе ?
тогда в чем проблема там все поменять ???

Сайтов очень много и некоторые базы весьма большие, поэтому автоматом не поменять

User-agent: Yandex
Disallow: /http://*

Стоит подобная конструкция. Но все равно страницы находятся в структуре сайта.