Индексация страниц 404

[eresik]

Кто в курсе поделитесь своим знанием (а то придётся ставить эксперимент).
Есть кучка ГСов, для сбора трафика на основной сайт.
Страница, с которой есть переход на основной сайт - закрыта через robots.txt
Но яша ведь сначала загружает страницы, а потом "исключает". Поэтому такие страницы периодически оказываются проиндексированными.

1. Если на этой странице возвращать ошибку 404 - я так понимаю яша её даже загружать ведь не будет?
2. Все ли браузеры нормально будут отображать такую страницу? (т.е. с контентом, но возвращающую код 404)

[giftday]

код 404 можно возвращать, если user-agent =yandexbot
А лучше в таком случае возвращать "403 - доступ запрещен" и разумеется отправлять пустую страницу.
А для простых смертных выдавать нормальную страницу с контентом и 200 ОК.

Все ли браузеры нормально будут отображать такую страницу?

Не факт. IE 6.0 у меня как-то криво с 404 работает. Может я что-то неправильно отправляю конечно (через пхп).

Добавлено через 1 минуту
403 предпочтительнее 404 в смысле честности.
Если вы возвращаете 404 яндексу, а всем остальным 200, то это клоакинг.
А если вы яндексу суёте 403, то как бы говорите, что мол страница на самом деле есть, но вам туда нельзя.