Яндекс жестоко глюканул :(

Администрация 6-ой палаты · 08.11.2007, 04:10

Только что Яндекс проиндексировал мои новенькие 111 страниц сайта.

+ он взял и проиндексировал запрещенные в РОБОТС.ТХТ страницы.

Как я проверил?
А просто взял и ввел в поисковой строке адрес сайта и на первом же месте он мне выдал запрещенные в роботсе страницы!

Блин, че делать? На этих страницах у меня внешних ссылок около 2500?
Жесть, наверно из-за его же ошибки скоро будет бан!

К превиликому счастью эти страницы проскриптованы на ПХП и дают максимум 23 внешних ссылки при поиске.

А может это не так и плохо?

Евген · 08.11.2007, 04:29

может роботс неправильный?
роботс дайте пасматреть

Администрация 6-ой палаты · 08.11.2007, 04:37

Цитата:

Сообщение от Евген

может роботс неправильный?
роботс дайте пасматреть

User-agent: *
Disallow: /regen.php

Евген · 08.11.2007, 04:41

ну значит все страницы начинающиеся с
site.ru/regen.php не должны индекситься..
если проиндексировались то
robots.txt создан позже, чем забежал быстроробот
робот не смог открыть robots
глюк

Администрация 6-ой палаты · 08.11.2007, 04:44

Цитата:

Сообщение от Евген

ну значит все страницы начинающиеся с
site.ru/regen.php не должны индекситься..
если проиндексировались то
robots.txt создан позже, чем забежал быстроробот
робот не смог открыть robots
глюк

А как мог забежать быстроробот и проиндексировать страницу, если вначале появился РОБОТС.ТХТ, а уже потом страница regen.php?

Это сто пудовый глюк!

Ank · 08.11.2007, 10:49

ну спросите у самого яндекса, как он считает этот роботс. У него есть там место для проверки.

Jooz · 08.11.2007, 10:59

1. Для начала уясните. Указанная страница в любом случае будет проиндексирована. Роботс запрещает выдачу ее в серп. Иначе клокинговые сетки процветали. По этому так от бана не спрячитесь.
2. Проверьте права на файл, если бот не смог его открыть на чтение результат - страница в серпе.
3. Проверьте кодировку файла.

maldini · 08.11.2007, 19:42

вчера вообще ночью проверил - проиндексировал весь сайт. все 4700 страниц. всё что можно, даже линкопомойку всю.
Сегодня с утра опять как по прежнему 40 страниц.
Глючит базу как всегда. Да кстати сегодня была конференция от компании нетпромоутер.ру и анмедиа. Обсуждались как раз фильтры и вопросы с выпадением сайта из индекса. Так вот там прямо так и сказали, что у яндекса постоянно глюки и это абсолютно для него нормально. В отличие от гугла, который работает как часы.

9dVSnVN6 · 08.11.2007, 21:25

Цитата:

Сообщение от Evgeniy

User-agent: *
Disallow: /regen.php

Кстати, роботс.тхт это все хорошо, но есть еще и конструкция
типа <meta name="robots" content="noindex,nofollow" />. Ее и яндекс и гугл слушаются исправно. Я роботс.тхт давно уже комбинирую с метой.

08.11.2007, 04:10	#1
Администрация 6-ой палаты пусто Регистрация: 28.10.2007 Сообщений: 3,115 Вес репутации: 370	Яндекс жестоко глюканул :( Только что Яндекс проиндексировал мои новенькие 111 страниц сайта. + он взял и проиндексировал запрещенные в РОБОТС.ТХТ страницы. Как я проверил? А просто взял и ввел в поисковой строке адрес сайта и на первом же месте он мне выдал запрещенные в роботсе страницы! Блин, че делать? На этих страницах у меня внешних ссылок около 2500? Жесть, наверно из-за его же ошибки скоро будет бан! К превиликому счастью эти страницы проскриптованы на ПХП и дают максимум 23 внешних ссылки при поиске. А может это не так и плохо?

08.11.2007, 04:29	#2
Евген Модератор Регистрация: 07.06.2007 Сообщений: 3,491 Вес репутации: 315	может роботс неправильный? роботс дайте пасматреть __________________ прежде чем спросить - ФАК, ЧаВо, RTFM (кто не прочитал-бан) Секреты успешной работы вебмастеров в Sape - Бестселлер года! Расширяем возможности SAPE: дополнение к Firefox - без него, как без рук.

08.11.2007, 04:41	#4
Евген Модератор Регистрация: 07.06.2007 Сообщений: 3,491 Вес репутации: 315	ну значит все страницы начинающиеся с site.ru/regen.php не должны индекситься.. если проиндексировались то robots.txt создан позже, чем забежал быстроробот робот не смог открыть robots глюк __________________ прежде чем спросить - ФАК, ЧаВо, RTFM (кто не прочитал-бан) Секреты успешной работы вебмастеров в Sape - Бестселлер года! Расширяем возможности SAPE: дополнение к Firefox - без него, как без рук.

08.11.2007, 10:49	#6
Ank Администратор Регистрация: 05.02.2007 Сообщений: 18,405 Вес репутации: 715	ну спросите у самого яндекса, как он считает этот роботс. У него есть там место для проверки. __________________ Начать зарабатывать на своих сайтах. Консультирую своих рефов по аське Читаем ФАК

08.11.2007, 10:59	#7
Jooz Вредина Регистрация: 03.07.2007 Адрес: д.Коноплянка Сообщений: 3,535 Вес репутации: 432	1. Для начала уясните. Указанная страница в любом случае будет проиндексирована. Роботс запрещает выдачу ее в серп. Иначе клокинговые сетки процветали. По этому так от бана не спрячитесь. 2. Проверьте права на файл, если бот не смог его открыть на чтение результат - страница в серпе. 3. Проверьте кодировку файла. __________________ Чтобы произошло чудо нужно обязательно дунуть. Если не дунуть - чуда не произойдет! ツ

08.11.2007, 19:42	#8
maldini Новичок Регистрация: 08.07.2007 Адрес: Москва Сообщений: 64 Вес репутации: 206	вчера вообще ночью проверил - проиндексировал весь сайт. все 4700 страниц. всё что можно, даже линкопомойку всю. Сегодня с утра опять как по прежнему 40 страниц. Глючит базу как всегда. Да кстати сегодня была конференция от компании нетпромоутер.ру и анмедиа. Обсуждались как раз фильтры и вопросы с выпадением сайта из индекса. Так вот там прямо так и сказали, что у яндекса постоянно глюки и это абсолютно для него нормально. В отличие от гугла, который работает как часы.

Похожие темы
Тема	Автор	Раздел	Ответов	Последнее сообщение
Яндекс	rmPIC30	Яндекс	16	11.06.2008 08:33
Яндекс	krac	Вопросы от новичков	11	24.04.2008 19:58
Яндекс vs. YAP	nikonoff	Яндекс	5	15.03.2008 01:45
Яндекс Директ	Lesnik59	Яндекс	17	09.01.2008 08:15
Яндекс тИЦ	Kholod	Яндекс	12	12.11.2007 11:38