ЯВМ: страницы не в поиске

[Маленькая сосна]

На одном сайте количество страниц, участвующих в поиске, составляет 30% от всех загруженных роботом страниц. Можно ли как-нибудь выцепить из ЯВМ эти страницы?..

[zadnica]

а через расширенный поиск по яндексу не пробовали? http://yandex.ru/search/advanced

вводите в графе "на сайте" свой адрес и вам покажет все страницы в поиске

[Маленькая сосна]

zadnica, все страницы в поиске я и так знаю. Мне нужны те страницы, которых в поиске нет, но про которые Яндекс говорит, что роботом он их себе загрузил...

Вот про эти:

В разделе "Загружено роботом" отображается информация обо всех страницах, которые известны нашему роботу, а в разделе "Страницы в поиске" показываются только те из них, которые реально участвуют в поиске. Причин, по которым загруженные страницы могут не участвовать в поиске, много - они могут быть дубликатами уже показанных страниц, содержать поисковый спам или ненужный пользователям контент, либо при их загрузке произошла ошибка. Те страницы, при загрузке которых произошли ошибки, можно посмотреть в разделе "Исключенные страницы".

Потому как в "исключенных страницах" нужного тоже нет. Технические ошибки просто бы вылечились..

[zadnica]

ну так смотрите какие страницы в поиске и делайте вывод, что остальные не в поиске. при том если сайт обновляется исключаете еще и те страницы, которые были созданы после последнего апа

[Маленькая сосна]

zadnica, а если их стотыщмильонов? К тому же, не хочется тратить время на воспоминания - какие-то разделы могли быть запрещены в роботсе. Причем не в файле роботс.тхт, а в метатеге роботс...

[zadnica]

ну то что их так много я сомневаюсь. ну впрочем другого способа предложить не могу.

[tsndex]

можно выгрузить логи сервера до даты, указанной в вебмастере как последняя дата индексации. Создать консолидированный список урлов, которые яща читал и вычесть те, которые в поиске.
Такой способ лучше?

[allodessa]

И кстати единственный!!

[Маленькая сосна]

*ошарашенно*
thx...