Уважаеймый, MrJinx, не подскажешь как получить список проиндексированных Яндексом страниц сайта? Так и не нашел ни одного нормально работающего способа, при условии, что страниц несколько тысяч...
Понятно, что можно через webmaster.yandex.ru... Но парсера под него нигде не видел ((

http://yandex.ru/yandsearch?serverurl=forum.sape.ru :)

Блинн... ну говорил же несколько тысяч страниц, а с помощью serverurl больше 1000 не возьмешь...

Попробуйте ввести в поиск яндекса "*.site.ru" - выведутся все сайты, где стоят ваши ссылки. И он укажет вам, сколько найдено страниц с ссылками.

Можно попробовать сделать парсер. Не задавался такой задачей - да и ненужно было это. Извне достоверного метода, скорее всего, вообще не существует, т.к. Яндекс порой не может посчитать правильно элементарное количество проиндексированных страниц, поэтому тоже есть свои заморочки.

Как вариант - построение карты сайта и проверка всех урлов страниц по одиночке. Без прокси не обойтись. Софт такого плана где-то видел в прошлом году, он есть.

pr0zz, сор. Подумал что спрашивали насчёт ссылок.
MrJinx не могли бы обьяснить почему это яндекс ингда не может посчитать число проиндексированых страниц(понимаю вопрос тупой). Но, по принципу, если страница не проиндексирована, но он ее не видит(или я ошибаюсь?). Соответственно тогда бы сайты постояно плавали, но некоторые сайты ведь стабильно в топ10? Пожалуста ответте на этот вопрос хоть как-то.

Страницы в порядке. Имею ввиду, что Яндекс не умеет считать количество. Пример: в любой выдаче есть такое дело, как "ещё с сайта" и написано рядом количество этих самых "ещё". Когда непосредственно нажать на это "ещё", то выдача страниц далеко не всегда совпадает количественно с заявленной самим же Яндексом.

Если же страница есть в индексе, то она видна в выдаче, с этим проблем нет.

Добавлено через 21 час 37 минут
Я думаю, что у них алгоритм, который определяет по "шаблону" потенциально похожие на дорвеи сайты и потом они их каким-то образом "допроверяют", скорее всего люди. Если бы у них был стопроцентный метод обнаружения дорвеев, то они не присутствовали бы в выдаче. Если бы все знали точный алгоритм того, как определяется дорвей, то дорвеями был бы забит весь pharm serp

Возникла следующая проблема. На сайте ххххх яндекс выдает около 850 проиндексированных страниц. В то время как в Сапе на Яндексе (через кнопку ЯП) показывается - что там и полсотни еле наберется..в чем причина? :)

Проблема может быть в том, что на сайте реально намного больше страниц, чем проиндексировано Яндексом, но при этом не на всех стоит код системы. И система может видеть только часть страниц. Есть ещё вариант, что система неправильно выдаёт кнопку для проверки индекса. Ещё есть вариант, как я уже писал выше, что Яндекс неправильно посчитал количество проиндексированных страниц.

Спасибо! :)