Форум SAPE.RU

Форум SAPE.RU (http://forum.sape.ru/index.php)
-   Вопросы от новичков (http://forum.sape.ru/forumdisplay.php?f=25)
-   -   Большой FAQ от Мистера Джинкса (http://forum.sape.ru/showthread.php?t=13197)

pr0zz 25.09.2008 12:45

Уважаеймый, MrJinx, не подскажешь как получить список проиндексированных Яндексом страниц сайта? Так и не нашел ни одного нормально работающего способа, при условии, что страниц несколько тысяч...
Понятно, что можно через webmaster.yandex.ru... Но парсера под него нигде не видел ((

админ 25.09.2008 14:14

http://yandex.ru/yandsearch?serverurl=forum.sape.ru :)

pr0zz 25.09.2008 15:01

Цитата:

Сообщение от админ (Сообщение 246881)

Блинн... ну говорил же несколько тысяч страниц, а с помощью serverurl больше 1000 не возьмешь...

0wen13 26.09.2008 01:27

Цитата:

Сообщение от pr0zz (Сообщение 246954)
Блинн... ну говорил же несколько тысяч страниц, а с помощью serverurl больше 1000 не возьмешь...

Попробуйте ввести в поиск яндекса "*.site.ru" - выведутся все сайты, где стоят ваши ссылки. И он укажет вам, сколько найдено страниц с ссылками.

MrJinx 26.09.2008 02:13

Цитата:

Сообщение от pr0zz (Сообщение 246796)
Уважаеймый, MrJinx, не подскажешь как получить список проиндексированных Яндексом страниц сайта? Так и не нашел ни одного нормально работающего способа, при условии, что страниц несколько тысяч...
Понятно, что можно через webmaster.yandex.ru... Но парсера под него нигде не видел ((

Можно попробовать сделать парсер. Не задавался такой задачей - да и ненужно было это. Извне достоверного метода, скорее всего, вообще не существует, т.к. Яндекс порой не может посчитать правильно элементарное количество проиндексированных страниц, поэтому тоже есть свои заморочки.

Как вариант - построение карты сайта и проверка всех урлов страниц по одиночке. Без прокси не обойтись. Софт такого плана где-то видел в прошлом году, он есть.

0wen13 27.09.2008 01:12

pr0zz, сор. Подумал что спрашивали насчёт ссылок.
MrJinx не могли бы обьяснить почему это яндекс ингда не может посчитать число проиндексированых страниц(понимаю вопрос тупой). Но, по принципу, если страница не проиндексирована, но он ее не видит(или я ошибаюсь?). Соответственно тогда бы сайты постояно плавали, но некоторые сайты ведь стабильно в топ10? Пожалуста ответте на этот вопрос хоть как-то.

MrJinx 28.09.2008 23:44

Цитата:

Сообщение от 0wen13 (Сообщение 249332)
MrJinx не могли бы обьяснить почему это яндекс ингда не может посчитать число проиндексированых страниц(понимаю вопрос тупой). Но, по принципу, если страница не проиндексирована, но он ее не видит(или я ошибаюсь?). Соответственно тогда бы сайты постояно плавали, но некоторые сайты ведь стабильно в топ10? Пожалуста ответте на этот вопрос хоть как-то.

Страницы в порядке. Имею ввиду, что Яндекс не умеет считать количество. Пример: в любой выдаче есть такое дело, как "ещё с сайта" и написано рядом количество этих самых "ещё". Когда непосредственно нажать на это "ещё", то выдача страниц далеко не всегда совпадает количественно с заявленной самим же Яндексом.

Если же страница есть в индексе, то она видна в выдаче, с этим проблем нет.

Добавлено через 21 час 37 минут
Цитата:

Сообщение от 0wen13 (Сообщение 230009)
У меня вопрос как гугл определяет и борется с дорвеями, например если он динамический(очень интересны сами технологии процесса)

Я думаю, что у них алгоритм, который определяет по "шаблону" потенциально похожие на дорвеи сайты и потом они их каким-то образом "допроверяют", скорее всего люди. Если бы у них был стопроцентный метод обнаружения дорвеев, то они не присутствовали бы в выдаче. Если бы все знали точный алгоритм того, как определяется дорвей, то дорвеями был бы забит весь pharm serp

Raider 28.09.2008 23:54

Возникла следующая проблема. На сайте ххххх яндекс выдает около 850 проиндексированных страниц. В то время как в Сапе на Яндексе (через кнопку ЯП) показывается - что там и полсотни еле наберется..в чем причина? :)

MrJinx 29.09.2008 00:10

Цитата:

Сообщение от Raider (Сообщение 250983)
Возникла следующая проблема. На сайте ххххх яндекс выдает около 850 проиндексированных страниц. В то время как в Сапе на Яндексе (через кнопку ЯП) показывается - что там и полсотни еле наберется..в чем причина? :)


Проблема может быть в том, что на сайте реально намного больше страниц, чем проиндексировано Яндексом, но при этом не на всех стоит код системы. И система может видеть только часть страниц. Есть ещё вариант, что система неправильно выдаёт кнопку для проверки индекса. Ещё есть вариант, как я уже писал выше, что Яндекс неправильно посчитал количество проиндексированных страниц.

Raider 29.09.2008 08:07

Спасибо! :)


Часовой пояс GMT +3, время: 09:40.

Работает на vBulletin® версия 3.8.7.
Copyright ©2000 - 2020, Jelsoft Enterprises Ltd.
Перевод: zCarot
SAPE.RU — система купли-продажи ссылок с главных и внутренних страниц сайтов.