Вытаскивание всех проиндексированных ссылок сайта из Яндекс
 

Всем известно, что ПС Яндекс на выдаче выдает максимум 1000 результатов. В общем написан скрипт, который дергает абсолютно все ссылки сайта из ПС. Есть тут заинтересованные лица?

Для чего нужно? Имея такой список, можно регулировать поведения индексатора сапы, так чтобы он добавлял не все подряд найденные страницы, а именно те, которые находятся в поисковой системе.

Приму в дар. :rolleyes:

Не совсем понятно. На выходе у скрипта имеем 1000 страниц сайта, которые в индексе яши, или каждая из тысячи страниц парсится и на выходе имеем полный список внешних ссылок с тех страниц сайта, которые в индексе?

Скрипт вытаскивает все страницы которые проиндексировал Яндекс. Если в яшке 15000 страниц, скрипт выдаст список из 15000 страниц.

Ig0r верно заметил...

я заинтересован...

На выходе имеем что-то типа sitemap.xml (яндексовская карта сайта) содержащий только проиндексированные яшей страницы.
И каким же образом можно его использовать для управления саповским индексатором?

sitestyler, разбить на файлы по 150

Прошу прощения, если я неправильно понял смысл этого
,
или всей темы, но разбитие этого хмл файла, на карты по 150 не исключает того, что сапа скушает страницы, которые не в этих картах...(ИМХО)

seomika, сапа кушает по 150 ссылок со стр. в хтмл формате, а не в xml.
ТС, ау, где условия предоставления скрипта?