Вытаскивание всех проиндексированных ссылок сайта из Яндекс

DeamonShan · 01.03.2010, 18:43

Всем известно, что ПС Яндекс на выдаче выдает максимум 1000 результатов. В общем написан скрипт, который дергает абсолютно все ссылки сайта из ПС. Есть тут заинтересованные лица?

Для чего нужно? Имея такой список, можно регулировать поведения индексатора сапы, так чтобы он добавлял не все подряд найденные страницы, а именно те, которые находятся в поисковой системе.

Апокалипсис · 01.03.2010, 18:51

Приму в дар.

sitestyler · 01.03.2010, 18:58

Цитата:

Сообщение от DeamonShan

Яндекс на выдаче выдает максимум 1000 результатов. В общем написан скрипт, который дергает абсолютно все ссылки сайта из ПС

Не совсем понятно. На выходе у скрипта имеем 1000 страниц сайта, которые в индексе яши, или каждая из тысячи страниц парсится и на выходе имеем полный список внешних ссылок с тех страниц сайта, которые в индексе?

ig0r · 01.03.2010, 19:29

Цитата:

Сообщение от sitestyler

Не совсем понятно. На выходе у скрипта имеем 1000 страниц сайта, которые в индексе яши, или каждая из тысячи страниц парсится и на выходе имеем полный список внешних ссылок с тех страниц сайта, которые в индексе?

Скрипт вытаскивает все страницы которые проиндексировал Яндекс. Если в яшке 15000 страниц, скрипт выдаст список из 15000 страниц.

DeamonShan · 01.03.2010, 19:46

Ig0r верно заметил...

MonAmur · 01.03.2010, 20:05

я заинтересован...

sitestyler · 01.03.2010, 21:56

Цитата:

Сообщение от ig0r

Скрипт вытаскивает все страницы которые проиндексировал Яндекс. Если в яшке 15000 страниц, скрипт выдаст список из 15000 страниц.

На выходе имеем что-то типа sitemap.xml (яндексовская карта сайта) содержащий только проиндексированные яшей страницы.
И каким же образом можно его использовать для управления саповским индексатором?

Апокалипсис · 01.03.2010, 21:57

sitestyler, разбить на файлы по 150

seomika · 01.03.2010, 23:22

Прошу прощения, если я неправильно понял смысл этого

Цитата:

Сообщение от Апокалипсис

sitestyler, разбить на файлы по 150

,
или всей темы, но разбитие этого хмл файла, на карты по 150 не исключает того, что сапа скушает страницы, которые не в этих картах...(ИМХО)

Апокалипсис · 01.03.2010, 23:25

seomika, сапа кушает по 150 ссылок со стр. в хтмл формате, а не в xml.
ТС, ау, где условия предоставления скрипта?

01.03.2010, 18:43	#1
DeamonShan Новичок Регистрация: 26.12.2008 Сообщений: 19 Вес репутации: 0	Вытаскивание всех проиндексированных ссылок сайта из Яндекс Всем известно, что ПС Яндекс на выдаче выдает максимум 1000 результатов. В общем написан скрипт, который дергает абсолютно все ссылки сайта из ПС. Есть тут заинтересованные лица? Для чего нужно? Имея такой список, можно регулировать поведения индексатора сапы, так чтобы он добавлял не все подряд найденные страницы, а именно те, которые находятся в поисковой системе.

01.03.2010, 18:51	#2
Апокалипсис Эксперт Регистрация: 13.05.2008 Сообщений: 7,497 Вес репутации: 386	Приму в дар. __________________ Ортопедические матрасы

01.03.2010, 20:05	#6
MonAmur Эксперт Регистрация: 03.07.2007 Адрес: Chinatown Сообщений: 7,265 Вес репутации: 609	я заинтересован... __________________ отличная тизерка тексты по 10 руб/кзнак автоматизируй все, не мучайся!

01.03.2010, 21:57	#8
Апокалипсис Эксперт Регистрация: 13.05.2008 Сообщений: 7,497 Вес репутации: 386	sitestyler, разбить на файлы по 150 __________________ Ортопедические матрасы

01.03.2010, 23:25	#10
Апокалипсис Эксперт Регистрация: 13.05.2008 Сообщений: 7,497 Вес репутации: 386	seomika, сапа кушает по 150 ссылок со стр. в хтмл формате, а не в xml. ТС, ау, где условия предоставления скрипта? __________________ Ортопедические матрасы

01.03.2010, 19:46	#5
DeamonShan Новичок Регистрация: 26.12.2008 Сообщений: 19 Вес репутации: 0	Ig0r верно заметил...

Похожие темы
Тема	Автор	Раздел	Ответов	Последнее сообщение
Sitemap и количество проиндексированных страниц сайта	Fason	Общие вопросы оптимизации	11	23.09.2009 01:55
Получить список ВСЕХ ссылок sape для сайта(ов)?	Shasoft	Вопросы по работе системы	2	12.12.2008 13:01
Как получить список проиндексированных страниц сайта в Яндекс?	anb2005	Яндекс	12	23.09.2008 00:02
Нет проиндексированных ссылок	dibart	Вопросы по работе системы	3	13.03.2008 13:18
От сайта осталось 5 проиндексированных страниц, что делать?	Latin	Яндекс	68	01.01.2008 18:50