Как-нибудь можно по запросу вытянуть из поисковиков много документов?

[boric]

Возникла необходимость получить список страниц (из интернета), содержащих определенную фразу.

С составлением точного запроса (в Яндексе иГугле) проблем нет. Но проблема в том, что в выдаче доступны только тысяча найденных страниц, хотя реально их раз в сто больше.

Как вытянуть сотню тысяч страниц с искомой фразой? Какие будут идеи?

[Добрый]

Видимо никак. Только-что попробовал параметр

PHP код:

&start=1000 


в Гугле. Не отдает. 990 - пожалса, 1000 - зась.

[Клон]

Сообщение от boric

Как вытянуть сотню тысяч страниц с искомой фразой? Какие будут идеи?

hrefer

[boric]

Клон,

hrefer

Напрямую эту прогу не смогу задействовать, но принцип ее работы подсказывает, что, как я и предполагал, в лоб задача не решается, и всё же придется использовать уточняющие добавки к запросу. Т.е. надо будет из запроса сделать кучу сегментированных запросов. Придется думать, на какие сегменты разбивать.