Распарсить Яндекс Каталог и производить поиск по его рубрикам

[saidxxx]

Распарсить Яндекс-Каталог и производить поиск по его рубрикам.

Собсна уже запарило ковыряться с избранным и локальными BL для выбора тематических сайтов.

[Константин]

юзайте поиск в инете. на данный момент существует как минимум 3 он-лайн парсера

[Алексей Барыкин]

У меня в подписи.
Напарсил список, засунул в WL... Далее поиск только по WL

[saidxxx]

Сообщение от Константин

юзайте поиск в инете. на данный момент существует как минимум 3 он-лайн парсера

Распарсить не проблема - просто когда 15 проектов и каждый раз в Избранное надо добавить НОВЫЕ сайты характерные для каждого из них... возникает гемморой.

[jokero]

Вот кому надо

PHP код:

?
set_time_limit(0);
$cat = 'Computers/Internet/Catalogues/'; // указываем раздел который нужно парсить
$np_pat = '/<a target="_self" href="(.*)"><font color="#333333">след.<\/font><\/a>/U';
$yc_pat = '/<li>\n<font><a.*href="(.*)".*>.*<\/li>/isU';
$delay = '3';
$a=1;
$url = 'http://pda.yaca.yandex.ru/yca/tungrp/cat/'.$cat;
$data = file_get_contents($url);
$col=preg_match_all("!<h3>(.*?)</h3>!si",$data,$ok);
$col=substr($ok[0][0],strpos($ok[0][0],":")+1);
$col=trim($col);
$col_pages=$col/20;



for($i=0;$i<$col_pages;$i++)
{
$page=$i.".html";
$url = 'http://pda.yaca.yandex.ru/yca/tungrp/cat/'.$cat.$page;

while ($data = file_get_contents($url)) {
    #$data = iconv('utf-8', 'cp1251', $data);
    preg_match_all($yc_pat, $data, $o1, PREG_SET_ORDER);
    foreach ($o1 as $o) echo $a++.".".$o[1]."<br>"; flush();
    preg_match($np_pat, $data, $o2);
    $url = ($o2 ? $o2[1]:FALSE);

    sleep($delay);
}
}
?> 


[Sha]

Сообщение от saidxxx

Распарсить не проблема - просто когда 15 проектов и каждый раз в Избранное надо добавить НОВЫЕ сайты характерные для каждого из них... возникает гемморой.

Раз тут такое есть, новый топик открывать не буду.

ПОЖАЛУЙСТА!!! Сделайте отдельно избранное для каждого проекта.
Ну если мне в избранное надо 3000 сайтов для одного проекта, потом 400 для другого, потом 300 для третьего, затем опять залить первые 3000.

И при этом вы не хотите, чтоб оптимизаторы под разными аккаунтами регистрировались, хотя это единственный выход из ситуации.

[Алексей Барыкин]

Сообщение от Sha

Раз тут такое есть, новый топик открывать не буду.

ПОЖАЛУЙСТА!!! Сделайте отдельно избранное для каждого проекта.
Ну если мне в избранное надо 3000 сайтов для одного проекта, потом 400 для другого, потом 300 для третьего, затем опять залить первые 3000.

И при этом вы не хотите, чтоб оптимизаторы под разными аккаунтами регистрировались, хотя это единственный выход из ситуации.

Да, согласен.
Сам использую старые добрые текстовые файлы для хранения ИЗБРАННОГО для каждого проекта.

[Sha]

Похоже, что тут никто не добавлял в избранное рубрики Квартира и дача 3202, Туризм 4099 и Строительство 7098 для разных проектов с условием "не больше 200 строк за раз"

[Mirror]

Сообщение от Sha

Похоже, что тут никто не добавлял в избранное рубрики

Добавлял Развлечения 3702, ничо так В sape процентов 30 сайтов из полученного списка

[Sha]

Сообщение от Mirror

Добавлял Развлечения 3702, ничо так В sape процентов 30 сайтов из полученного списка

Нет, я не совсем об этом.
Вы добавляли развлечения. А попробуйте добавить туризм, а потом строительство, а потом заново туризм, потому что при покупке для туризма строительные сайты не нужны. А при покупке для строительства не нужен туризм.
На данный момент работа с разными проектами возможна только в разных аккаунтах.