YACA Парсер

[Wink]

Простенький скрипт парсера YACA. Вручную задается ссылка на раздел и количество страниц. Отсеиваются народные сайты, сообщества livejournal и те сайты, которые умудрились запихнуть в YACA только одну страничку.
На правах гуманитарной помощи оптимизаторам

PHP код:

<?php
@ini_set('max_execution_time', 360);
$result = '';
$pages = 10;
$base = 'http://yaca.yandex.ru/yca/cat/Computers/Hardware/';

function getlink($link)
{
    return (
         preg_match('/livejournal/i',$link) ||
         preg_match('/yandex/i',$link) ||
         preg_match('/narod/i',$link) ||
        !preg_match('/\/$/i',$link)
        )? '' : $link.'<br>';
}

for ($i=0; $i < $pages; $i++)
{
    if (!$i) 
        $url = $base;
    else
        $url = $base.strval($i).'.html';

    $content = file_get_contents($url);

    if (preg_match_all('#<a target="_blank" href="([^\"]+)"><img class="favicon"#i',$content,$out)) 
    {
        foreach ($out[1] as $link)    $result .= getlink($link);
    }
    elseif (preg_match_all('#<a target="_blank" class="title" href="([^\"]+)" onclick#i',$content,$out)) 
    {
        foreach ($out[1] as $link)    $result .= getlink($link);
    }
    sleep(1);
}
echo $result;
?>

[den78ru]

Блин, незачОТ! Всё много менее объёмно

<?
set_time_limit(0);
$cat = 'Business/Production/'; //сюда вписывает нужную категорию
$delay = '7';
$url = 'http://pda.yaca.yandex.ru/yca/tungrp/cat/'.$cat;
$np_pat = '/<a target="_self" href="(.*)"><font color="#333333">след.<\/font><\/a>/U';
$yc_pat = '/<li>\n<font><a.*href="(.*)".*>.*<\/li>/isU';
echo "<ol>";
while ($data = file_get_contents($url)) {
$data = iconv('utf-8', 'cp1251', $data);
preg_match_all($yc_pat, $data, $o1, PREG_SET_ORDER);
foreach ($o1 as $o) echo "<li>".$o[1]; flush();
preg_match($np_pat, $data, $o2);
$url = ($o2 ? 'http://pda.yaca.yandex.ru/yca/tungrp/cat/'.$cat. $o2[1]:FALSE);
sleep($delay);
}
?>

[Wink]

Во, с pda точно интереснее Утаскиваю

[den78ru]

100 баксов

[Wink]

Да не вопрос.

[Blondie]

ух ты, спасибки :-)

[den78ru]

ЧТО значит пасибки!? 100 баксов!

[xp-pro]

Все теперь это общественный материал

[Townsman]

Сообщение от Wink

Отсеиваются народные сайты

А зачем отсеивать народные? Народных в ЯКе немало, тиц с них передается так же как и с обычных, ссылочное передается так же как и с обычных. Зачем рубить "сук"?

[Wink]

Затем рубить, что на них ссылки в SAPE пока не купишь. Вот как повалят в SAPE толпой народные сайты из YACA, тогда можно и их включать. А пока тестирование идет только.