Ускоритель могучего робота Яндекса

[Алексей Барыкин]

Сообщение от den78ru

Давай уж лучше вот так:
http://forum.sape.ru/showthread.php?t=11707
Пусть нород сам всю тему почитает. Так вроде чеснее, или не?

Ну так и что?
Нельзя хотеть бабла?
Или продолжение темы про то, что я скрипт спёр? Мне землю есть и мамой кляcться что "не виноватая я"?

[den78ru]

Лёх, забей а?
Не спёр, сам накропал. Не спорю. Ток вот тя поправили, - типа можно бесплатно.
И тут в баян сыграл, не работает ужо это, опоздал.

Без обид, ток напоминает Анфису, когда она "темы палит"

[Alexander]

По любому сайт некоторым будет полезен.

[mman]

Ага, теперь понятно .
Только я вас расстрою чуток... наверно
Все коды, что я увидел - слишком просты и зависимы от выбрыков яндекса. А эти ребята любят сделать мелкое западло - то параметры в <a> теге переставят, то пробел добавят... и все именно в тех местах, которые часто парсят. Помните как яндексоид кажется(?) заглючивало когда меняли чтото на яндексе?
Регулярные выражения нужно более абстактные делать, отвязывать от точных кусков кода.
Для перехода по страницам не обязательно конвертить из УТФ в ВИН. Хватит и регулярного выражения .

К тому же если что-то где-то раздают на шару - это еще не значит, что это нельзя продавать. Иногда один и тот же функционал, но сделанный удобнее становится серьезным аргументом для его оплаты.

[Massacre]

чем больше распространяется, тем больше вероятность что ЭТО прикроют. ну и к лучшему!)

[MonAmur]

ничего нового. я этим скриптом полгода назад впервые попользовался. но в скрипте можно свой текст любой вставлять, а не готове брать из базы.

[mman]

Дарю свою модификацию скрипта парсера Яка:

PHP код:

<?
$cat = ($_GET['c'] != '' ? $_GET['c'] : $argv[1]);
$ycu = 'http://pda.yaca.yandex.ru';
$url = '/yca/tungrp/cat/'.$cat;
$np_pat = '/<span\s*class="active">\d*<\/span>[\r\n\s]*<a\s*target="_self"\s*href="(.*)"><font\s*color="#\d*">.*<\/font><\/a>/miU';
$yc_pat = '/<li>[\r\n\s]*<font>[\r\n\s]*<a.*href="(.*)".*>.*<\/li>/isU';
while($data = file_get_contents($ycu.$url)){
 preg_match_all($yc_pat, $data, $o1, PREG_SET_ORDER);
 foreach($o1 as $o) echo $o[1] . ($_GET['c'] != '' ? '<br />' : '') . "\n"; flush();
 preg_match($np_pat, $data, $o2);
 if(!$o2) break;
 $url = $o2[1];
 sleep(mt_rand(3, 6));
}
?>

Скрипт теперь не зависим от пробелов.
Не требует наличия библиотек конвертации кодировок.
Правильно проходится по страницам и не зависает в окончании списка.
Принимает каталог yaca в качестве параметра.
Работает как из командной строки (php yp.php Business/Corporate_Services/Business_Contacts/), так и из браузера (http://mysite.ru/yp.php?c=Business/C...ness_Contacts/).

[mman]

Релиз 2.0

PHP код:

<?
ini_set('display_errors', 'off');
ini_set('error_reporting', E_ERROR);
$cat = ($_GET['c'] != '' ? $_GET['c'] : $argv[1]);
$ycu = 'http://pda.yaca.yandex.ru';
$url = '/yca/tungrp/cat/'.$cat;
$np_pat = '/<span\s*class="active">\d*<\/span>[\r\n\s]*<a\s*target="_self"\s*href="(.*)"><font\s*color="#\d*">.*<\/font><\/a>/miU';
$yc_pat = '/<li>[\r\n\s]*<font>[\r\n\s]*<a.*href="(.*)".*>.*<\/li>/isU';
while($data = file_get_contents($ycu.$url)){
 preg_match_all($yc_pat, $data, $o1, PREG_SET_ORDER);
 foreach($o1 as $o) echo $o[1] . (isset($argv) ? '' : '<br />') . "\n"; flush();
 preg_match($np_pat, $data, $o2);
 if(!$o2) break;
 $url = $o2[1];
 sleep(mt_rand(3, 6));
}
?>