Форум SAPE.RU - Парсер YACA

Страница 1 из 5

Показывать 40 сообщений этой темы на одной странице

Форум SAPE.RU (http://forum.sape.ru/index.php)

- Разработка и сопровождение сайтов (http://forum.sape.ru/forumdisplay.php?f=29)

- - Парсер YACA (http://forum.sape.ru/showthread.php?t=11707)

Алексей Барыкин

17.04.2008 18:29

Парсер YACA

Парсер YACA
http://barykin.com/yca/
Позволяет получить список сайтов указанного подкаталога.
Полученный список можно загнать в WL, закупить с него ссылок и насладиться в будущем подъёмом тИЦ за счёт
"НУ ОЧЕНЬ ТЕМАТИЧЕСКИХ ССЫЛОК". :)
p.s. Пока халявно, с небольшими ограничениями по функционалу. Тестим!

V!rus

17.04.2008 21:08

вряд ли буду пользоватсья, но все равно спасибо

админ

17.04.2008 21:12

это только если урлы они не скрыли :) а так хорошая вещь :)

Алексей Барыкин

17.04.2008 21:27

Цитата:

Сообщение от админ (Сообщение 129481)

это только если урлы они не скрыли :) а так хорошая вещь :)

Против скрытых урлов моя бессилен. :D

den78ru

17.04.2008 22:05

Алексей, была давно темка эта :)

Цитата:

<?
set_time_limit(0);
$cat = 'Entertainment/Humor/';
$delay = '7';
$url = 'http://pda.yaca.yandex.ru/yca/tungrp/cat/'.$cat;
$np_pat = '/<a target="_self" href="(.*)"><font color="#333333">след.<\/font><\/a>/U';
$yc_pat = '/<li>\n<font><a.*href="(.*)".*>.*<\/li>/isU';
echo "<ol>";
while ($data = file_get_contents($url)) {
$data = iconv('utf-8', 'cp1251', $data);
preg_match_all($yc_pat, $data, $o1, PREG_SET_ORDER);
foreach ($o1 as $o) echo "<li>".$o[1]; flush();
preg_match($np_pat, $data, $o2);
$url = ($o2 ? 'http://pda.yaca.yandex.ru/yca/tungrp/cat/'.$cat. $o2[1]:FALSE);
sleep($delay);
}
?>

У меня грёбанный поиск опять на 3 символа жалуется, можешь сам попробовать по куску кода найти.

Алексей Барыкин

17.04.2008 22:50

Цитата:

Сообщение от den78ru (Сообщение 129557)

Алексей, была давно темка эта :)

У меня грёбанный поиск опять на 3 символа жалуется, можешь сам попробовать по куску кода найти.

Кстати мысль - через pda.yaca грабить.

den78ru

17.04.2008 23:09

Ну так всегда. Ты толко подумал, а оказывается уже полгода как реализовано и мало того - и в массы пущено :)
Надо всего лишь поискать, или спросить.

Алексей Барыкин

17.04.2008 23:33

Цитата:

Сообщение от den78ru (Сообщение 129659)

Мысль не понял.
Где реализовано?
Приведённый кусок кода сам по себе не рабочий.
Бегло поискал подобные сервисы - на SE не нашёл, в Яше не нашёл.
Нашёл только предложения по продаже базы каталога.

В коде увидел ключевое слово pda, которое упростит парсинг и уменьшит размер базы, только поэтому и порадовался. :)

den78ru

17.04.2008 23:52

Цитата:

Сообщение от Алексей Барыкин (Сообщение 129714)

Приведённый кусок кода сам по себе не рабочий.
:)

Это не кусок, это весь код, и он рабочий.

den78ru

17.04.2008 23:54

Парсил 3 дня назад, щас подумал ой, а вдруг они там чото подкрутили и действительно не пашет.
Проверил, прямо сейчас - всё работает.

Часовой пояс GMT +3, время: 17:10.

Страница 1 из 5

Показывать 40 сообщений этой темы на одной странице