Парсер YACA

[sunb0y]

да, прекрасно работает поначалу были траблы с "вы робот", но потом мне пришла мысль рандомизировать переменную delay и терь ваще всё ровно, правда не больше 2020 урлов за раз)))
на парсинг большой подрубрики уходит неск. минут, ну и еще плюс пару минут в сапу забить))

[Wink]

Сообщение от Алексей Барыкин

Парсер YACA
p.s. Пока халявно, с небольшими ограничениями по функционалу. Тестим!

Так вы еще и денег хотите попросить потом?
http://forum.sape.ru/showthread.php?t=9463

[Wink]

Сообщение от sunb0y

и терь ваще всё ровно, правда не больше 2020 урлов за раз)))

На каждой страничке каталога 20 ссылок, при этом YACA не дает посмотреть дальше сотой страницы ни в одном из разделов, вот и получается такое ограничение. Единственный выход - парсить ветки самого нижнего уровня, где сайтов точно меньше чем 2020.

К примеру раздел Развлечения линейно отпарсить не получится.

[den78ru]

Обломали Алексея... Интересно нашлись бы те, кто стал платить?

[Алексей Барыкин]

Сообщение от den78ru

Обломали Алексея... Интересно нашлись бы те, кто стал платить?

Денег на просил, но уже в барыжничестве обвинили.
Закрыл доступ нафиг.

[Wink]

Да вроде на MT когда-то предлагали платную подписку на сервис, который ссылки вытягивал из YACA. Правда не знаю, заплатил кто-нибудь или нет.

А код с pda надо бы причесать. Вот эта строка вроде как не нужна совсем.

PHP код:

$data = iconv('utf-8', 'cp1251', $data); 


[den78ru]

Уж собрался чесать, причеши, что б представлялся не ПХП, а здрасьте я мозила там такая-то.

[Serboy]

Баян с форума серча..
Там во всех видах подобный парсер имеется. Без оплаты, без ограничений
А ТС просто "приволок" его сюда..

[Алексей Барыкин]

Сообщение от Serboy

Баян с форума серча..
Там во всех видах подобный парсер имеется. Без оплаты, без ограничений
А ТС просто "приволок" его сюда..

В воровстве обвиняешь?

[Serboy]

Сообщение от Алексей Барыкин

В воровстве обвиняешь?

Почему ж сразу в "воровстве"?
Может, это и Ваше. Я ж не сказал "украл"..

Правда, в отличие от Вашего "предложения", страница которого показывает "А вот фигу!" вместо парсера - там все работает хорошо и за это не просят ничего, ни прямо, ни косвенно (как Вы)