18.04.2008, 00:02 | #11 |
Эксперт
Регистрация: 22.05.2007
Адрес: .ru
Сообщений: 1,411
Вес репутации: 275
|
да, прекрасно работает поначалу были траблы с "вы робот", но потом мне пришла мысль рандомизировать переменную delay и терь ваще всё ровно, правда не больше 2020 урлов за раз)))
на парсинг большой подрубрики уходит неск. минут, ну и еще плюс пару минут в сапу забить))
__________________
|
18.04.2008, 05:56 | #12 | |
Злой модератор
Регистрация: 25.03.2007
Адрес: Deep forest
Сообщений: 5,343
Вес репутации: 508
|
Цитата:
http://forum.sape.ru/showthread.php?t=9463 |
|
18.04.2008, 06:45 | #13 |
Злой модератор
Регистрация: 25.03.2007
Адрес: Deep forest
Сообщений: 5,343
Вес репутации: 508
|
На каждой страничке каталога 20 ссылок, при этом YACA не дает посмотреть дальше сотой страницы ни в одном из разделов, вот и получается такое ограничение. Единственный выход - парсить ветки самого нижнего уровня, где сайтов точно меньше чем 2020.
К примеру раздел Развлечения линейно отпарсить не получится. |
18.04.2008, 09:49 | #15 |
Хитрый жук
Регистрация: 05.12.2007
Адрес: Конаково
Сообщений: 2,987
Вес репутации: 394
|
Денег на просил, но уже в барыжничестве обвинили.
Закрыл доступ нафиг.
__________________
|
18.04.2008, 09:52 | #16 |
Злой модератор
Регистрация: 25.03.2007
Адрес: Deep forest
Сообщений: 5,343
Вес репутации: 508
|
Да вроде на MT когда-то предлагали платную подписку на сервис, который ссылки вытягивал из YACA. Правда не знаю, заплатил кто-нибудь или нет.
А код с pda надо бы причесать. Вот эта строка вроде как не нужна совсем. PHP код:
|
18.04.2008, 10:19 | #18 |
Мастер
Регистрация: 27.07.2007
Адрес: Краснодар
Сообщений: 767
Вес репутации: 233
|
Баян с форума серча..
Там во всех видах подобный парсер имеется. Без оплаты, без ограничений А ТС просто "приволок" его сюда..
__________________
|
18.04.2008, 10:20 | #19 |
Хитрый жук
Регистрация: 05.12.2007
Адрес: Конаково
Сообщений: 2,987
Вес репутации: 394
|
В воровстве обвиняешь?
__________________
|
18.04.2008, 10:23 | #20 |
Мастер
Регистрация: 27.07.2007
Адрес: Краснодар
Сообщений: 767
Вес репутации: 233
|
Почему ж сразу в "воровстве"?
Может, это и Ваше. Я ж не сказал "украл".. Правда, в отличие от Вашего "предложения", страница которого показывает "А вот фигу!" вместо парсера - там все работает хорошо и за это не просят ничего, ни прямо, ни косвенно (как Вы)
__________________
Последний раз редактировалось Serboy; 18.04.2008 в 10:25. |
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Подскажите парсер ЯКа | bulya | Курилка | 17 | 25.04.2012 19:34 |
Ищу парсер web.archive.org | Ufaweb | Разработка и сопровождение сайтов | 17 | 09.07.2009 21:20 |
YACA Парсер | Wink | Разработка и сопровождение сайтов | 35 | 27.02.2008 19:53 |
Парсер Я.Каталога | kip | Курилка | 3 | 06.10.2007 20:17 |
Соотношение цены YACA / не YACA | Zhoo | Яндекс | 5 | 16.08.2007 15:45 |
Часовой пояс GMT +3, время: 19:56.