Парсер YACA

[Алексей Барыкин]

1. Переделал скрипт на парсинг pda версии.
2. Увеличил лимиты на обработку рублики целиком (до 200 сайтов за присест, дальше увеличу ещё).

[andrey-k]

Сообщение от den78ru

Не нужно.
Тот-же скипт что я опубликовал здесь, я-же и публиковал на серче(сам) несколько месяцев назад.
Поясню: не я его придумал, там уже он был, но немного в некорректном виде, я чутка подправил и выложил, имеено в том виде, что и здесь.
Если не веришь мне, то пожалуйста, могу найти ссылку.

Помогу: http://forum.searchengines.ru/showthread.php?t=184296
Это кусочек кода из одного моего проекта.

Добавлено через 2 минуты

Сообщение от Алексей Барыкин

1. Переделал скрипт на парсинг pda версии.
2. Увеличил лимиты на обработку рублики целиком (до 200 сайтов за присест, дальше увеличу ещё).

Разумеется, лучше парсить pda-версию.

Алексей, а что такое рублики в яке? =)

[Алексей Барыкин]

Сообщение от andrey-k

Алексей, а что такое рублики в яке? =)

"Рублика" - новояз для тех, кому режет слух слово "рубрика".

[shamaner]

Сообщение от Алексей Барыкин

"Рублика" - новояз для тех, кому режет слух слово "рубрика".

Вы всх параметров не учитываете, и тайм аутом не обойтись, все равно банить будут и надолго.

[Алексей Барыкин]

Сообщение от shamaner

Вы всх параметров не учитываете, и тайм аутом не обойтись, все равно банить будут и надолго.

Кто кого будет банить?

[shamaner]

Сообщение от Алексей Барыкин

Кто кого будет банить?

Яша естесственно, если скрипт будет на серваке выполнятся.

[andrey-k]

Сообщение от shamaner

Вы всх параметров не учитываете, и тайм аутом не обойтись, все равно банить будут и надолго.

да ладно, не надо выдумывать. на прошлой неделе парсил я.каталог.

этого вполне достаточно чтоб не попасть в бан

PHP код:

sleep(rand(3,8)); 


[Алексей Барыкин]

У меня:
1. Рандомная пауза между обращениями
2. Кеширование результатов в базе.
Бана нету.

[andrey-k]

Сообщение от Алексей Барыкин

У меня:
1. Рандомная пауза между обращениями
2. Кеширование результатов в базе.
Бана нету.

я так понял яше *****ть кто с какой скоростью каталог листает и рандомная пауза или нет. главное чтоб не совсем нагло - без пауз =)

тот же

PHP код:

sleep(rand(3,8)); 


в серпе уже не канает

p.s. где звездочки я писать п-л-е-в-а-т-ь, хотя фильтр правильно понял что я хотел сказать =)

Добавлено через 3 минуты

Сообщение от Алексей Барыкин

1. Переделал скрипт на парсинг pda версии.
2. Увеличил лимиты на обработку рублики целиком (до 200 сайтов за присест, дальше увеличу ещё).

ты б сразу спарсил весь каталог и сложил в базу. оттуда и выдавал. че яшу мучать каждый раз? ну и пару раз в месяц обновлял...

[shamaner]

Сообщение от andrey-k

да ладно, не надо выдумывать. на прошлой неделе парсил я.каталог.

этого вполне достаточно чтоб не попасть в бан

PHP код:

sleep(rand(3,8)); 


Это один из условий но его мало, бан будет.