Ищу парсер web.archive.org

Ufaweb · 10.06.2008, 18:28

Ищу-ищу, а нету =( Нужно выдергивать архивы сайтов из вебархива, никто не подскажет софт? Всякие оффлайн-эксплореры не подходят ибо парсят все подряд и, в итоге, начнут парсить сайт самого вебархива...

Fredy314 · 11.06.2008, 02:02

"Всякие оффлайн-эксплореры" как-раз таки подходят, нужно только произвести тонкую настройку что качать а что нет, там и по адресу и по типу файлов можно фильтровать и маски всякие в условия вписывать, когда-то очень давно, я так скачивал отдельные разделы какого-то справочного сайта.

Ufaweb · 11.06.2008, 02:22

Поясню причину отказа от оффлайн утилит. Вебархив периодически выплевывает ошибки, якобы страницы нет, не было и не будет. Это надо учитывать. Иногда, через несколько секунд/минут страница чудесным образом появляется))) Кроме того, такой софт должен попытаться найти страницу по другим датам. Тут много тонкостей, сложно все описать. В конце концов, все программы для выкачки сайтов, что мне попадались, пишут напарсенные картинки/флеш/css в папки вида index.html.files - такая структура мне даром не нужна...

ahsinis · 11.06.2008, 09:16

Ufaweb, вы слишком многого хотите, не кажется?
Пишите свой скрипт так, как вы хотите, php вроде знаете (ну или закажите у кого-нить). Искать так долго будете.

Ufaweb · 11.06.2008, 15:59

Цитата:

Сообщение от ahsinis

Ufaweb, вы слишком многого хотите, не кажется?
Пишите свой скрипт так, как вы хотите, php вроде знаете (ну или закажите у кого-нить). Искать так долго будете.

Дык, а кто говорил о бесплатности? ))
Нужна десктопная утилита по некоторым причинам.

Alexey · 12.06.2008, 13:26

Каков бюджет?

alex063 · 09.06.2009, 12:08

Блин, жалко что тему забросили... Может спустя год уже появились утилитки подобные?

Администрация 6-ой палаты · 09.06.2009, 12:10

Цитата:

Сообщение от alex063

Блин, жалко что тему забросили... Может спустя год уже появились утилитки подобные?

появились, появились

alex063 · 09.06.2009, 12:17

Цитата:

Сообщение от Администрация 6-ой палаты

появились, появились

В личку не намекнёте? Уже пол инета перерыл.

Добавлено через 30 секунд
Самое толковое - ссылка в Яше на этот топик.

DRIVER · 09.06.2009, 12:17

Платон вроди за 10 баксов выдергивал сайт из архива. Но это было давненько, как сейчас, не знаю.

10.06.2008, 18:28	#1
Ufaweb Особый статус Регистрация: 23.03.2008 Адрес: localhost Сообщений: 2,594 Вес репутации: 322	Ищу парсер web.archive.org Ищу-ищу, а нету =( Нужно выдергивать архивы сайтов из вебархива, никто не подскажет софт? Всякие оффлайн-эксплореры не подходят ибо парсят все подряд и, в итоге, начнут парсить сайт самого вебархива...

11.06.2008, 02:02	#2
Fredy314 Специалист Регистрация: 08.05.2008 Сообщений: 197 Вес репутации: 0	"Всякие оффлайн-эксплореры" как-раз таки подходят, нужно только произвести тонкую настройку что качать а что нет, там и по адресу и по типу файлов можно фильтровать и маски всякие в условия вписывать, когда-то очень давно, я так скачивал отдельные разделы какого-то справочного сайта. __________________ Магазин аккаунтов - почтовые аки, фрихосты, соцсети. Возможно на заказ.

09.06.2009, 12:08	#7
alex063 Эксперт Регистрация: 23.09.2008 Адрес: Самара Сообщений: 4,885 Вес репутации: 381	Блин, жалко что тему забросили... Может спустя год уже появились утилитки подобные? __________________ Продвижение и поддержка сайтов. Актуальное портфолио. Отзывы. ICQ: 407354474.

09.06.2009, 12:17	#10
DRIVER Эксперт Регистрация: 22.08.2008 Сообщений: 1,026 Вес репутации: 233	Платон вроди за 10 баксов выдергивал сайт из архива. Но это было давненько, как сейчас, не знаю. __________________ Продам место под баннер в шапке строительного сайта. Интересно? Пишите в ЛС.

Похожие темы
Тема	Автор	Раздел	Ответов	Последнее сообщение
Подскажите парсер ЯКа	bulya	Курилка	17	25.04.2012 19:34
Парсер YACA	Алексей Барыкин	Разработка и сопровождение сайтов	44	06.09.2008 00:11
Алекса каталог - парсер?	Set13	Google, MSN, Yahoo	4	30.04.2008 20:58
YACA Парсер	Wink	Разработка и сопровождение сайтов	35	27.02.2008 19:53
Парсер Я.Каталога	kip	Курилка	3	06.10.2007 20:17

11.06.2008, 02:22	#3
Ufaweb Особый статус Регистрация: 23.03.2008 Адрес: localhost Сообщений: 2,594 Вес репутации: 322	Поясню причину отказа от оффлайн утилит. Вебархив периодически выплевывает ошибки, якобы страницы нет, не было и не будет. Это надо учитывать. Иногда, через несколько секунд/минут страница чудесным образом появляется))) Кроме того, такой софт должен попытаться найти страницу по другим датам. Тут много тонкостей, сложно все описать. В конце концов, все программы для выкачки сайтов, что мне попадались, пишут напарсенные картинки/флеш/css в папки вида index.html.files - такая структура мне даром не нужна...

11.06.2008, 09:16	#4
ahsinis Мастер Регистрация: 17.03.2008 Сообщений: 638 Вес репутации: 237	Ufaweb, вы слишком многого хотите, не кажется? Пишите свой скрипт так, как вы хотите, php вроде знаете (ну или закажите у кого-нить). Искать так долго будете.

12.06.2008, 13:26	#6
Alexey Мне повезёт! Регистрация: 05.05.2007 Сообщений: 1,076 Вес репутации: 276	Каков бюджет?