Нужно вытащить все страницы сайта

grabus · 07.01.2009, 13:21

Подскажите программку, которая бы отпарсила сайт, и выдала все внутренние страницы сайта. Абсолютно все, не важно проиндексированные ли они, какой УВ и т.д. Т.е. не сами страницы, а список линков.
Карту сайта делать на каждый сайт не имеет смысла, т.к. не отдает многое она, например страницы тегов.
Гуглил, не помогло.

Bipa · 07.01.2009, 13:52

Цитата:

Сообщение от grabus

Карту сайта делать на каждый сайт не имеет смысла, т.к. не отдает многое она, например страницы тегов.

Мне казалось, что программы для построения карт сайтов переходят по всем линкам, которые есть на сайте. Отчего вы полагаете, что они не посещают страницы тегов, разве на них нет ссылок на страницах ?

Taldyk · 07.01.2009, 18:25

я пользуюсь этой прогой, бесплатна.

Al Pacino · 07.01.2009, 18:51

Цитата:

Сообщение от Taldyk

я пользуюсь этой прогой, бесплатна.

ТС вроде не хочет тулзы для создания сайтмапов...

Taldyk · 07.01.2009, 18:57

Цитата:

Сообщение от Al Pacino

ТС вроде не хочет тулзы для создания сайтмапов...

она даст ему все линки на все страницы ...вроде то, что он и хочет

Bipa · 07.01.2009, 19:58

Да, но он не ищет легких путей.

Платоша · 29.01.2009, 01:44

А я юзаю GSiteCrawler где взял уже не помню но програ бесплатная

alex063 · 14.02.2009, 11:35

Народ, вот Вы указали две программы.

Они подойдут для создания sitemap Яндекса и Гугла? И там нет случайно ограничений. Как-то пользовался всегда on-line сервисами, а тут сайт "большой" нужно просканировать.

Sergoff · 14.02.2009, 11:47

Я использую эту
Многопоточная, создает стандартную карту сайта в xml, а так же в html, в csv. Перелапатил много прог, но эта понравилась больше всего, в первую очередь своей простотой.

07.01.2009, 13:21	#1
grabus Новичок Регистрация: 24.04.2008 Сообщений: 4 Вес репутации: 0	Нужно вытащить все страницы сайта Подскажите программку, которая бы отпарсила сайт, и выдала все внутренние страницы сайта. Абсолютно все, не важно проиндексированные ли они, какой УВ и т.д. Т.е. не сами страницы, а список линков. Карту сайта делать на каждый сайт не имеет смысла, т.к. не отдает многое она, например страницы тегов. Гуглил, не помогло.

07.01.2009, 18:25	#3
Taldyk Специалист Регистрация: 02.03.2008 Адрес: Германия Сообщений: 477 Вес репутации: 220	я пользуюсь этой прогой, бесплатна. __________________ Хостинг 33 Гб, неограниченное число доменов и всего за 129 руб. в месяц.

07.01.2009, 19:58	#6
Bipa Мастер Регистрация: 11.11.2007 Адрес: Голливуд Сообщений: 946 Вес репутации: 236	Да, но он не ищет легких путей. __________________ Сайты держу на FirstVDS. Экономно!

14.02.2009, 11:47	#9
Sergoff Привилегированный сапёр Регистрация: 21.04.2008 Сообщений: 2,426 Вес репутации: 310	Я использую эту Многопоточная, создает стандартную карту сайта в xml, а так же в html, в csv. Перелапатил много прог, но эта понравилась больше всего, в первую очередь своей простотой. __________________ Zomro.com — стабильный и недорогой хостинг/VDS, рекомендую.

Похожие темы
Тема	Автор	Раздел	Ответов	Последнее сообщение
Возможно ли вытащить сайт из бана?	SerGG	Яндекс	29	28.11.2008 00:35
Скрытие URL - нужно ли??? Нужно!!	Sergio	Пожелания пользователей системы	34	30.08.2008 23:02
Переиндексировать страницы сайта - как?	TzRD	Вопросы от новичков	7	06.08.2008 00:36
Какае ссылки нужно покупать для варезного сайта, чтоб они были тематическими???	ska4ai	Вопросы от новичков	3	06.05.2008 19:51
Страницы сайта	Overoff	Ошибки при работе с системой	3	27.04.2008 20:58

29.01.2009, 01:44	#7
Платоша Новичок Регистрация: 27.01.2009 Адрес: подайте тица ради Сообщений: 77 Вес репутации: 0	А я юзаю GSiteCrawler где взял уже не помню но програ бесплатная

14.02.2009, 11:35	#8
alex063 Эксперт Регистрация: 23.09.2008 Адрес: Самара Сообщений: 4,885 Вес репутации: 381	Народ, вот Вы указали две программы. Они подойдут для создания sitemap Яндекса и Гугла? И там нет случайно ограничений. Как-то пользовался всегда on-line сервисами, а тут сайт "большой" нужно просканировать.

Опции темы
Версия для печати Отправить по электронной почте