07.01.2009, 13:21 | #1 |
Новичок
Регистрация: 24.04.2008
Сообщений: 4
Вес репутации: 0
|
Нужно вытащить все страницы сайта
Подскажите программку, которая бы отпарсила сайт, и выдала все внутренние страницы сайта. Абсолютно все, не важно проиндексированные ли они, какой УВ и т.д. Т.е. не сами страницы, а список линков.
Карту сайта делать на каждый сайт не имеет смысла, т.к. не отдает многое она, например страницы тегов. Гуглил, не помогло. |
07.01.2009, 13:52 | #2 |
Мастер
Регистрация: 11.11.2007
Адрес: Голливуд
Сообщений: 946
Вес репутации: 241
|
Мне казалось, что программы для построения карт сайтов переходят по всем линкам, которые есть на сайте. Отчего вы полагаете, что они не посещают страницы тегов, разве на них нет ссылок на страницах ?
__________________
|
07.01.2009, 18:25 | #3 |
Специалист
|
я пользуюсь этой прогой, бесплатна.
__________________
|
07.01.2009, 18:57 | #5 |
Специалист
|
она даст ему все линки на все страницы ...вроде то, что он и хочет
__________________
|
07.01.2009, 19:58 | #6 |
Мастер
Регистрация: 11.11.2007
Адрес: Голливуд
Сообщений: 946
Вес репутации: 241
|
Да, но он не ищет легких путей.
__________________
|
14.02.2009, 11:35 | #8 |
Эксперт
|
Народ, вот Вы указали две программы.
Они подойдут для создания sitemap Яндекса и Гугла? И там нет случайно ограничений. Как-то пользовался всегда on-line сервисами, а тут сайт "большой" нужно просканировать. |
14.02.2009, 11:47 | #9 |
Привилегированный сапёр
Регистрация: 21.04.2008
Сообщений: 2,426
Вес репутации: 316
|
Я использую эту
Многопоточная, создает стандартную карту сайта в xml, а так же в html, в csv. Перелапатил много прог, но эта понравилась больше всего, в первую очередь своей простотой.
__________________
|
Опции темы | |
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Возможно ли вытащить сайт из бана? | SerGG | Яндекс | 29 | 28.11.2008 00:35 |
Скрытие URL - нужно ли??? Нужно!! | Sergio | Пожелания пользователей системы | 34 | 30.08.2008 23:02 |
Переиндексировать страницы сайта - как? | TzRD | Вопросы от новичков | 7 | 06.08.2008 00:36 |
Какае ссылки нужно покупать для варезного сайта, чтоб они были тематическими??? | ska4ai | Вопросы от новичков | 3 | 06.05.2008 19:51 |
Страницы сайта | Overoff | Ошибки при работе с системой | 3 | 27.04.2008 20:58 |
Часовой пояс GMT +3, время: 23:34.