Нужно вытащить все страницы сайта
 

Подскажите программку, которая бы отпарсила сайт, и выдала все внутренние страницы сайта. Абсолютно все, не важно проиндексированные ли они, какой УВ и т.д. Т.е. не сами страницы, а список линков.
Карту сайта делать на каждый сайт не имеет смысла, т.к. не отдает многое она, например страницы тегов.
Гуглил, не помогло.

Мне казалось, что программы для построения карт сайтов переходят по всем линкам, которые есть на сайте. Отчего вы полагаете, что они не посещают страницы тегов, разве на них нет ссылок на страницах ?

я пользуюсь этой прогой, бесплатна.

ТС вроде не хочет тулзы для создания сайтмапов...

она даст ему все линки на все страницы ...вроде то, что он и хочет

Да, но он не ищет легких путей.

А я юзаю GSiteCrawler где взял уже не помню но програ бесплатная

Народ, вот Вы указали две программы.

Они подойдут для создания sitemap Яндекса и Гугла? И там нет случайно ограничений. Как-то пользовался всегда on-line сервисами, а тут сайт "большой" нужно просканировать.

Я использую эту
Многопоточная, создает стандартную карту сайта в xml, а так же в html, в csv. Перелапатил много прог, но эта понравилась больше всего, в первую очередь своей простотой.