Старый 07.01.2009, 13:21   #1
Новичок
 
Регистрация: 24.04.2008
Сообщений: 4
Вес репутации: 0
grabus нам пока неизвестен
По умолчанию Нужно вытащить все страницы сайта

Подскажите программку, которая бы отпарсила сайт, и выдала все внутренние страницы сайта. Абсолютно все, не важно проиндексированные ли они, какой УВ и т.д. Т.е. не сами страницы, а список линков.
Карту сайта делать на каждый сайт не имеет смысла, т.к. не отдает многое она, например страницы тегов.
Гуглил, не помогло.
grabus вне форума   Ответить с цитированием
Старый 07.01.2009, 13:52   #2
Мастер
 
Аватар для Bipa
 
Регистрация: 11.11.2007
Адрес: Голливуд
Сообщений: 947
Вес репутации: 185
Bipa - прекрасное будущееBipa - прекрасное будущееBipa - прекрасное будущееBipa - прекрасное будущееBipa - прекрасное будущееBipa - прекрасное будущееBipa - прекрасное будущееBipa - прекрасное будущееBipa - прекрасное будущееBipa - прекрасное будущееBipa - прекрасное будущее
По умолчанию

Цитата:
Сообщение от grabus Посмотреть сообщение
Карту сайта делать на каждый сайт не имеет смысла, т.к. не отдает многое она, например страницы тегов.
Мне казалось, что программы для построения карт сайтов переходят по всем линкам, которые есть на сайте. Отчего вы полагаете, что они не посещают страницы тегов, разве на них нет ссылок на страницах ?
__________________
Сайты держу на FirstVDS. Экономно!
Bipa вне форума   Ответить с цитированием
Старый 07.01.2009, 18:25   #3
Специалист
 
Аватар для Taldyk
 
Регистрация: 02.03.2008
Адрес: Германия
Сообщений: 477
Вес репутации: 169
Taldyk - за этого человека можно гордитсяTaldyk - за этого человека можно гордитсяTaldyk - за этого человека можно гордитсяTaldyk - за этого человека можно гордитсяTaldyk - за этого человека можно гордитсяTaldyk - за этого человека можно гордитсяTaldyk - за этого человека можно гордитсяTaldyk - за этого человека можно гордитсяTaldyk - за этого человека можно гордитсяTaldyk - за этого человека можно гордится
Отправить сообщение для Taldyk с помощью ICQ
По умолчанию

я пользуюсь этой прогой, бесплатна.
Taldyk вне форума   Ответить с цитированием
Старый 07.01.2009, 18:51   #4
Эксперт
 
Аватар для Al Pacino
 
Регистрация: 09.05.2008
Адрес: ПГ
Сообщений: 1,704
Вес репутации: 0
Al Pacino имеет ошибки в прошлом
По умолчанию

Цитата:
Сообщение от Taldyk Посмотреть сообщение
я пользуюсь этой прогой, бесплатна.
ТС вроде не хочет тулзы для создания сайтмапов...
__________________
есть тема?
Al Pacino вне форума   Ответить с цитированием
Старый 07.01.2009, 18:57   #5
Специалист
 
Аватар для Taldyk
 
Регистрация: 02.03.2008
Адрес: Германия
Сообщений: 477
Вес репутации: 169
Taldyk - за этого человека можно гордитсяTaldyk - за этого человека можно гордитсяTaldyk - за этого человека можно гордитсяTaldyk - за этого человека можно гордитсяTaldyk - за этого человека можно гордитсяTaldyk - за этого человека можно гордитсяTaldyk - за этого человека можно гордитсяTaldyk - за этого человека можно гордитсяTaldyk - за этого человека можно гордитсяTaldyk - за этого человека можно гордится
Отправить сообщение для Taldyk с помощью ICQ
По умолчанию

Цитата:
Сообщение от Al Pacino Посмотреть сообщение
ТС вроде не хочет тулзы для создания сайтмапов...
она даст ему все линки на все страницы ...вроде то, что он и хочет
Taldyk вне форума   Ответить с цитированием
Старый 07.01.2009, 19:58   #6
Мастер
 
Аватар для Bipa
 
Регистрация: 11.11.2007
Адрес: Голливуд
Сообщений: 947
Вес репутации: 185
Bipa - прекрасное будущееBipa - прекрасное будущееBipa - прекрасное будущееBipa - прекрасное будущееBipa - прекрасное будущееBipa - прекрасное будущееBipa - прекрасное будущееBipa - прекрасное будущееBipa - прекрасное будущееBipa - прекрасное будущееBipa - прекрасное будущее
По умолчанию

Да, но он не ищет легких путей.
__________________
Сайты держу на FirstVDS. Экономно!
Bipa вне форума   Ответить с цитированием
Старый 29.01.2009, 01:44   #7
Новичок
 
Аватар для Платоша
 
Регистрация: 27.01.2009
Адрес: подайте тица ради
Сообщений: 77
Вес репутации: 0
Платоша не любят в этих краях
По умолчанию

А я юзаю GSiteCrawler где взял уже не помню но програ бесплатная
Платоша вне форума   Ответить с цитированием
Старый 14.02.2009, 11:35   #8
Эксперт
 
Регистрация: 23.09.2008
Адрес: Самара
Сообщений: 4,880
Вес репутации: 330
alex063 - прекрасное будущееalex063 - прекрасное будущееalex063 - прекрасное будущееalex063 - прекрасное будущееalex063 - прекрасное будущееalex063 - прекрасное будущееalex063 - прекрасное будущееalex063 - прекрасное будущееalex063 - прекрасное будущееalex063 - прекрасное будущееalex063 - прекрасное будущее
Отправить сообщение для alex063 с помощью ICQ
По умолчанию

Народ, вот Вы указали две программы.

Они подойдут для создания sitemap Яндекса и Гугла? И там нет случайно ограничений. Как-то пользовался всегда on-line сервисами, а тут сайт "большой" нужно просканировать.
alex063 вне форума   Ответить с цитированием
Старый 14.02.2009, 11:47   #9
Привилегированный сапёр
 
Аватар для Sergoff
 
Регистрация: 21.04.2008
Сообщений: 2,426
Вес репутации: 260
Sergoff - прекрасное будущееSergoff - прекрасное будущееSergoff - прекрасное будущееSergoff - прекрасное будущееSergoff - прекрасное будущееSergoff - прекрасное будущееSergoff - прекрасное будущееSergoff - прекрасное будущееSergoff - прекрасное будущееSergoff - прекрасное будущееSergoff - прекрасное будущее
По умолчанию

Я использую эту
Многопоточная, создает стандартную карту сайта в xml, а так же в html, в csv. Перелапатил много прог, но эта понравилась больше всего, в первую очередь своей простотой.
Sergoff вне форума   Ответить с цитированием
Ответ

Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Возможно ли вытащить сайт из бана? SerGG Яндекс 29 28.11.2008 00:35
Скрытие URL - нужно ли??? Нужно!! Sergio Пожелания пользователей системы 34 30.08.2008 23:02
Переиндексировать страницы сайта - как? TzRD Вопросы от новичков 7 06.08.2008 00:36
Какае ссылки нужно покупать для варезного сайта, чтоб они были тематическими??? ska4ai Вопросы от новичков 3 06.05.2008 19:51
Страницы сайта Overoff Ошибки при работе с системой 3 27.04.2008 20:58


Часовой пояс GMT +3, время: 06:46.