Программерам пишущим всякое под сапу

[Wink]

Похоже тут как минимум DOM использовать надо. Нечто вроде

PHP код:

$doc = new DOMDocument();
$doc->loadHTML($content);
$tags = $doc->getElementsByTagName('a');
foreach ($tags as $tag) {
       echo $tag->getAttribute('href')."\n";
} 


[D.iK.iJ]

Сообщение от Wink

Похоже тут как минимум DOM использовать надо. Нечто вроде

PHP код:

$doc = new DOMDocument();
$doc->loadHTML($content);
$tags = $doc->getElementsByTagName('a');
foreach ($tags as $tag) {
       echo $tag->getAttribute('href')."\n";
} 


Красивый код. Пойду разбирать на части по учебнику...

[D.iK.iJ]

Результаты первых опытов можно посмотреть здесь:HTML анализатор для SAPE

Это почти обычный HTML анализатор только с проверкой основных тегов (и их парности/количества) плюс проверка robots.txt и вывод html кода страницы.

Только у меня так и не получилось пока достать ссылки из $content может кто знает хороший способ?

[formalist]

Сообщение от D.iK.iJ

...Только у меня так и не получилось пока достать ссылки из $content может кто знает хороший способ?...

preg_match_all('!http:\/\/(.+)\s!U', $content, $domain);

[D.iK.iJ]

Сообщение от formalist

preg_match_all('!http:\/\/(.+)\s!U', $content, $domain);

ОК. Обязательно опробую сегодня. Пока удалось справиться более ужасным способом.
Так что, вот новая версия HTML анализатора - Sape bot sim 2.0

Кажется у меня вполне нормально получилось анализировать robots.txt на существование файлов и находить страницы в 1 клике от главной (проверять их доступность).
По идее, подсчет страниц в двух кликах я тоже сделал... но работает ОЧЕНЬ долго. Можно включать и уходить курить. Боюсь, хостер меня за такое убьет
Как сдам сегодня экзамен, продолжу работу.

PS Как в PHP определить доступность интернет страницы, не скачивая ее?

[D.iK.iJ]

Сделал качественно новую версию HTML анализатора: SAPE Bot Sim.
Сейчас есть возможность узнать колисество ссылок на УВ2 на сайте.
Завтра собираюсь сделать поддержку и УВ3.

Также смотрите HTML анализатор

[Ank]

Зашел, сунул сайт из сапы.
В сапе 2 УВ меньше, в 2 раза почти. Задумался..
Замечания.
содержимое роботса - в строку выводиться
user-agent: yandex Disallow: /usage/ Disall..... и .т.д
может столбиком, а то неясно что там куда.

ссылки отделены внешние от внутренних - что есть гуд.

но ИТОГО лучше бы написать не
Ссылок по 'href': 55, из них работающих: 53, не работающих: 2, внешних: 8, с '#' и 'javascript': 0

А ссылок всего 55
ссылок 2УВ 45
Ну и тут уже про яваскрипт, # и прочее ВС
А то приходится напрягать мосг, на предмет проведения арифметических операций

Кстати, что такое неработающая ссылка? с т.з. проги?

А вообще - если сервер не ляжет, можно рекомендовать ну если не к применению, то как справочное пособие для тех кто не может понять почему столько в сапу добавилось

[formalist]

Сообщение от D.iK.iJ

...Как в PHP определить доступность интернет страницы, не скачивая ее?...

Таким способом, как ты юзаешь, наверное никак.

А ваще:
- курлом запросом HEAD
- сокетом, читая тока хеадер и обрывая коннект

[D.iK.iJ]

Выпущена практически окончательная версия. Думаю, переделаю потом на сокетах, но основное все уже есть
Спасибо всем, кто откликнулся!

[D.iK.iJ]

Исправилено:
- Все ссылки на главную не считаются
- Корректно определяет субдомены как ВНЕШНИЕ!
- Находит редикт.
- Выводит предупреждение, если больше 500 ссылок на главной и 150 на УВ2 УВ3.
-Для последней функции (анализ УВ1,УВ2,УВ3) встроен автоматический калькулятор. Считает количество страниц для продажи.
- Поправилено меню.

Ну, и на досуге сделал E-mail граббер и Е-mail бомбер (принцип граббера схож с Sape Bot Sim).
Можете скачать тут:
http://dikij.com/scripts/
Или просто попробовать тут:
http://dikij.com/mailgrabber.php