02.06.2010, 20:40 | #1 |
Эксперт
Регистрация: 01.04.2008
Адрес: Москва
Сообщений: 1,131
Вес репутации: 234
|
Как посчитать колличество внутренних ссылок на конкретную страницу?
Провожу анализ конкурентов, беру определенную страницу.
Необходимо посчитать сколько есть внутренних ссылок на данную страницу. Необходимо получить два варианта: - вообще все ссылки (тут будет учитываться в том числе навигация); - только ссылки с определенным текстом анкора. Какую ПС использовать, видимо, все равно, главное чтобы получить более-менее точный результат, т.е. может быть составить какой-то сложный запрос. Или может есть какой-то сервис/программа? |
02.06.2010, 23:56 | #2 |
Эксперт
Регистрация: 01.10.2009
Адрес: kaliningrad.biz
Сообщений: 1,058
Вес репутации: 269
|
Ни разу о подобных программ/сервисах не слышал.
Как это технически вообще можно реализовать?? Сграбить весь сайт себе на комп и там уже искать по коду site.ru/str1.html и просто str1.html? Но на сколько я помню на Вашем сайте почти половина лимона страниц, на конкурентах думаю также... целесообразно ли. Или еще какие-то варианты есть? |
02.06.2010, 23:57 | #3 |
Эксперт
|
нету, только вручную перелопатить сайт конкурента. или взять генератор сайтмэп - они генерят все ссылки, что есть, и даже дубли, и все-равно вручную вычислять придется - сколько раз на сайте каждая повторяется. Но текстов из генератора сайтмэпов вам не узнать... а времени уйдет много, если сайт конкурента имеет тысячи страниц. Поэтому лучше даже не заморачиваться гемороем
__________________
|
03.06.2010, 01:12 | #4 |
Эксперт
Регистрация: 01.04.2008
Адрес: Москва
Сообщений: 1,131
Вес репутации: 234
|
Ну есть например инструмент под названием Yahoo Links, показывает сколько ссылок на данную страницу, но там учитываются только внешние ссылки.
Еще можно покопаться в кэше ПС и выяснить какие там анкоры отпечатались, собственно это проверяем кнопкой YL в сапотулбаре. Добавлено через 1 минуту Shketus, какие граберы посоветуешь? очень много разных перепробовал, но практически все спотыкаются при количестве страниц более 10к Последний раз редактировалось Cyj; 03.06.2010 в 01:12. Причина: Добавлено сообщение |
03.06.2010, 01:55 | #5 |
Эксперт
Регистрация: 01.10.2009
Адрес: kaliningrad.biz
Сообщений: 1,058
Вес репутации: 269
|
Cyj, я честно даже не знаю чем помочь. Больше 10к страниц мне в голову не приходило грабить, поэтому советовать сложно.
Блин, но всё-таки 500к страниц, бог с ним, с граббингом. А вот потом что с ним делать... Искать ссылки на каждую страницу из 500к файлов, это же ппц. Мне даже трудно представить сколько это по времени выйдет. Но других вариантов, именно с внутренними ссылками я не вижу. |
03.06.2010, 03:12 | #6 |
Эксперт
Регистрация: 01.04.2008
Адрес: Москва
Сообщений: 1,131
Вес репутации: 234
|
Сграбленый сайт легко обрабатывать, существует полно текстовых редакторов, в которых поиск можно осуществлять по регулярному выражению и сразу по содержимому файлов директории, а не только открытого файла.
Например, jedit или notepad++ Парсить конкретный сайт еще проще, т.к. не надо заботится о задержках/проксях как при работе с ПС. Как вариант, можно взять уже готовый файл sitemap.xml, как правило, сайтмапы делаются самими владельцами сайтов. А потом стянуть для анализа только нужные страницы. Добавлено через 1 минуту .... Но хотелось бы иметь уже готовую прогу )) Последний раз редактировалось Cyj; 03.06.2010 в 03:12. Причина: Добавлено сообщение |
03.06.2010, 07:14 | #7 |
Специалист
Регистрация: 07.05.2009
Адрес: Las Vegas
Сообщений: 217
Вес репутации: 189
|
В гугле запросы типо:
link:http://www.php.net/ link:http://www.php.net/downloads.php link:http://www.php.net/license/3_01.txt ...а там ковыряйтесь кто на кого и как ссылается. Это всё конечно теоретически не 100%, но всетаки что-то |
03.06.2010, 09:42 | #8 |
Эксперт
Регистрация: 01.10.2009
Адрес: kaliningrad.biz
Сообщений: 1,058
Вес репутации: 269
|
Cyj, я прекрасно знаю что есть различные редакторы, что при парсинге не нужно задержек (хотя на различных справочниках/каталогах бывает нужно).
Вопрос сколько на тех сайтах страниц, я просто оценивал по Вашему сайта, и сделал вывод что это оч много времени займет. |
03.06.2010, 10:01 | #9 |
Эксперт
Регистрация: 01.04.2008
Адрес: Москва
Сообщений: 1,131
Вес репутации: 234
|
|
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Колличество ссылок постоянно падает! | Fireknight | Вопросы от новичков | 10 | 03.06.2010 10:47 |
Колличество внутренних ссылок | PolyakovAE | Яндекс | 6 | 06.08.2009 22:04 |
Не меняется колличество ссылок | Kaspersky | Ошибки при работе с системой | 7 | 25.06.2009 07:33 |
Как купить под размещение ссылки конкретную страницу? | dram | Вопросы от новичков | 0 | 23.05.2009 09:36 |
После НГ колличество ссылок не увеличивается :( | zabstudio | Вопросы по работе системы | 14 | 13.01.2008 20:04 |
Часовой пояс GMT +3, время: 20:26.