![]() |
#1 |
Эксперт
Регистрация: 01.04.2008
Адрес: Москва
Сообщений: 1,131
Вес репутации: 249
![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() |
![]() Провожу анализ конкурентов, беру определенную страницу.
Необходимо посчитать сколько есть внутренних ссылок на данную страницу. Необходимо получить два варианта: - вообще все ссылки (тут будет учитываться в том числе навигация); - только ссылки с определенным текстом анкора. Какую ПС использовать, видимо, все равно, главное чтобы получить более-менее точный результат, т.е. может быть составить какой-то сложный запрос. Или может есть какой-то сервис/программа? |
![]() |
![]() |
![]() |
#2 |
Эксперт
Регистрация: 01.10.2009
Адрес: kaliningrad.biz
Сообщений: 1,058
Вес репутации: 283
![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() |
![]() Ни разу о подобных программ/сервисах не слышал.
Как это технически вообще можно реализовать?? Сграбить весь сайт себе на комп и там уже искать по коду site.ru/str1.html и просто str1.html? Но на сколько я помню на Вашем сайте почти половина лимона страниц, на конкурентах думаю также... целесообразно ли. Или еще какие-то варианты есть? |
![]() |
![]() |
![]() |
#3 |
Эксперт
|
![]() нету, только вручную перелопатить сайт конкурента. или взять генератор сайтмэп - они генерят все ссылки, что есть, и даже дубли, и все-равно вручную вычислять придется - сколько раз на сайте каждая повторяется. Но текстов из генератора сайтмэпов вам не узнать... а времени уйдет много, если сайт конкурента имеет тысячи страниц. Поэтому лучше даже не заморачиваться гемороем
__________________
![]() |
![]() |
![]() |
![]() |
#4 |
Эксперт
Регистрация: 01.04.2008
Адрес: Москва
Сообщений: 1,131
Вес репутации: 249
![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() |
![]() Ну есть например инструмент под названием Yahoo Links, показывает сколько ссылок на данную страницу, но там учитываются только внешние ссылки.
Еще можно покопаться в кэше ПС и выяснить какие там анкоры отпечатались, собственно это проверяем кнопкой YL в сапотулбаре. Добавлено через 1 минуту Shketus, какие граберы посоветуешь? очень много разных перепробовал, но практически все спотыкаются при количестве страниц более 10к Последний раз редактировалось Cyj; 03.06.2010 в 01:12. Причина: Добавлено сообщение |
![]() |
![]() |
![]() |
#5 |
Эксперт
Регистрация: 01.10.2009
Адрес: kaliningrad.biz
Сообщений: 1,058
Вес репутации: 283
![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() |
![]() Cyj, я честно даже не знаю чем помочь. Больше 10к страниц мне в голову не приходило грабить, поэтому советовать сложно.
Блин, но всё-таки 500к страниц, бог с ним, с граббингом. А вот потом что с ним делать... Искать ссылки на каждую страницу из 500к файлов, это же ппц. Мне даже трудно представить сколько это по времени выйдет. Но других вариантов, именно с внутренними ссылками я не вижу. |
![]() |
![]() |
![]() |
#6 |
Эксперт
Регистрация: 01.04.2008
Адрес: Москва
Сообщений: 1,131
Вес репутации: 249
![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() |
![]() Сграбленый сайт легко обрабатывать, существует полно текстовых редакторов, в которых поиск можно осуществлять по регулярному выражению и сразу по содержимому файлов директории, а не только открытого файла.
Например, jedit или notepad++ Парсить конкретный сайт еще проще, т.к. не надо заботится о задержках/проксях как при работе с ПС. Как вариант, можно взять уже готовый файл sitemap.xml, как правило, сайтмапы делаются самими владельцами сайтов. А потом стянуть для анализа только нужные страницы. Добавлено через 1 минуту .... Но хотелось бы иметь уже готовую прогу )) Последний раз редактировалось Cyj; 03.06.2010 в 03:12. Причина: Добавлено сообщение |
![]() |
![]() |
![]() |
#7 |
Специалист
Регистрация: 07.05.2009
Адрес: Las Vegas
Сообщений: 217
Вес репутации: 203
![]() ![]() ![]() |
![]() В гугле запросы типо:
link:http://www.php.net/ link:http://www.php.net/downloads.php link:http://www.php.net/license/3_01.txt ...а там ковыряйтесь кто на кого и как ссылается. Это всё конечно теоретически не 100%, но всетаки что-то ![]() |
![]() |
![]() |
![]() |
#8 |
Эксперт
Регистрация: 01.10.2009
Адрес: kaliningrad.biz
Сообщений: 1,058
Вес репутации: 283
![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() |
![]() Cyj, я прекрасно знаю что есть различные редакторы, что при парсинге не нужно задержек (хотя на различных справочниках/каталогах бывает нужно).
Вопрос сколько на тех сайтах страниц, я просто оценивал по Вашему сайта, и сделал вывод что это оч много времени займет. |
![]() |
![]() |
![]() |
#9 |
Эксперт
Регистрация: 01.04.2008
Адрес: Москва
Сообщений: 1,131
Вес репутации: 249
![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() |
![]() |
![]() |
![]() |
![]() |
|
|
![]() |
||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Колличество ссылок постоянно падает! | Fireknight | Вопросы от новичков | 10 | 03.06.2010 10:47 |
Колличество внутренних ссылок | PolyakovAE | Яндекс | 6 | 06.08.2009 22:04 |
Не меняется колличество ссылок | Kaspersky | Ошибки при работе с системой | 7 | 25.06.2009 07:33 |
Как купить под размещение ссылки конкретную страницу? | dram | Вопросы от новичков | 0 | 23.05.2009 09:36 |
После НГ колличество ссылок не увеличивается :( | zabstudio | Вопросы по работе системы | 14 | 13.01.2008 20:04 |
Часовой пояс GMT +3, время: 08:22.