Не могу понять как работает робот Sape

[www.zeos.com.ua]

Не могу понять, как робот Sape делает индексацию сайта и понимает, какая именно ссылка второго уровня, а какая третьего!
************************************************** ****

Делаю портал на DLE.

Как известно, когда добавляешь новый пост, то он показывается на главной странице сайта, а также на главной показываются все посты по всем рубрикам. Например, если добавить пост в рубрику Видео, то этот пост появится и на главной, и в рубрике Видео.

У поста, который я добавляю, есть ссылка "Подробнее". Получается, данный пост от главной находится на втором уровне вложенности. Но если зайти в рубрику Видео, (а это уже один клик мыши), то данный пост со ссылкой "Подробнее" уже будет являться третьим уровнем вложенности.

Если постов на главной странице много и данный пост, про который я писал выше, уехал на какую-то страницу, например 5 внизу сайта, (Первая Предыдущая 1 2 3 4 -5- 6 7 8 9 10 Следующая Последняя), то получается, данный пост уже будет находиться на третьем уровне вложенности.

Но, если я сделаю так, что на портале внизу будут показываться все внутренние ссылки, а не только, как обычно, по 10 ссылок на страницы, где, например, по 10 постов, как тут в примере:
Первая Предыдущая 1 2 3 4 5 6 7 8 9 10 Следующая Последняя

и они будут все, кроме 10 ссылок, скрыты от людей, но для ПС будут видимые, например:

<div style="display: none;">
<a href="21.html">21</a>
<a href="22.html">22</a>
<a href="23.html">23</a>
...
</div>

то тогда этот пост всегда будет третьим уровнем вложенности.

Но, если зайти в рубрику Видео и, если тут тоже будет много постов и данный пост уедет вниз уже внутри этой рубрики, то данный пост будет уже четвёртого уровня вложенности и естественно робот Sape его не увидит.


Вопрос: Как понять, куда робот зайдет сначала: на ссылку "5" или на Видео и увидит там этот пост? Не могу понять, как именно робот решает: какая ссылка второго уровня, а какая третьего в таком случае :-(

[Disel]

Сообщение от www.zeos.com.ua

Не могу понять, как робот Sape делает индексацию сайта и понимает, какая именно ссылка второго уровня, а какая третьего!

Робот знает что делает, зачем его понимать...

[Zed]

Робот хавает первые 500 ссылок с главной на внутренние, это будет УВ2, потом с каждой УВ2 берет первые 150 ссылок на внутренние это будет УВ3.

[D.iK.iJ]

Работает хреновато, но, может, поможет:
http://dikij.com/htmlanalizer-sape.php

Робот работает так:
Собирает ссылки с главной, получает страницы УВ 2
Собирает ссылки с УВ 2, получает страницы УВ 3.

Если страница одновременно встречается как УВ2 и УВ3, то она - УВ 2

[www.zeos.com.ua]

Сообщение от D.iK.iJ

D.iK.iJ
Мастер

Всё тему можно закрывать, D.iK.iJ спасибо!!!

Супер скрипт: http://dikij.com/htmlanalizer-sape.php Я ХОЧУ СЕБЕ ТАКОЙ

[D.iK.iJ]

Сообщение от www.zeos.com.ua

Всё тему можно закрывать, D.iK.iJ спасибо!!!

Только не очень надейтесь на мои программерские способности
Я в этом деле жуткий новичЁк

[www.zeos.com.ua]

Сообщение от D.iK.iJ

Только не очень надейтесь на мои программерские способности
Я в этом деле жуткий новичЁк

Тут на сайте Вашем я нашел очень много полезных супер скриптов:
http://dikij.com

Один скрипт мне даже помог найти недостающий DIV в коде. Супер, Спасибо

[D.iK.iJ]

Сообщение от www.zeos.com.ua

Тут на сайте Вашем я нашел очень много полезных супер скриптов:
http://dikij.com

Один скрипт мне даже помог найти недостающий DIV в коде. Супер, Спасибо

Ага, есть маленько... Пользуйтесь на здоровье. Делал скрипты для себя, так как сам постоянно теряю div'ы center'ы и прочую ерунду
А найти потом ручками - не реально.

[www.zeos.com.ua]

Сообщение от D.iK.iJ

Ага, есть маленько... Пользуйтесь на здоровье. Делал скрипты для себя, так как сам постоянно теряю div'ы center'ы и прочую ерунду
А найти потом ручками - не реально.

Не по теме, но может подскажете как сделать подпись и где её написать?

[D.iK.iJ]

Сообщение от www.zeos.com.ua

Не по теме, но может подскажете как сделать подпись и где её написать?

Она сама "отрастает"... когда сообщений на форуме поднакопите