У меня вопрос:

1. Одинаковые ссылки считаются в таком случае как одна?
2. Учитывает ли бот ссылки с тегом rel="nofollow"

Всё это интересует для случая подсчёта ботом кол-ва ссылок, по которым он дальше пойдёт.

Другими словами пройдётся ли он по всем РАЗНЫМ 100 ссылкам на 2 уровне, если с ними соседствует ещё 200 одинаковых, или же на них установлен тег rel="nofollow"?

3. Пойдёт ли для исключения таких ссылок конструкция вида, где /blablabla.php маска для ссылки, содержащей текст /blablabla.php ?

User-agent: *
Disallow: /blablabla.php

Up: жду ответа.