Проиндексировалось мало страниц

[Zhoo]

Сообщение от den78ru

Но у нашего бота есть ограничение по кол-ву внутренних ссылок, по которым он переходит дальше. Для главной - 500, для 2-го уровня - 150.

У меня вопрос:

1. Одинаковые ссылки считаются в таком случае как одна?
2. Учитывает ли бот ссылки с тегом rel="nofollow"

Всё это интересует для случая подсчёта ботом кол-ва ссылок, по которым он дальше пойдёт.

Другими словами пройдётся ли он по всем РАЗНЫМ 100 ссылкам на 2 уровне, если с ними соседствует ещё 200 одинаковых, или же на них установлен тег rel="nofollow"?

3. Пойдёт ли для исключения таких ссылок конструкция вида, где /blablabla.php маска для ссылки, содержащей текст /blablabla.php ?

User-agent: *
Disallow: /blablabla.php

[Zhoo]

Up: жду ответа.