Сапа понимала robot.txt

Konstantin_by · 11.03.2009, 12:27

На сайте более 2000 из них закрыто в robot.txt более половины. Возможно ли, что бы сапа сканер читала роботс?
Руками иногда устаешь по 1000 страниц удалять после переиндексации.

zhegloff · 11.03.2009, 12:33

хм... он, по идее читает...

lay · 11.03.2009, 13:13

Читает читает, по крайней мере тот, который ссылки проверяет, а на счет того что страницы индексирует - не уверен.

Konstantin_by · 12.03.2009, 00:52

Вот он какрас и не читает ;(

11.03.2009, 12:27	#1
Konstantin_by Специалист Регистрация: 25.05.2008 Адрес: Минск Сообщений: 121 Вес репутации: 0	Сапа понимала robot.txt На сайте более 2000 из них закрыто в robot.txt более половины. Возможно ли, что бы сапа сканер читала роботс? Руками иногда устаешь по 1000 страниц удалять после переиндексации.

11.03.2009, 12:33	#2
zhegloff Добрый модератор Регистрация: 09.07.2007 Адрес: глобус Украины Сообщений: 27,600 Вес репутации: 1040	хм... он, по идее читает... __________________ Установка кода сапы от $9.95. Пишите в личку. Правильный хостинг. В личке бесплатно не отвечаю обычно.

Похожие темы
Тема	Автор	Раздел	Ответов	Последнее сообщение
Сапа, ТИц, ПС Яши	dimavsr	Курилка	33	27.02.2009 16:58
Я.Д. и сапа	Geser	Яндекс	6	04.12.2008 12:06
robot sape	Krokus	Ошибки при работе с системой	15	10.08.2008 03:20
WinHTTP Robot?	Indigo	Разработка и сопровождение сайтов	6	02.03.2008 18:57
Сапа ...	Angelyss	Вопросы по работе системы	17	05.12.2007 11:35

11.03.2009, 13:13	#3
lay Мастер Регистрация: 11.08.2007 Сообщений: 705 Вес репутации: 248	Читает читает, по крайней мере тот, который ссылки проверяет, а на счет того что страницы индексирует - не уверен.

12.03.2009, 00:52	#4
Konstantin_by Специалист Регистрация: 25.05.2008 Адрес: Минск Сообщений: 121 Вес репутации: 0	Вот он какрас и не читает ;(