Sape робот

pgolovko · 22.06.2009, 22:12

Был бы очень признателен если бы Sape робот правильно отображал свой user-agent.
Сейчас Sape user-agent выглядит так:

Код:

Http Code: 200	Date: Jun 22 12:53:07	Http Version: HTTP/1.1	Size in Bytes: 10575
Referer: -
Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)

Намного грамотнее было бы вот так:

Код:

Http Code: 200	Date: Jun 22 12:53:07	Http Version: HTTP/1.1	Size in Bytes: 10575
Referer: -
Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; http://www.sape.ru)

Вот например Yahooшный:

Код:

Http Code: 200	Date: Jun 22 03:24:24	Http Version: HTTP/1.0	Size in Bytes: 1987
Referer: -
Agent: Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp)

и Googoльный:

Код:

Http Code: 200	Date: Jun 21 17:00:59	Http Version: HTTP/1.1	Size in Bytes: 5453
Referer: -
Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Премного благодарен, ...

Русская мафия · 22.06.2009, 22:18

pgolovko, Клоакинг в комфорте?

justworker · 22.06.2009, 22:19

Русская мафия, +1)

ТС, айпи роботов-сапы и так известны, чего еще нужно то?

pgolovko · 22.06.2009, 22:28

Наоборот, хотелось бы Sape в robots.txt (и не только) добавить в /disallow на некоторые странички. Ато слишком много мусора сканирует, времени нехочу тратить на уборку вручную.

Добавлено через 1 минуту

Цитата:

Сообщение от justworker

ТС, айпи роботов-сапы и так известны, чего еще нужно то?

Спасибки за намек с IP, попробую

Добавлено через 2 минуты
Да, кстати.. IP только етот (81.177.144.46) или еще есть?

zhegloff · 23.06.2009, 00:50

Цитата:

Сообщение от pgolovko

Наоборот, хотелось бы Sape в robots.txt (и не только) добавить в /disallow на некоторые странички. Ато слишком много мусора сканирует, времени нехочу тратить на уборку вручную.

А вы для яндекса в дизалоу поставьте, робот сапе и не будет туда ходить

chahlic · 23.06.2009, 02:21

Цитата:

Сообщение от Русская мафия

pgolovko, Клоакинг в комфорте?

Не, вряд ли. Нафига клоакинг на САПу настраивать? Любой О зайдет (а он зайдет, факт) и обнаружит, что ссылок нема - и усе. Клоакинг на Яшу делать надоть

Добавлено через 1 минуту

Цитата:

Сообщение от zhegloff

А вы для яндекса в дизалоу поставьте, робот сапе и не будет туда ходить

Ага, значит САПа-робот правилам Яши следует в роботс? Ну что ж, логично. Полезно знать...

22.06.2009, 22:18	#2
Русская мафия Мафиози Регистрация: 11.09.2008 Адрес: <H1></H1> Сообщений: 1,174 Вес репутации: 258	pgolovko, Клоакинг в комфорте? __________________ Как дела?

22.06.2009, 22:19	#3
justworker шатапфакап Регистрация: 01.09.2008 Адрес: там где клен шумит (с) Сообщений: 1,472 Вес репутации: 280	Русская мафия, +1) ТС, айпи роботов-сапы и так известны, чего еще нужно то? __________________ Проблемы, простои, убогая техподдержка, потерянное время, высокие цены, отсутствие достойных компенсаций, наплевательское отношение к клиентам, велкам!

Похожие темы
Тема	Автор	Раздел	Ответов	Последнее сообщение
Робот SAPE игнорирует robots.txt	lex	Ошибки при работе с системой	33	15.12.2010 13:20
робот sape проиндексировал не все страницы	naiker22	Вопросы от новичков	7	12.06.2009 15:38
Не могу понять как работает робот Sape	www.zeos.com.ua	Вопросы по работе системы	13	14.10.2008 13:28
Робот не находит sape код	namo	Деловое сотрудничество	11	15.03.2008 21:59
Робот sape не видит страниц	baldej	Ошибки при работе с системой	55	11.01.2008 15:27