Старый 22.06.2009, 22:12   #1
Специалист
 
Аватар для pgolovko
 
Регистрация: 07.05.2009
Адрес: Las Vegas
Сообщений: 217
Вес репутации: 188
pgolovko - как роза среди колючекpgolovko - как роза среди колючекpgolovko - как роза среди колючек
По умолчанию Sape робот

Был бы очень признателен если бы Sape робот правильно отображал свой user-agent.
Сейчас Sape user-agent выглядит так:
Код:
Http Code: 200	Date: Jun 22 12:53:07	Http Version: HTTP/1.1	Size in Bytes: 10575
Referer: -
Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)
Намного грамотнее было бы вот так:
Код:
Http Code: 200	Date: Jun 22 12:53:07	Http Version: HTTP/1.1	Size in Bytes: 10575
Referer: -
Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; http://www.sape.ru)
Вот например Yahooшный:
Код:
Http Code: 200	Date: Jun 22 03:24:24	Http Version: HTTP/1.0	Size in Bytes: 1987
Referer: -
Agent: Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp)
и Googoльный:
Код:
Http Code: 200	Date: Jun 21 17:00:59	Http Version: HTTP/1.1	Size in Bytes: 5453
Referer: -
Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Премного благодарен, ...
pgolovko вне форума   Ответить с цитированием
Старый 22.06.2009, 22:18   #2
Мафиози
 
Аватар для Русская мафия
 
Регистрация: 11.09.2008
Адрес: <H1></H1>
Сообщений: 1,174
Вес репутации: 242
Русская мафия - прекрасное будущееРусская мафия - прекрасное будущееРусская мафия - прекрасное будущееРусская мафия - прекрасное будущееРусская мафия - прекрасное будущееРусская мафия - прекрасное будущееРусская мафия - прекрасное будущееРусская мафия - прекрасное будущееРусская мафия - прекрасное будущееРусская мафия - прекрасное будущееРусская мафия - прекрасное будущее
По умолчанию

pgolovko, Клоакинг в комфорте?
__________________
Как дела?
Русская мафия вне форума   Ответить с цитированием
Старый 22.06.2009, 22:19   #3
шатапфакап
 
Аватар для justworker
 
Регистрация: 01.09.2008
Адрес: там где клен шумит (с)
Сообщений: 1,472
Вес репутации: 264
justworker - прекрасное будущееjustworker - прекрасное будущееjustworker - прекрасное будущееjustworker - прекрасное будущееjustworker - прекрасное будущееjustworker - прекрасное будущееjustworker - прекрасное будущееjustworker - прекрасное будущееjustworker - прекрасное будущееjustworker - прекрасное будущееjustworker - прекрасное будущее
По умолчанию

Русская мафия, +1)

ТС, айпи роботов-сапы и так известны, чего еще нужно то?
__________________
Проблемы, простои, убогая техподдержка, потерянное время, высокие цены, отсутствие достойных компенсаций, наплевательское отношение к клиентам, велкам!
justworker вне форума   Ответить с цитированием
Старый 22.06.2009, 22:28   #4
Специалист
 
Аватар для pgolovko
 
Регистрация: 07.05.2009
Адрес: Las Vegas
Сообщений: 217
Вес репутации: 188
pgolovko - как роза среди колючекpgolovko - как роза среди колючекpgolovko - как роза среди колючек
По умолчанию

Наоборот, хотелось бы Sape в robots.txt (и не только) добавить в /disallow на некоторые странички. Ато слишком много мусора сканирует, времени нехочу тратить на уборку вручную.

Добавлено через 1 минуту
Цитата:
Сообщение от justworker Посмотреть сообщение
ТС, айпи роботов-сапы и так известны, чего еще нужно то?
Спасибки за намек с IP, попробую

Добавлено через 2 минуты
Да, кстати.. IP только етот (81.177.144.46) или еще есть?

Последний раз редактировалось pgolovko; 22.06.2009 в 22:28. Причина: Добавлено сообщение
pgolovko вне форума   Ответить с цитированием
Старый 23.06.2009, 00:50   #5
Добрый модератор
 
Аватар для zhegloff
 
Регистрация: 09.07.2007
Адрес: глобус Украины
Сообщений: 27,600
Вес репутации: 1024
zhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущее
По умолчанию

Цитата:
Сообщение от pgolovko Посмотреть сообщение
Наоборот, хотелось бы Sape в robots.txt (и не только) добавить в /disallow на некоторые странички. Ато слишком много мусора сканирует, времени нехочу тратить на уборку вручную.
А вы для яндекса в дизалоу поставьте, робот сапе и не будет туда ходить
__________________
Установка кода сапы от $9.95. Пишите в личку.
Правильный хостинг.
В личке бесплатно не отвечаю обычно.
zhegloff вне форума   Ответить с цитированием
Старый 23.06.2009, 02:21   #6
Пожиратель черепашкоВ
 
Аватар для chahlic
 
Регистрация: 24.12.2008
Адрес: Телемелетрямдия
Сообщений: 4,739
Вес репутации: 394
chahlic - прекрасное будущееchahlic - прекрасное будущееchahlic - прекрасное будущееchahlic - прекрасное будущееchahlic - прекрасное будущееchahlic - прекрасное будущееchahlic - прекрасное будущееchahlic - прекрасное будущееchahlic - прекрасное будущееchahlic - прекрасное будущееchahlic - прекрасное будущее
По умолчанию

Цитата:
Сообщение от Русская мафия Посмотреть сообщение
pgolovko, Клоакинг в комфорте?
Не, вряд ли. Нафига клоакинг на САПу настраивать? Любой О зайдет (а он зайдет, факт) и обнаружит, что ссылок нема - и усе. Клоакинг на Яшу делать надоть

Добавлено через 1 минуту
Цитата:
Сообщение от zhegloff Посмотреть сообщение
А вы для яндекса в дизалоу поставьте, робот сапе и не будет туда ходить
Ага, значит САПа-робот правилам Яши следует в роботс? Ну что ж, логично. Полезно знать...
__________________
Смотри цены в САПе в своей валюте: плагин "Конвертер Валют" для ФФ.

Последний раз редактировалось chahlic; 23.06.2009 в 02:21. Причина: Добавлено сообщение
chahlic вне форума   Ответить с цитированием
Ответ

Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Робот SAPE игнорирует robots.txt lex Ошибки при работе с системой 33 15.12.2010 13:20
робот sape проиндексировал не все страницы naiker22 Вопросы от новичков 7 12.06.2009 15:38
Не могу понять как работает робот Sape www.zeos.com.ua Вопросы по работе системы 13 14.10.2008 13:28
Робот не находит sape код namo Деловое сотрудничество 11 15.03.2008 21:59
Робот sape не видит страниц baldej Ошибки при работе с системой 55 11.01.2008 15:27


Часовой пояс GMT +3, время: 11:46.