22.06.2009, 22:12 | #1 |
Специалист
Регистрация: 07.05.2009
Адрес: Las Vegas
Сообщений: 217
Вес репутации: 189
|
Sape робот
Был бы очень признателен если бы Sape робот правильно отображал свой user-agent.
Сейчас Sape user-agent выглядит так: Код:
Http Code: 200 Date: Jun 22 12:53:07 Http Version: HTTP/1.1 Size in Bytes: 10575 Referer: - Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1) Код:
Http Code: 200 Date: Jun 22 12:53:07 Http Version: HTTP/1.1 Size in Bytes: 10575 Referer: - Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; http://www.sape.ru) Код:
Http Code: 200 Date: Jun 22 03:24:24 Http Version: HTTP/1.0 Size in Bytes: 1987 Referer: - Agent: Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp) Код:
Http Code: 200 Date: Jun 21 17:00:59 Http Version: HTTP/1.1 Size in Bytes: 5453 Referer: - Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) |
22.06.2009, 22:18 | #2 |
Мафиози
Регистрация: 11.09.2008
Адрес: <H1></H1>
Сообщений: 1,174
Вес репутации: 243
|
pgolovko, Клоакинг в комфорте?
__________________
|
22.06.2009, 22:19 | #3 |
шатапфакап
Регистрация: 01.09.2008
Адрес: там где клен шумит (с)
Сообщений: 1,472
Вес репутации: 265
|
Русская мафия, +1)
ТС, айпи роботов-сапы и так известны, чего еще нужно то?
__________________
|
22.06.2009, 22:28 | #4 |
Специалист
Регистрация: 07.05.2009
Адрес: Las Vegas
Сообщений: 217
Вес репутации: 189
|
Наоборот, хотелось бы Sape в robots.txt (и не только) добавить в /disallow на некоторые странички. Ато слишком много мусора сканирует, времени нехочу тратить на уборку вручную.
Добавлено через 1 минуту Спасибки за намек с IP, попробую Добавлено через 2 минуты Да, кстати.. IP только етот (81.177.144.46) или еще есть? Последний раз редактировалось pgolovko; 22.06.2009 в 22:28. Причина: Добавлено сообщение |
23.06.2009, 00:50 | #5 |
Добрый модератор
Регистрация: 09.07.2007
Адрес: глобус Украины
Сообщений: 27,600
Вес репутации: 1025
|
А вы для яндекса в дизалоу поставьте, робот сапе и не будет туда ходить
__________________
Правильный хостинг. В личке бесплатно не отвечаю обычно. |
23.06.2009, 02:21 | #6 |
Пожиратель черепашкоВ
Регистрация: 24.12.2008
Адрес: Телемелетрямдия
Сообщений: 4,739
Вес репутации: 395
|
Не, вряд ли. Нафига клоакинг на САПу настраивать? Любой О зайдет (а он зайдет, факт) и обнаружит, что ссылок нема - и усе. Клоакинг на Яшу делать надоть
Добавлено через 1 минуту Ага, значит САПа-робот правилам Яши следует в роботс? Ну что ж, логично. Полезно знать...
__________________
Последний раз редактировалось chahlic; 23.06.2009 в 02:21. Причина: Добавлено сообщение |
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Робот SAPE игнорирует robots.txt | lex | Ошибки при работе с системой | 33 | 15.12.2010 13:20 |
робот sape проиндексировал не все страницы | naiker22 | Вопросы от новичков | 7 | 12.06.2009 15:38 |
Не могу понять как работает робот Sape | www.zeos.com.ua | Вопросы по работе системы | 13 | 14.10.2008 13:28 |
Робот не находит sape код | namo | Деловое сотрудничество | 11 | 15.03.2008 21:59 |
Робот sape не видит страниц | baldej | Ошибки при работе с системой | 55 | 11.01.2008 15:27 |
Часовой пояс GMT +3, время: 00:37.