Неясности с индексацией сайта ботом SAPE

[ss25]

Вчера добавлял сайт при индексации страниц ботом у меня в логаг ересь есть.

Сайт весь в УТФ-8 в урлах есть русские/украинские символы.

Ладна еслиб бот наотрез отказался от кирилицы но он как то избирательно покоцал урлы, причем некоторые прошли как видно из лога некоторые получил 404 ошибку.

МИСТИКА

П.С. Я. и Г. урлы с кирилицей нормально прохавал.

217.107.36.73 - - [18/Feb/2009:20:54:12 +0200] "GET /ru/Library/authors/\xc1/1784/ HTTP/1.1" 200 24789
217.107.36.73 - - [18/Feb/2009:20:54:13 +0200] "GET /ru/Library/authors/\xc1/5276/ HTTP/1.1" 200 22040
217.107.36.73 - - [18/Feb/2009:20:54:15 +0200] "GET /ru/Library/authors/\xc1/5277/ HTTP/1.1" 200 22032
217.107.36.73 - - [18/Feb/2009:20:54:16 +0200] "GET /ru/Library/authors/\xc1/5278/ HTTP/1.1" 200 22034
217.107.36.73 - - [18/Feb/2009:20:54:17 +0200] "GET /ru/Library/authors/\xc3/5279/ HTTP/1.1" 200 22040
217.107.36.73 - - [18/Feb/2009:20:54:18 +0200] "GET /ru/Library/authors/\xc4/5280/ HTTP/1.1" 200 22030
217.107.36.73 - - [18/Feb/2009:20:54:20 +0200] "GET /ru/Library/authors/\xca/5281/ HTTP/1.1" 200 22036
217.107.36.73 - - [18/Feb/2009:20:54:21 +0200] "GET /ru/Library/authors/\xca/5282/ HTTP/1.1" 200 22036
217.107.36.73 - - [18/Feb/2009:20:54:22 +0200] "GET /ru/Library/authors/\xca/5283/ HTTP/1.1" 200 22036
217.107.36.73 - - [18/Feb/2009:20:54:24 +0200] "GET /ru/Library/authors/\xcf/5284/ HTTP/1.1" 200 22038
217.107.36.73 - - [18/Feb/2009:20:54:25 +0200] "GET /ru/Library/authors/\xd0/5285/ HTTP/1.1" 200 22036
217.107.36.73 - - [18/Feb/2009:20:54:26 +0200] "GET /ru/Library/authors/\xd1/5286/ HTTP/1.1" 404 224
217.107.36.73 - - [18/Feb/2009:20:54:26 +0200] "GET /ru/Library/authors/\xd1/5287/ HTTP/1.1" 404 224
217.107.36.73 - - [18/Feb/2009:20:54:26 +0200] "GET /ru/Library/authors/\xd2/5288/ HTTP/1.1" 404 224
217.107.36.73 - - [18/Feb/2009:20:54:27 +0200] "GET /ru/Library/authors/\xd2/5289/ HTTP/1.1" 404 224
217.107.36.73 - - [18/Feb/2009:20:54:27 +0200] "GET /ru/Library/authors/\xd8/5290/ HTTP/1.1" 404 224
217.107.36.73 - - [18/Feb/2009:20:54:27 +0200] "GET /ru/Library/authors/\xd8/5291/ HTTP/1.1" 404 224
217.107.36.73 - - [18/Feb/2009:20:54:27 +0200] "GET /ru/Library/authors/\xd8/5292/ HTTP/1.1" 404 224

[ss25]

UP чтоли.
сапорт отписался стандартно в фак, но там ниче нету про коряванье урлов ботом сапы.

[WebFX]

Сообщение от ss25

Сайт весь в УТФ-8 в урлах есть русские/украинские символы.

В плагине от Винка есть клёвая функция.. Если у ВМ руки растут ниже пояса и сзади - то одним нажатием кнопки все кириллические url идут на хутор.
Это я к чему..меняйте урлы.

[zhegloff]

Сообщение от ss25

но он как то избирательно покоцал урлы

Он не покоцал, а взял так, как вы ему их дали.

Если вы не в курсе, то в урлах не может быть ни русских ни украинских символов.
И если яша и гоша извращаются, пытаясь перекодировать ваше криворучие, то перед ботом сапы такой задачи не стоит.

[ss25]

по поводу урлов уже посмотрел http://tools.ietf.org/html/rfc1738, а по поводу оскорблений от zhegloff и WebFX хотелось бы прочитать в этой ветке извинения.

[synthpop]

WebFX то писал про мифического ВМ, а не про вас конкретно