links.db содержит некоторые ссылки(uri) в неверной кодировке

[ort]

Дано:
сайт в UTF-8
подключение кода:

PHP код:

if (!defined('_SAPE_USER')){
                define('_SAPE_USER', 'blabla'); 
             }
             require_once($_SERVER['DOCUMENT_ROOT'].'/'._SAPE_USER.'/sape.php'); 
             $o['charset'] = 'UTF-8';
             $o['host'] = 'hostbla.ru';
             $sape = new SAPE_client($o);
             $sSapeText=$sape->return_links();
             if ($sSapeText and $sSapeText!='') {
                 echo($sSapeText);
             }
             unset($o); 


сайт содержит ссылки с кириллицей вида site.ru/tag/привет/

Результат:
в links.db некоторые ссылки вида site.ru/tag/*/ попадают в кодировке windows-1251 (/tag/�����/), из-за этого они не отображаются на странице.

Вопрос:
На чьей стороне проблема?

PS все страницы сайта в utf-8

[zhegloff]

Уберите с сайта декодированные ссылки и подайте на переиндексацию.

А лучше вообще избавиться от кириллицы в урлах.

[ort]

Сообщение от zhegloff

Уберите с сайта декодированные ссылки и подайте на переиндексацию.

все ссылки на сайте отображаются в декодированном виде, т.е. не используется urlencode() перед выводом HTML'а. Но косячатся не все ссылки, т.е. нет какой то системы и логики. Т.е. это какие то сбои у робота при индексации?

[zhegloff]

Какие то сбои на вашем сайте. Урлы должны быть энкодированы, иначе это не урлы.

[ort]

Урлы должны быть энкодированы, иначе это не урлы.

браузеры их урлами считают, валидацию стандартом W3C проходят

Решение проблемы:

PHP код:

if(preg_match("/[а-я]+/i", $_SERVER['REDIRECT_URL'])) {
                 $o['request_uri'] = @iconv('utf-8','windows-1251',$_SERVER['REDIRECT_URL']);
                $o['request_uri']=str_replace(array('%2F','+'),array('/','%20'),urlencode($o['request_uri']));                
            } 


[zhegloff]

Сообщение от ort

браузеры их урлами считают,

Бразуеры много всякого дерьма считают правильным, благодаря засилью горе-вебмастеров.

Стандарт на урлы здесь, ознакомьтесь.