Робот сапы игнорирует код 301

[Crimson King]

Давно снова сталкиваюсь с тем, что вижу ссылки в Error, которые проданы на несуществующие страницы сайта. Проблема периодически возникает уже полгода минимум, по несколько ссылок постоянно висят в ERROR, что (скорее всего) портит мою репутацию у оптизаторов и (абслютно точно) уменьшает мои доходы.

То есть периодически я вижу, что продалась ссылка на страницу
http://fwefewfew.ru/wefewfwef
когда на самом деле страница с таким адресом
http://fwefewfew.ru/wefewfwef/

Вторая отвечает кодом 200, первая (стопудово) отвечает 301-м кодом: это зашито в движок и не обходится (к тому же это легко проверить, что я и делаю). Но почему-то робот добавляет неверные адреса в базу, а я их вижу только когда на них что-то продалось (и выпало в ERROR конечно же -- потому что проверяющий робот не тупит). Причём глазами в списке страниц я такие кривые урлы никогда не вижу: когда и где отваливается слеш в конце не понятно.

Что делать? Где искать? Кого теребить?

Техподдержка невменяемая: такое ощущение, что там каждый раз отвечает новый человек, который не читает историю переписки, и которому лишь бы что-то ляпнуть, свалив проблему на меня. Если удаётся что-то доказать, то они отвечают "мы поправили адреса в базе" -- на самом деле ничего не меняется.

Проблему не признают. Даже код ответа страницы "техподдержке" проверить лень. А сегодня я вообще не могу ответить в ветке техподдержки: "ошибка при отправке сообщения". Они меня забанили что ли?

В итоге у меня постоянно есть страницы с ошибками (3 -- 5 в день) не по моей вине. Оптимизаторы, очевидно, негодуют, когда видят у меня ошибки. Сапа ничего не исправляет.

Кто может подсказать что-то?

[Ank]

Сообщение от Crimson King

Но почему-то робот добавляет неверные адреса в базу

потому что они есть на сайте.

Сообщение от Crimson King

Причём глазами в списке страниц я такие кривые урлы никогда не вижу:

значит робот не такой тупой

ссылка ставиться по 2-м адресам, если конечно сапе пхп стандартный, а не...

примеры нужны.

[Клон]

Сообщение от Crimson King

То есть периодически я вижу, что продалась ссылка на страницу
http://fwefewfew.ru/wefewfwef
когда на самом деле страница с таким адресом
http://fwefewfew.ru/wefewfwef/

ну так уберите из сапы страницы без слеша, и ссылки на сайте поправьте тоже

[Crimson King]

ссылка ставиться по 2-м адресам, если конечно сапе пхп стандартный, а не...

Поясните эту фразу, пожалуйста.

примеры нужны

Отправил в личку.

[Pepel]

Ank, если страницы отдают 301-й, то с какого они добавляются тогда в базу? Вы и 404 добавляете?

[Crimson King]

Сейчас, кстати, техподдержка подсказала посмотреть в логи индексации. Судя по последнему логу -- дело не в индексации. Страница в базу попадает правильная -- со слешом (по крайней мере в логе неправильная страница нигде никак не упоминается). Но потом где-то как-то в какой-то момент ссылка почему-то продаётся на страницу без слеша: в базе образуется две страницы.
Зогадка.

[Ank]

Сообщение от Pepel

и 404 добавляете?

сарказм? оценил...

Crimson King, в личке же показывал. 2 раза 301 - не всякий бот поймет. Поработайте над ввв

[Crimson King]

Ank, кинул в личку другие примеры.

Занятная у робота логика по Вашим словам: если страница дважды ответила 301-м, то ее надо добавить в базу Минус на минус дает плюс? А дважды ненайденную тоже добавят?

И, повторюсь, дело не в добавлении. Страницы, похоже, плодятся где-то уже в базе.

[D.iK.iJ]

Проверял сейчас проиндексированность ссылок в Гугл (как О), тоже нашел несколько десятков страниц с 2 URL (со слэшем и без).

Плагин Винка такой ответ Гугла не может обработать и выдает серую плашку (вместо красной или зеленой)

[Ank]

Сообщение от Crimson King

надо добавить в базу

по вашим же словам, кривых в базе нет. Есть ошибки, когда робот пытается проверить на такой. А ставятся ссылки на ОБЕ, на обоих и ищется.
Опять не поняли?
У вас безумно мудрено все сделано.
Сделайте 1 редирект, со всех неверных вариантов на 1 верный. А не итерационно неверный-301-снова неверный 301 - верный наконец.