Старый 29.05.2012, 11:25   #1
Новичок
 
Регистрация: 09.10.2009
Сообщений: 63
Вес репутации: 155
Crimson King скоро станет известен
По умолчанию Робот сапы игнорирует код 301

Давно снова сталкиваюсь с тем, что вижу ссылки в Error, которые проданы на несуществующие страницы сайта. Проблема периодически возникает уже полгода минимум, по несколько ссылок постоянно висят в ERROR, что (скорее всего) портит мою репутацию у оптизаторов и (абслютно точно) уменьшает мои доходы.

То есть периодически я вижу, что продалась ссылка на страницу
http://fwefewfew.ru/wefewfwef
когда на самом деле страница с таким адресом
http://fwefewfew.ru/wefewfwef/

Вторая отвечает кодом 200, первая (стопудово) отвечает 301-м кодом: это зашито в движок и не обходится (к тому же это легко проверить, что я и делаю). Но почему-то робот добавляет неверные адреса в базу, а я их вижу только когда на них что-то продалось (и выпало в ERROR конечно же -- потому что проверяющий робот не тупит). Причём глазами в списке страниц я такие кривые урлы никогда не вижу: когда и где отваливается слеш в конце не понятно.

Что делать? Где искать? Кого теребить?

Техподдержка невменяемая: такое ощущение, что там каждый раз отвечает новый человек, который не читает историю переписки, и которому лишь бы что-то ляпнуть, свалив проблему на меня. Если удаётся что-то доказать, то они отвечают "мы поправили адреса в базе" -- на самом деле ничего не меняется.

Проблему не признают. Даже код ответа страницы "техподдержке" проверить лень. А сегодня я вообще не могу ответить в ветке техподдержки: "ошибка при отправке сообщения". Они меня забанили что ли?

В итоге у меня постоянно есть страницы с ошибками (3 -- 5 в день) не по моей вине. Оптимизаторы, очевидно, негодуют, когда видят у меня ошибки. Сапа ничего не исправляет.

Кто может подсказать что-то?
Crimson King вне форума  
Старый 29.05.2012, 11:30   #2
Администратор
 
Аватар для Ank
 
Регистрация: 05.02.2007
Сообщений: 18,406
Вес репутации: 692
Ank - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущее
По умолчанию

Цитата:
Сообщение от Crimson King Посмотреть сообщение
Но почему-то робот добавляет неверные адреса в базу
потому что они есть на сайте.

Цитата:
Сообщение от Crimson King Посмотреть сообщение
Причём глазами в списке страниц я такие кривые урлы никогда не вижу:
значит робот не такой тупой

ссылка ставиться по 2-м адресам, если конечно сапе пхп стандартный, а не...

примеры нужны.
__________________
Начать зарабатывать на своих сайтах. Консультирую своих рефов по аське

Читаем ФАК
Ank вне форума  
Старый 29.05.2012, 11:55   #3
Куриллочный троль
 
Аватар для Клон
 
Регистрация: 15.03.2010
Сообщений: 8,483
Вес репутации: 498
Клон - прекрасное будущееКлон - прекрасное будущееКлон - прекрасное будущееКлон - прекрасное будущееКлон - прекрасное будущееКлон - прекрасное будущееКлон - прекрасное будущееКлон - прекрасное будущееКлон - прекрасное будущееКлон - прекрасное будущееКлон - прекрасное будущее
Отправить сообщение для Клон с помощью ICQ
По умолчанию

Цитата:
Сообщение от Crimson King Посмотреть сообщение
То есть периодически я вижу, что продалась ссылка на страницу
http://fwefewfew.ru/wefewfwef
когда на самом деле страница с таким адресом
http://fwefewfew.ru/wefewfwef/
ну так уберите из сапы страницы без слеша, и ссылки на сайте поправьте тоже
__________________
2013 год. В прошлом апокалипсис. Страшный апокалипсис. Гнилой апокалипсис. Просто чмо
Клон вне форума  
Старый 29.05.2012, 12:18   #4
Новичок
 
Регистрация: 09.10.2009
Сообщений: 63
Вес репутации: 155
Crimson King скоро станет известен
По умолчанию

Цитата:
ссылка ставиться по 2-м адресам, если конечно сапе пхп стандартный, а не...
Поясните эту фразу, пожалуйста.

Цитата:
примеры нужны
Отправил в личку.
Crimson King вне форума  
Старый 29.05.2012, 16:10   #5
Мастер
 
Аватар для Pepel
 
Регистрация: 28.05.2007
Адрес: Липецк
Сообщений: 528
Вес репутации: 199
Pepel - просто великолепная личностьPepel - просто великолепная личностьPepel - просто великолепная личностьPepel - просто великолепная личностьPepel - просто великолепная личностьPepel - просто великолепная личность
Отправить сообщение для Pepel с помощью ICQ
По умолчанию

Ank, если страницы отдают 301-й, то с какого они добавляются тогда в базу? Вы и 404 добавляете?
Pepel вне форума  
Старый 29.05.2012, 17:14   #6
Новичок
 
Регистрация: 09.10.2009
Сообщений: 63
Вес репутации: 155
Crimson King скоро станет известен
По умолчанию

Сейчас, кстати, техподдержка подсказала посмотреть в логи индексации. Судя по последнему логу -- дело не в индексации. Страница в базу попадает правильная -- со слешом (по крайней мере в логе неправильная страница нигде никак не упоминается). Но потом где-то как-то в какой-то момент ссылка почему-то продаётся на страницу без слеша: в базе образуется две страницы.
Зогадка.
Crimson King вне форума  
Старый 29.05.2012, 19:45   #7
Администратор
 
Аватар для Ank
 
Регистрация: 05.02.2007
Сообщений: 18,406
Вес репутации: 692
Ank - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущее
По умолчанию

Цитата:
Сообщение от Pepel Посмотреть сообщение
и 404 добавляете?
сарказм? оценил...

Crimson King, в личке же показывал. 2 раза 301 - не всякий бот поймет. Поработайте над ввв
__________________
Начать зарабатывать на своих сайтах. Консультирую своих рефов по аське

Читаем ФАК
Ank вне форума  
Старый 29.05.2012, 20:59   #8
Новичок
 
Регистрация: 09.10.2009
Сообщений: 63
Вес репутации: 155
Crimson King скоро станет известен
По умолчанию

Ank, кинул в личку другие примеры.

Занятная у робота логика по Вашим словам: если страница дважды ответила 301-м, то ее надо добавить в базу Минус на минус дает плюс? А дважды ненайденную тоже добавят?

И, повторюсь, дело не в добавлении. Страницы, похоже, плодятся где-то уже в базе.
Crimson King вне форума  
Старый 29.05.2012, 22:54   #9
Дикий
 
Аватар для D.iK.iJ
 
Регистрация: 02.06.2007
Адрес: <Noindex>
Сообщений: 2,548
Вес репутации: 331
D.iK.iJ - прекрасное будущееD.iK.iJ - прекрасное будущееD.iK.iJ - прекрасное будущееD.iK.iJ - прекрасное будущееD.iK.iJ - прекрасное будущееD.iK.iJ - прекрасное будущееD.iK.iJ - прекрасное будущееD.iK.iJ - прекрасное будущееD.iK.iJ - прекрасное будущееD.iK.iJ - прекрасное будущееD.iK.iJ - прекрасное будущее
По умолчанию

Проверял сейчас проиндексированность ссылок в Гугл (как О), тоже нашел несколько десятков страниц с 2 URL (со слэшем и без).

Плагин Винка такой ответ Гугла не может обработать и выдает серую плашку (вместо красной или зеленой)
D.iK.iJ вне форума  
Старый 29.05.2012, 23:36   #10
Администратор
 
Аватар для Ank
 
Регистрация: 05.02.2007
Сообщений: 18,406
Вес репутации: 692
Ank - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущееAnk - прекрасное будущее
По умолчанию

Цитата:
Сообщение от Crimson King Посмотреть сообщение
надо добавить в базу
по вашим же словам, кривых в базе нет. Есть ошибки, когда робот пытается проверить на такой. А ставятся ссылки на ОБЕ, на обоих и ищется.
Опять не поняли?
У вас безумно мудрено все сделано.
Сделайте 1 редирект, со всех неверных вариантов на 1 верный. А не итерационно неверный-301-снова неверный 301 - верный наконец.
__________________
Начать зарабатывать на своих сайтах. Консультирую своих рефов по аське

Читаем ФАК
Ank вне форума  
Закрытая тема

Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Робот сапы загрузил 5 стр из 180 shark-bmw Вопросы от новичков 3 11.02.2011 12:48
Робот SAPE игнорирует robots.txt lex Ошибки при работе с системой 33 15.12.2010 13:20
Робот сапы и noscript klmn Вопросы по работе системы 4 06.07.2010 18:12
Робот сапы MrG Вопросы от новичков 23 25.06.2010 23:17
Бот Сапы игнорирует <noindex>. DudnikOFF Вопросы от новичков 10 23.10.2008 18:54


Часовой пояс GMT +3, время: 02:16.