Индексация некоторых ссылок не работает?

[Anatoly]

Писал по этой проблеме в обратку, не получил ответа, возможно уже пофиксено - хотелось бы увидеть комментарии, если возможно. Собираюсь сайт переиндексировать.

Смысл в том, что, похоже, робот SAPE игнорит ссылки, на конце которых видит .mp3, .jpg и прочее. Например, ссылка вида http://site.ru/file.php?name=music.mp3 - не индексируется SAPE. Хотя доподлинно присутствует в Я. И является, собственно, страничкой с описанием такого-то файла и ещё кучей текстовой информации (а не файлом mp3). То же самое - с .jpg.

В принципе, тут проще простого - роботу достаточно проверить, какой content-type отдаёт сервер в заголовке у такой-то страницы. А то видимо сейчас стоит просто - раз в конце расширение - значит типа файл. А сие есть неправда.

Идём далее. Есть на моём ресурсе ссылки вида http://site.ru/list.php?start=21 - и их целая куча. Все представляют из себя реальные страницы, НЕ дубликаты, все проиндексированы в Я - и SAPE их тоже не видит, хотя это ОЧЕНЬ странно - тут-то, казалось бы, что такого? При том, что ссылки вида http://site.ru/list.php?char=90 (сортировка по имени контента) - проиндексировались. Странно!

Всех этих непроиндексированных страниц у меня вагон и маленькая тележка, посему, конечно, хотелось бы всё же решить сей вопрос. Либо объясните мне, почему я дурак и не лечусь - я не обижусь. ПС точно на вид моих ссылок не ругались никогда.

[Ank]

по первой части - странные несоответсвия лучше не учитывать. Когда саповский робот начал сравнивать кодировку сервера и кодировку в мете и при их НЕсовпадении - ставить еррор - это было правильно. А писать стандартные расширения и при этом отдавать не то что написано - странный подход.. поэтому - скорее всего еррор и будет. Или неучет, как в Вашем случае.

По второму - непонятно.

ЗЫ
Сапе в отличие от поисковиков не пытается проиндексить все и вся, в надежде найти нужный контент там где автор не знаком со стандартами. Тут несколько другая задача стоит, согласитесь.

[Anatoly]

Сообщение от Ank

по первой части - странные несоответсвия лучше не учитывать. Когда саповский робот начал сравнивать кодировку сервера и кодировку в мете и при их НЕсовпадении - ставить еррор - это было правильно.А писать стандартные расширения и при этом отдавать не то что написано - странный подход.. поэтому - скорее всего еррор и будет. Или неучет, как в Вашем случае.

По второму - непонятно.

ЗЫ
Сапе в отличие от поисковиков не пытается проиндексить все и вся, в надежде найти нужный контент там где автор не знаком со стандартами. Тут несколько другая задача стоит, согласитесь.

Вы немного не поняли. Со стандартами я знаком и более чем. Посмотрите на ссылки, приводимые мной, внимательно.

Например: ссылка http://site.ru/music.mp3 - да, это ссылка на файл. И глупо по этой ссылке отдавать что-то другое (если не предписано иным случаем).

Моя ссылка: http://site.ru/list.php?file=music.mp3 - это ссылка НА страничку http://site.ru/list.php С ПАРАМЕТРОМ 'file' РАВНЫМ 'music.mp3'. НИГДЕ, НИ В КАКИХ стандартах не написано, что в параметрах GET в URL'е нельзя писать 'music.mp3', или другое, что заблагорассудится. Разницу чувствуете?

[Ank]

Да можно! Можно писать что угодно!
Можно в мете написать чарстет 1251, а сервер будет отдавть КОИ8. И будет работать нормально.
Вопрос в другом. ЗАЧЕМ РОБОТУ САПЕ лезть в сомнительную ситуацию? А вдруг там действительно файл? Или картинка? ЗАЧЕМ напрягатся, когда можно НЕ напрягатся, вот в чем вопрос. У Вас - правильно отработает, у другого - файл будет лежать.
А по параметру file я бы на месте сапы и вовсе не пошел Есть маза качнуть мп3шник. А нафига он роботу нужен?

Я же не рассматриваю один, отдельно взятый ресурс.

[Anatoly]

Сообщение от Ank

Вопрос в другом. ЗАЧЕМ РОБОТУ САПЕ лезть в сомнительную ситуацию? А вдруг там действительно файл? Или картинка? ЗАЧЕМ напрягатся, когда можно НЕ напрягатся, вот в чем вопрос.

Я понимаю, что можно вообще не напрягаться, и всё будет хорошо. Но вопрос не в этом - а в правильной работе системы. Ну не знал я, ей-богу, что это будет проблемой (хотя это проблемой в чистом виде не является).

Итак, что мы имеем? Мы имеем СПЕЦИАЛЬНЫЙ фикс в коде робота SAPE, который ВООБЩЕ не ходит по ссылкам, на конце которых имеется '.mp3'. Это именно специальный фикс. С одной стороны он оправдан, но в моём случае (и не только в моём, думаю, просто остальные могли или не заметить, или молчат) - это приводит к ошибке.

Выход из ситуации - проверять content-type отклика сервера. Для этого НЕ НУЖНО качать файл. Достаточно просто проверить заголовок - если скрипт произведёт переадресацию на mp3 файл (или выдаст mp3 файл) - то и content-type будет соответствующий. Хотя, я понимаю, по переадресациям робот просто не ходит - и это, в общем-то, правильно. Но у меня переадресаций нет. У меня честная страничка, и content-type будет text/html. Вы посоветуете мне убиться об стену? Изменить код на всём сайте, ждать полгода, пока Яндекс опять это всё всосёт, смотреть на упавший до уровня канализации счётчик посещаемости? Полноте, это меня не слишком устраивает. SAPE мне нравится как система, и если этот глючок пофиксить - она станет только лучше, а никак не хуже.

[Anatoly]

Прошу уважаемую администрацию прокомментировать. Я, в принципе, даже уже смирился с ситуацией насчёт ?file=music.mp3 - фиг с ним. Но крайне странная ситуация со ?start=10 и т.д.? Индексатор игнорирует и страницы с start= в URL'е?

[Mouser]

Та же проблема. Вчера заказал переиндексацию сайта. После переиндексации новые страницы вида:

PHP код:

/detail.php?id=100 
/news.php?show&id=31 


не были найдены, а старые (такого же вида) изменившие уровень вложенности ввиду того что с главной ушли ссылки на новости и анонсы (к примеру были 2, стали 3), остались со старым уровнем.