SAPE говорит, что ресурса в ЯК нет, а он там есть

[CzechGuy]

На форуме IPB пишут, что это невозможно. Вернее, они отключаются сами после установки cookies. Кстати, те 240 страниц, которые бот проиндексировал, он проиндексировал без идентификатора сессии. Собственно, в движок встроена возможность вырубать сессии для определённых ботов, если у них есть идентификатор, но раз сапобот подделывается под простого юзера, то этот вариант не подходит.

Может, это у Вас кукисы просто криво выставляются или ещё что? Потому что сапобот 240 страниц «съел» без сессий. Более того, карта сайта у меня формируется самописным скриптом, в котором сессии априори появиться не могут. Так что проблема надуманная, скорее всего. Главное, чтобы сапобот «съел» карту форума, а остальное я удалю из индекса потом, если вдруг где-то неожиданно сессии всплывут.

[Valentyn]

Сообщение от CzechGuy

На форуме IPB пишут, что это невозможно. Вернее, они отключаются сами после установки cookies. Кстати, те 240 страниц, которые бот проиндексировал, он проиндексировал без идентификатора сессии. Собственно, в движок встроена возможность вырубать сессии для определённых ботов, если у них есть идентификатор, но раз сапобот подделывается под простого юзера, то этот вариант не подходит.

Может, это у Вас кукисы просто криво выставляются или ещё что? Потому что сапобот 240 страниц «съел» без сессий. Более того, карта сайта у меня формируется самописным скриптом, в котором сессии априори появиться не могут. Так что проблема надуманная, скорее всего. Главное, чтобы сапобот «съел» карту форума, а остальное я удалю из индекса потом, если вдруг где-то неожиданно сессии всплывут.

Бот не обязан куки принимать.

То, что IPB подстраивается под поисковики и им обрубает сессии, а всем остальным агентам, не принимающим куки, не обрубает — это косяк IPB.

[CzechGuy]

Это не косяк IPB, потому что ПС себя идентифицируют, в отличие от ботов, выдающих юзерагенты обычных пользователей. Идентификатор сессии потому и появляется, что куки выключены. Кстати, а как умудрился сапобот «собрать» 240 ссылок на топики без единого идентификатора сессии, если он таки куки не принимает?

[zhegloff]

Сообщение от CzechGuy

Это не косяк IPB, потому что ПС себя идентифицируют, в отличие от ботов, выдающих юзерагенты обычных пользователей. Идентификатор сессии потому и появляется, что куки выключены. Кстати, а как умудрился сапобот «собрать» 240 ссылок на топики без единого идентификатора сессии, если он таки куки не принимает?

.....

Сообщение от CzechGuy

карта сайта у меня формируется самописным скриптом, в котором сессии априори появиться не могут.

[CzechGuy]

Ну так а чего тогда насчёт сессий вся демагогия пошла, если я изначально сказал, что в карте сайта их нет и быть не может? Зачем меня просят и в остальных местах их убрать? :-)