90% страниц попало под 400 ошибку

[Myma]

90%(5000) реально существующих и нормально функционирующих страниц попало под 400 ошибку, остальные добавились, правда как раз когда сайт сканировался - отключили инет, и я подумал что в этом дело и отправлял просьбу переиндексировать, после чего было добавлено еще только 300 страниц. Вот я думаю может есть какие-нить настройки сервера, которые помогут роботу при следующей индексации? За нагрузкой сервера следил - не превышала и 50%

[Ank]

Myma, теперь еще раз и по русски.

[Myma]

При индексировании площадки добавилось в систему только 10% от ресурса площадки, как добавить остальные страницы? Я ТП писал - сделали переинексацию, но добавилось еще только 300. ошибка 400 Bad Request (Плохой запрос). Скриншот прилагаю.

[Ank]

Сообщение от Myma

ошибка 400 Bad Request

это ваш сервер такое сказал. Его и следует лечить. Точно 400? может 403? Логи индексации вроде где то были, в крайнем случае - на своем сервере найдете. Например сыграла система антифлуд, за превышения числа запросов с одного ИП. Поищите как это решено для роботов ПС и сделайте так же.

[Myma]

Ну я нашел такое "request failed: error reading the headers" Сервер же такое сказал на запрос)) Инет ковырял -дельного ничего не нашел, думаю это из-за того что робот сканирует по 7-10 страниц в секунду, можно ли как-нибудь его притормозить через robots.txt, например? Вообще такого раньше не наблюдалось с роботами других сайтов

Добавлено через 16 часов 40 минут
Нашел в инете такое

* [error] [client 127.0.0.1] request failed: error reading the headers

This message can be triggered by one of the following protocol errors encountered while reading a request from the client:

* the number of request header fields exceeds the server's limit (400 will be logged in access log)
* the length of a request header field exceeds the server's limit (400 will be logged in access log)
* a request header field is missing a colon separator (400 will be logged in access log)

The exact cause is written in the error message sent to the client, but it is not logged anywhere unless the "error-notes" note for the request is logged via mod_log_config. (This would be rather voluminous and is not recommended except for brief testing periods.) The note can be logged by adding %{error-notes}n to your log format string.

Even without logging the error-notes note, you can consult the access log to see the URL of the request which failed and see what error message was returned to the browser. Look for requests which failed with 400 with the same timestamp as the messages in the error log.

Убрал ограничение number of request и увеличил the length of a request header field в несколько раз, поидее должно помочь. Прошу разрешить мне переиндексировать еще раз площадку.

[Ank]

Сообщение от Myma

Прошу разрешить мне переиндексировать еще раз площадку.

ну я бы сначала поробовал написать какой нить проверяльщик тупой, который просто просил бы например морду сайта, раз 50 в секунду Сервер конечно может лечь, но не с 400-й ошибкой
А вообще - пишите в обратку, с просьбой переиндексации и объяснением почему (была 400-я, теперь не должно быть. По идее....)

[tauron]

Здрасьте...
Проблема такая же, только вот страниц конечно поменьше в 400 статусе висит, однако все же хотелось разъяснить данный вопрос. Просто ситуация такова, что у меня сайт на хостинге стоит и больно уж долго они решают данную проблему (jino.ru). Возможно вы подскажете, как им намекнуть где копать?

[Ank]

Сообщение от tauron

как им намекнуть где копать?

прислать список хостеров, не страдающих данной проблемой. И спросить какова процедура возврата денег.

[tauron]

Радикальный метод, нужно попробовать)