Нейрон, если робот получит 404, он однозначно не будет НИЧЕГО больше ждать. И это - правильно и однозначно верно. 404 - страница не найдена.
Я иду браузером на страницу ...чтототам.nml и получаю контент.
я иду туда же роботом и получаю 404.
Или фильтр по рефу, или браузер тоже получает 404, но с контентом или тут никто ничего не понимает.
Резюме.
404 - страницы НЕТ, ошибка со статусом страница не отвечает - есть.
другого быть не может по определению

Сегодня утром 90% ссылок были со статусом Error, но на сайте отображались все. В 13:00 по мск и сейчас статус у всех ссылок "Ok", все корректно отображается.
Не произойдет ли повторный вылет ссылок? (если да, то что предпринять воизбежание?)

а. вот теперь понятно.
Как уже писал, возможен ЧАСТИЧНЫЙ бан ИП сапы. Для профилактики взять ИП из линкса и показать хостеру, с просьбой не банить.

А что делать-то?
 

Извините, но я так и не понял, что теперь делать. Честно говоря, из слов: "захожу руками - все в порядке, иду роботом - 404" напрашивается вывод, что не все в порядке именно с роботом. Иначе где логика? В чем смысл робота, который видит страницы не так, как их видять пользователи?

Короче, это уже не мое дело, меня интересует только одно - что сделать, чтобы робот видел страницы также, как и вы, и я видим их, заходя "руками".

Нейрон, страница должна возвращать код ответа 200. Все остальное - еррор.
Как это сделать - зависит от движка/программера. И никак не заисит от сапоробота.

Отписался хостеру - один из ИП был забанен... теперь ограничения сняты. Ank, большое спасибо за совет...

ID площадки - 139417
статус еррора - страница не отвечает. браузером все работает, сайт и ссылки на нем отображаются. в системе работает месяц-два без проблем, до сегодняшнего дня.

ссылки после боди.
а вообще.. ну на бан проверьте. но обман сие есть...

Не пора ли уже написать на главной странице объявление что есть проблемы и какие прогнозы по их решению...? Проблема явно где-то в системе, а всех заставляют её у себя искать.

новая фишка при покупке ссылок в ручном режиме
находишь площадки, выбираешь страницы, нажимаешь купить..и НА ТЕБЕ!

Ошибка при размещении ссылки!
Ошибка при размещении ссылки!
Ошибка при размещении ссылки!