Не прошёл модерацию

[chahlic]

Сообщение от denza

investory, пора бы ввести такие правила и в биржу ссылок

с самого начала были озвучены правила для площадок для торговли статьями на Сапе.

Сайт для ссылок - не равно - Сайт для статей.

[ans73]

А что делать если сайт не прошел модерацию из за того что хостер заблокировал сайт в момент индексации страниц, так как была превышена нагрузка на сервер из за частого обращения сканера САПЫ. Дело в том что на сайте около 3000 страниц, я когда составлял sitemap, тоже превысил допустимую нагрузку. Что можно сделать с данной проблемой, для того что бы зарегистрировать площадку на сапе, кроме того что бы перейти на другой тариф у хостера.

[kittenAA]

ans73, удалите сайт, а когда перейдете на новый тариф вновь добавьте сайт.
Только лучше не тариф, а хостера сменить.

[ans73]

Да меня хостер устраивает полностью и тариф я не хочу менять, ради чего, чтобы сапа смогла проиндексировать сайт. Я вот когда сайтмап делал, так порылся в проге , так там есть настройки , что бы робот делал паузы болше между обращениями к страницам сайта. Может и у сапы есть такие приколы.

[justworker]

ans73, огорчу вас, но управлять роботом-индексатором нет возможности. Так что менять хостера/тариф.

[ans73]

А разве нельзя оставить в системе проиндексированые 274 страницы? Мне хватит

Добавлено через 34 минуты
Вот нарыл у Яндекса такую шнягу. Может если прописать в robots.txt большее время при индексации. Что скажите

Директива Crawl-delay.

Если сервер сильно нагружен и не успевает отрабатывать запросы на закачку, воспользуйтесь директивой "Crawl-delay". Она позволяет задать поисковому роботу минимальный период времени (в секундах) между концом закачки одной страницы и началом закачки следующей. В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву "Crawl-delay" необходимо добавлять в группе, начинающейся с записи "User-Agent", непосредственно после директив "Disallow" ("Allow").

Поисковый робот Яндекса поддерживает дробные значения Crawl-Delay, например, 0.5. Это не гарантирует, что поисковый робот будет заходить на ваш сайт каждые полсекунды, но дает роботу больше свободы и позволяет ускорить обход сайта.

[zhegloff]

Сообщение от ans73

А разве нельзя оставить в системе проиндексированые 274 страницы? Мне хватит

можно. Но если ссылки еще и проверяются ежедневно, а робот-проверяльщик он не менее активный, чем робот-индексатор, так что будут эрроры.

Сообщение от ans73

Директива Crawl-delay.

Не поддерживается роботами сапы.

[ans73]

можно. Но если ссылки еще и проверяются ежедневно, а робот-проверяльщик он не менее активный, чем робот-индексатор, так что будут эрроры.

Ну так можно попробовать. Если будут постоянные эроры, ну тогда уже буду думать. Куда писать, чтобы площадку включили с проиндексированными страницам
А вот еще вопрос. У меня на хостинге для моего тарифного плана процессорная нагрузка максимум 3,5%. (35 у.е. в год плачу)Это вообще нормально для сапы, при дальнейшей работе.
Я ведь уже не первый сайт добавил, есть даже на бесплатном хостинге и ничего, индексируются и работают. Там правда всего 103 страницы.