Допишите для начала в robots.txt после всех команд
Crawl-delay: 10
Даст 10 секундный интервал между обращениями к страницам роботами.

То есть удобнее всего если она будет указана для всех роботов
User-agent: *
Crawl-delay: 10

Посоветуйте пожалуйста оптимальный хостинг, не дороже 100 рублей в месяц, И какую лучше платформу использовать для Sape

Проблема с astronomy.net.ua решена. Причина была во мне. Хостинг хороший.

Der_meister, советую рич-хост, тарифы тут http://rich-host.ru/hosting.php

Кто нибудь юзает http://datasvyazi.ru там сеть из 50 ip предоставляют, как этот хостинг хороший или нет?

Не размещайте только на leaderhost.ru... Раньше был прекрасный хостинг, надёжный, а сейчас набрали людей и "закручивают гайки".
Вообще прикол. У меня перегрузка? Я все сайты забрал давно, остались на парковке только. Предлагают перейти на VPS3(1400руб./мес.+600руб. установка CPanel + использование 1200руб./мес.).
За парковку 2600 руб. в месяц, это круто!

http://firstvds.ru/Мне нравится , единственный глюк этот с основным доменом, основным ставте какой нибудь от фонаря, по неизвестным причином на главном домене слетают сапоссылки. ( при переходе по рефке предоставляется скидка 25% вродебы).

mobilniku,
Sergeixp, посмотрел цены на ВДСки у этих хостеров..в гробу видел.
вот тут ВДСки приличные. сижу на "стандарте" и плюю в потолок.

я конечно вам верю, но по первых нужны не приличные вдски а стабильные под сапу.. во вторых сейчас ру веб недоступен, но мне кажется что цены ниже быть не могут.. ниже некуда..

а я арендую свой сервер, отлично работает. если кому то интересен хостинг за дёшево пишите сюда 443 836 855 - Гарантия надёжности аттестат продавца и БЛ 202