28.05.2009, 02:08 | #1 |
Мастер
Регистрация: 15.11.2007
Адрес: ∼∼BlackSea∼∼
Сообщений: 586
Вес репутации: 226
|
METASpider почти завалил хост
Бойтесь этого гада от Meta.ua
Посмотрел логи - офигел - почти сутки сидел на многостраничнике и издевался... Хорошо хостер маякнул.. Пришлось править robots.txt для этого уродца.
__________________
|
10.06.2009, 14:22 | #2 |
Новичок
Регистрация: 03.12.2008
Сообщений: 32
Вес репутации: 0
|
расскажи плиз, как прописал в robots.txt, чтобы спайдер МЕТА не лазил по сайту?
|
14.06.2009, 01:40 | #3 | |
Специалист
|
Цитата:
Disallow: / # блокирует доступ ко всему сайту Пример User-agent: METASpider Disallow: / Не думаю, что стоит принимать поспешные решения. Для Diamond: я бы лично внимательно изучил причину зависания, возможно проблемы не у робота, а у сайта. |
|
22.06.2009, 18:10 | #5 |
Новичок
Регистрация: 16.06.2009
Сообщений: 26
Вес репутации: 0
|
Спасибо за информацию, буду иметь ввиду
|
15.10.2009, 11:27 | #7 |
Специалист
|
Исходя из собственного опыта - любой обнаглевший бот роботс игнорирует в 99.99%, потом что "обнаглел", а роботс - всего лишь "просьба/рекомендация" . остаётся только по юзерагенту отлавливать и кислород перекрывать...
|
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Если мой хост лежит ... | kaxart | Вопросы по работе системы | 2 | 24.02.2009 08:12 |
Перезд сайтов на новый хост | PavelKr | Вопросы от новичков | 6 | 12.01.2009 21:44 |
Почти "контент" почти даром продам | D.iK.iJ | Деловое сотрудничество | 9 | 15.09.2008 21:22 |
Возьму к себе на хост | valiko | Курилка | 0 | 31.03.2008 23:54 |
Посоветуйте плиз хост | underground | Вопросы от новичков | 3 | 24.12.2007 10:45 |
Часовой пояс GMT +3, время: 03:10.