![]() |
#1 |
Мастер
Регистрация: 15.11.2007
Адрес: ∼∼BlackSea∼∼
Сообщений: 586
Вес репутации: 222
![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() |
![]() Бойтесь этого гада от Meta.ua
![]() Посмотрел логи - офигел - почти сутки сидел на многостраничнике и издевался... Хорошо хостер маякнул.. Пришлось править robots.txt для этого уродца.
__________________
|
![]() |
![]() |
![]() |
#2 |
Новичок
Регистрация: 03.12.2008
Сообщений: 32
Вес репутации: 0
![]() |
![]() расскажи плиз, как прописал в robots.txt, чтобы спайдер МЕТА не лазил по сайту?
|
![]() |
![]() |
![]() |
#3 | |
Специалист
|
![]() Цитата:
Disallow: / # блокирует доступ ко всему сайту Пример User-agent: METASpider Disallow: / Не думаю, что стоит принимать поспешные решения. Для Diamond: я бы лично внимательно изучил причину зависания, возможно проблемы не у робота, а у сайта. |
|
![]() |
![]() |
![]() |
#5 |
Новичок
Регистрация: 16.06.2009
Сообщений: 26
Вес репутации: 0
![]() |
![]() Спасибо за информацию, буду иметь ввиду
|
![]() |
![]() |
![]() |
#7 |
Специалист
|
![]() Исходя из собственного опыта - любой обнаглевший бот роботс игнорирует в 99.99%, потом что "обнаглел", а роботс - всего лишь "просьба/рекомендация"
![]() |
![]() |
![]() |
![]() |
|
|
![]() |
||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Если мой хост лежит ... | kaxart | Вопросы по работе системы | 2 | 24.02.2009 08:12 |
Перезд сайтов на новый хост | PavelKr | Вопросы от новичков | 6 | 12.01.2009 21:44 |
Почти "контент" почти даром продам | D.iK.iJ | Деловое сотрудничество | 9 | 15.09.2008 21:22 |
Возьму к себе на хост | valiko | Курилка | 0 | 31.03.2008 23:54 |
Посоветуйте плиз хост | underground | Вопросы от новичков | 3 | 24.12.2007 10:45 |
Часовой пояс GMT +3, время: 07:05.