Старый 28.05.2009, 02:08   #1
Мастер
 
Аватар для Diamond
 
Регистрация: 15.11.2007
Адрес: ∼∼BlackSea∼∼
Сообщений: 586
Вес репутации: 220
Diamond - просто великолепная личностьDiamond - просто великолепная личностьDiamond - просто великолепная личностьDiamond - просто великолепная личностьDiamond - просто великолепная личностьDiamond - просто великолепная личностьDiamond - просто великолепная личностьDiamond - просто великолепная личность
По умолчанию METASpider почти завалил хост

Бойтесь этого гада от Meta.ua
Посмотрел логи - офигел - почти сутки сидел на многостраничнике и издевался... Хорошо хостер маякнул..
Пришлось править robots.txt для этого уродца.
__________________
Рекомендую VPS.
Diamond вне форума   Ответить с цитированием
Старый 10.06.2009, 14:22   #2
Новичок
 
Регистрация: 03.12.2008
Сообщений: 32
Вес репутации: 0
lincolndsp может только надеяться на улучшение
По умолчанию

расскажи плиз, как прописал в robots.txt, чтобы спайдер МЕТА не лазил по сайту?
lincolndsp вне форума   Ответить с цитированием
Старый 14.06.2009, 01:40   #3
Специалист
 
Аватар для Emperor
 
Регистрация: 09.07.2008
Адрес: NET
Сообщений: 243
Вес репутации: 198
Emperor - весьма и весьма положительная личностьEmperor - весьма и весьма положительная личностьEmperor - весьма и весьма положительная личность
Отправить сообщение для Emperor с помощью ICQ Отправить сообщение для Emperor с помощью AIM Отправить сообщение для Emperor с помощью MSN Отправить сообщение для Emperor с помощью Yahoo
По умолчанию

Цитата:
Сообщение от lincolndsp Посмотреть сообщение
расскажи плиз, как прописал в robots.txt, чтобы спайдер МЕТА не лазил по сайту?
User-agent: имя спайдера
Disallow: / # блокирует доступ ко всему сайту

Пример
User-agent: METASpider
Disallow: /

Не думаю, что стоит принимать поспешные решения.

Для Diamond: я бы лично внимательно изучил причину зависания, возможно проблемы не у робота, а у сайта.
Emperor вне форума   Ответить с цитированием
Старый 21.06.2009, 00:26   #4
Новичок
 
Аватар для (m@rt
 
Регистрация: 17.06.2009
Сообщений: 8
Вес репутации: 0
(m@rt на пути к лучшему
По умолчанию

спасибо за инфу, будем иметь ввиду.
(m@rt вне форума   Ответить с цитированием
Старый 22.06.2009, 18:10   #5
Новичок
 
Аватар для EmperorTigr
 
Регистрация: 16.06.2009
Сообщений: 26
Вес репутации: 0
EmperorTigr на пути к лучшему
По умолчанию

Цитата:
Сообщение от Emperor Посмотреть сообщение
User-agent: имя спайдера
Disallow: / # блокирует доступ ко всему сайту

Пример
User-agent: METASpider
Disallow: /

Не думаю, что стоит принимать поспешные решения.

Для Diamond: я бы лично внимательно изучил причину зависания, возможно проблемы не у робота, а у сайта.
Спасибо за информацию, буду иметь ввиду
EmperorTigr вне форума   Ответить с цитированием
Старый 15.10.2009, 09:50   #6
Новичок
 
Аватар для hamiak
 
Регистрация: 31.12.2008
Сообщений: 2
Вес репутации: 0
hamiak на пути к лучшему
Отправить сообщение для hamiak с помощью ICQ
По умолчанию

а так не пробовали сделать
120 это время в секундах вроде, время между запросами для любого робота!
User-agent: METASpider
Crawl-delay: 120
hamiak вне форума   Ответить с цитированием
Старый 15.10.2009, 11:27   #7
Специалист
 
Аватар для DiAksID
 
Регистрация: 02.08.2008
Сообщений: 304
Вес репутации: 205
DiAksID - просто великолепная личностьDiAksID - просто великолепная личностьDiAksID - просто великолепная личностьDiAksID - просто великолепная личностьDiAksID - просто великолепная личностьDiAksID - просто великолепная личностьDiAksID - просто великолепная личность
Отправить сообщение для DiAksID с помощью ICQ
По умолчанию

Исходя из собственного опыта - любой обнаглевший бот роботс игнорирует в 99.99%, потом что "обнаглел", а роботс - всего лишь "просьба/рекомендация" . остаётся только по юзерагенту отлавливать и кислород перекрывать...
DiAksID вне форума   Ответить с цитированием
Старый 15.10.2009, 22:19   #8
Специалист
 
Аватар для mobilniku
 
Регистрация: 19.03.2008
Сообщений: 193
Вес репутации: 202
mobilniku - как роза среди колючекmobilniku - как роза среди колючекmobilniku - как роза среди колючекmobilniku - как роза среди колючек
По умолчанию

METASpider! Меня прикалывают пять последних букв...
mobilniku вне форума   Ответить с цитированием
Ответ

Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Если мой хост лежит ... kaxart Вопросы по работе системы 2 24.02.2009 08:12
Перезд сайтов на новый хост PavelKr Вопросы от новичков 6 12.01.2009 21:44
Почти "контент" почти даром продам D.iK.iJ Деловое сотрудничество 9 15.09.2008 21:22
Возьму к себе на хост valiko Курилка 0 31.03.2008 23:54
Посоветуйте плиз хост underground Вопросы от новичков 3 24.12.2007 10:45


Часовой пояс GMT +3, время: 20:42.