Форум SAPE.RU

Форум SAPE.RU (http://forum.sape.ru/index.php)
-   Курилка (http://forum.sape.ru/forumdisplay.php?f=22)
-   -   Скажите, я идиот? (http://forum.sape.ru/showthread.php?t=6213)

Mendel 19.11.2007 22:49
Скажите, я идиот?
 
Сделал ошибку, не думал что поисковики меня заметят, так они из одной ссылки начали меня индексировать. Мне НЕ НУЖНО чтобы меня индексировали. Согласен даже чтобы вообще не быть ни в одном индексе лишьбы закончился этот DDoS. Уже наверное с неделю не могу Яшу угомонить. Ни одной блин страницы в индексе яндекса а его боты жрут гигабайты в день... и это продолжается дней пять минимум. Платоны молчат.

как прибить нах этих уродов?

robots.txt:
Код:
User-agent: Yandex
Disallow: /
Host: 8kb.ru

User-agent: *
Disallow: /
поменял давно, но не помогает.вырубаю сайт на сутки - потом включаю - продолжают ДДоС (яшка в основном, остальные чуток качают). Единственное что приходит в голову это менять структуру адресов или даже домен.

Вот думаю, может я чтото не так в роботах написал, и туплю не вижу?

PS: первые дни мне тоже смешно было...

allyof 19.11.2007 22:55
не читая содержания темы, но читая заголовок.


ДА :)

Smok 19.11.2007 23:05
Мне вот самому только сегодня пришлось со своим robots.txt разбиратся.
Не особо шаря, попытаюсь помочь. :)
Может стоило поменять местами?
Сначала запретить индексировать, а потом уже редирект...

Mendel 19.11.2007 23:08
Цитата:
Сообщение от Smok (Сообщение 59044)
Мне вот самому только сегодня пришлось со своим robots.txt разбиратся.
Не особо шаря, попытаюсь помочь. :)
Может стоило поменять местами?
Сначала запретить индексировать, а потом уже редирект...
в смысле редирект?
что делать сейчас кроме как покупать новый домен? :)
есть более правильный вариант роботс?

Smok 19.11.2007 23:10
Цитата:
Сообщение от Mendel (Сообщение 59046)
в смысле редирект?
что делать сейчас кроме как покупать новый домен? :)
есть более правильный вариант роботс?
Блин, дураком не хотелось выглядеть, но похоже уже поздно. :)
Почему не просто:

User-agent: *
Disallow: /

Mendel 19.11.2007 23:19
хм.. потому что сначала задачи закрывать весь сайт не ставилось, а ставилось только стремную часть закрыть... а потом переделывал то что было. Ну попробую сделать так, и открыть сайт еще на часик эксперимента ради :)

new 19.11.2007 23:20
Если ненужна индексация ботами - запретите, например через JS.

Есть JS - смотрим сайт, нет JS - идем смотреть яндекс.ру.

Тоже самое можно сделать по кукам.

Второй вариант - банить, а не запрещать роботсом.
Тут
А - узнать все IP и забанить.
Б - сделать скрытую ссылку на сайте, которая будет вести на страницу бана. (люди не попадут, а все роботы влетят и забанятся).

Mendel 19.11.2007 23:30
Цитата:
Сообщение от new (Сообщение 59052)
Если ненужна индексация ботами - запретите, например через JS.

Есть JS - смотрим сайт, нет JS - идем смотреть яндекс.ру.

Тоже самое можно сделать по кукам.
не поможет. они себе уже затарились адресами страниц на год вперед :)

Но я же их по user-agent что называется "в лицо" знаю. В основном это Яндекс урод... уже думал ему выдавать "402 Payment Required" но както это некошерно. Впрочем если еще денек такая ситуация продолжится то прийдется так и делать.

Цитата:
Сообщение от new (Сообщение 59052)
Второй вариант - банить, а не запрещать роботсом.
Тут
А - узнать все IP и забанить.
Б - сделать скрытую ссылку на сайте, которая будет вести на страницу бана. (люди не попадут, а все роботы влетят и забанятся).
Я думал об этом но к сожалению на этом хостинге у меня нет доступа к iptables а переносить на другой сервер не хочу... пусть лучше сторонний хостер разбирается с моими проблемами и держит ддос :)

Евген 19.11.2007 23:31
забань его по ip

Mendel 19.11.2007 23:41
Цитата:
Сообщение от Евген (Сообщение 59059)
забань его по ip
проект на шаредхостинге, так что скорее по User-agent ... если больше ничего не поможет то прийдется завтра так и делать.

PS: никто не знает как яша на 402 реагирует? может не играться и сразу 403? или 404?

new 19.11.2007 23:45
А что за iptables? В хакес сувать все айпишники, и будут 403 получать.

Kent 19.11.2007 23:45
помочь не могу..
а этот домен видимо комуто раньше принадлежал и уже был индексирован ЯНдексом ?

Mendel 19.11.2007 23:51
Цитата:
Сообщение от Kent (Сообщение 59070)
помочь не могу..
а этот домен видимо комуто раньше принадлежал и уже был индексирован ЯНдексом ?
нет. все мое, родное...

Цитата:
Сообщение от Mendel
Цитата:
Сообщение от Lanka
Может, Вы загнали ботов в ловушку и они у Вас там круги наматывают?
Все гораздо хуже. Мы друг друга в ловушку загнали, и они не по кругу бегают, иначе бы уже давно склейка бы меня спасла... всё гораздо ужаснее.

на сайтике был раздел - сайт глазами нашего робота.
выдача этого раздела представляла из себя контент той страницы которая анализируется, в которой изменена разметка и все ссылки включая внутренни и внешние заменены на ссылки которые ведут на тот же раздел на моем сайте только с выдачей той страницы которая должна быть по адресу ссылки. поскольку страницы качаются налету (если нет в кэше) то разные страницы не закончатся пока не будет выкачан весь интернет(ведь на каждой странице есть новые ссылки). сайт не дописан и потому есно не крутился совсем. ну я и забыл закрыть раздел в роботах. когда на прошой неделе начался шторм, я позакрывал все в роботах.... но шторм не прекращался. потом был ход яндекса - он забанел мой сайт (из индекса выпали все страницы) наверное за неуникальный контент. но при этом продолжил меня выкачивать..... через пару дней я психанул и закрыл вообще все в роботах.... но для того чтобы попросить яндекс при этом перечитать роботс.тхт нужно воспользоваться формой - удалить страницу... но она не работает ибо пишет что сайт и так не в индексе раз в два дня пишу письма Платонам.... безтолку. Вчера не выдержал и залочил сайт.

Kent 19.11.2007 23:55
просто такое бывает если старый домен всплывае .. пауки начинают его переиндексацией заниматься..

new 19.11.2007 23:56
Сначало неверно написал про <noscript> (стер уже)

echo "<noscript>";
echo "<meta http-equiv=\"refresh\" content=\"0; URL=http://yandex.ru/\">";
echo "</noscript>";
echo "А тут для людей";

Так вот должно работать. Хотя незнаю как роботы смотрят на на <noscript> В браузерах то все гут.

В ядре вставить, чтоб самым первым на любой странице выдавалось. Хост должен выдержать, даже если по 100 страниц в секунду грузить.

Mendel 19.11.2007 23:59
Цитата:
Сообщение от Kent (Сообщение 59074)
просто такое бывает если старый домен всплывае .. пауки начинают его переиндексацией заниматься..
я понял, но мой случай забавнее правда? :)
решил по два раза не повторяться - просто скопировал с другого форума... кому не скажешь все смеются :)

Mendel 20.11.2007 00:01
блин. 40 минут тишина. Одни люди заходят. Ни одного бота, даже robots.txt не качали. Даже не поймешь толи помогло толи просто дошло до них наконец что robots.txt соблюдать надо, толи просто затишье перед бурей....

Евген 20.11.2007 02:44
404 лучше всего.
402 это чего не помню?

Mendel 20.11.2007 04:54
Цитата:
Сообщение от Евген (Сообщение 59095)
404 лучше всего.
402 это чего не помню?
Ошибка - этот запрос платный, заплатите денег чтобы скачать :)

Евген 20.11.2007 06:52
прикольно, только яндекс от этого может в бешенство впасть :)

ikanik 20.11.2007 11:38
для Я возможен вариант после того как прописано в роботсе тупо сделать заявку на удаление на http://webmaster.yandex.ru/delurl.xml

просто после того как страницы проиндексированы они сразу после постановки на защиту от индексирования не удаляется. это просходит с той же скоростью что и индексация новых страниц.

Mendel 20.11.2007 15:12
Ура! Платоны отписались, ддос прекратился..... жизнь прекрасна :)

A1NX 20.11.2007 22:45
Первый раз такое слышу :)
Обычно яндекс очень быстро прекращает попытки индексации, если ему что-то не нравится.
А тут столько бездвоздмездных стараний :)))

Mendel 21.11.2007 01:50
Цитата:
Сообщение от A1NX (Сообщение 59367)
Первый раз такое слышу :)
Обычно яндекс очень быстро прекращает попытки индексации, если ему что-то не нравится.
А тут столько бездвоздмездных стараний :)))
ну, Платоны тоже не верили... запросили лог. :)

vviicc 21.11.2007 08:38
Цитата:
Сообщение от Mendel (Сообщение 59046)
в смысле редирект?
что делать сейчас кроме как покупать новый домен? :)
есть более правильный вариант роботс?
.htaccess
Код:
Order Deny,Allow
#запретить доступ YANDEX-BIGSEARCH3
Deny from 87.250.
#запретить доступ YANDEX-BIGSEARCH2 & Yandex corporate network
Deny from 213.180.
#запретить доступ непонятного робота
Deny from 189.139.45.156
Deny from 38.99.203.110
#запретить доступ робота mail.ru
Deny from 194.186.55.207

vviicc 21.11.2007 08:46
Цитата:
Сообщение от Mendel (Сообщение 59437)
ну, Платоны тоже не верили... запросили лог. :)
Ага, и мне не верили.. - три сайта по роботсу запрещены - а их бот там шорошится, а там где он нужен его фиг дождешся :)

Ruslan 21.11.2007 09:28
Цитата:
Сообщение от new (Сообщение 59052)
Б - сделать скрытую ссылку на сайте, которая будет вести на страницу бана. (люди не попадут, а все роботы влетят и забанятся).
Гениально!респект1 :) а как реализовать?:)

new 21.11.2007 15:26
Ruslan

Сделайте страницу ban.php. В которой будет определяться IP и записываться в htaccess его бан.
Но влетят все боты, и даже люди (если им кто то даст такую ссылку).

Лучше форму сделать. Обычную, как при отправке мыла. Только написать:

Я хочу в бан:

Имя:
Предсмертное послание:
ОК

Человек то не заполнит, А спамбот с радостью :) На счет яшки с гуглями незнаю.

Mendel 21.11.2007 17:36
ну уже не нужно.
проанализировал логи...
проблема была в том что боты долго не перечитывали robots.txt - как только они переччитывали его и сайт был вкючен то с этого ip шторм прекращался. принудительно я их не мог заставить перечитать ибо я видете ли не в индексе. а сами они их читают редко + ботов много и каждый должен перечитать его самостоятельно.... странные у яши кластеры хочу я вам сказать :)

Mendel 21.11.2007 17:38
Цитата:
Сообщение от vviicc (Сообщение 59466)
.htaccess
Код:
Order Deny,Allow
#запретить доступ YANDEX-BIGSEARCH3
Deny from 87.250.
#запретить доступ YANDEX-BIGSEARCH2 & Yandex corporate network
Deny from 213.180.
#запретить доступ непонятного робота
Deny from 189.139.45.156
Deny from 38.99.203.110
#запретить доступ робота mail.ru
Deny from 194.186.55.207
угу. есть такое.... както вылетело из головы что так можно банить.
привык через ядро :) (в смысле напрямую на фаэрвол).

Smok 21.11.2007 19:17
Цитата:
Сообщение от Mendel (Сообщение 59648)
странные у яши кластеры хочу я вам сказать :)
К сожалению не столько странные, сколько СТРАШНЫЕ.
:(


Часовой пояс GMT +3, время: 07:57.

Работает на vBulletin® версия 3.8.7.
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Перевод: zCarot
SAPE.RU — система купли-продажи ссылок с главных и внутренних страниц сайтов.