Старый 06.05.2009, 07:15   #1
Специалист
 
Регистрация: 05.09.2008
Сообщений: 124
Вес репутации: 193
FireWind - весьма и весьма положительная личностьFireWind - весьма и весьма положительная личность
По умолчанию Воруют контент с сайтов, размещаемых в SAPE

Не секрет, что сайты, добавляемые в SAPE подвергаются воровству контента.
Но начался форменный беспредел - какой то горе-вор использует дурацкий сканер контента - в цикле производит обход страниц. Этот цикл неверно использует относительные ссылки со страниц сайта. Например, в логах полно таких строчек /gallery/page/gallery/page/gallery/page/....
Черт с ним, с этим воровством, но траф, генерируемый этим ошибочным скриптом стоит денег.
Я уже запарился бороться с этим кадром - через 2-4 дня после добавления в сапу, приходит этот сканер и начинается - 1Gb трафа за ночь. Что за фигня - на сайте контента 2 Мб, а тут такое безобразие.

Добавлено через 19 минут
Может какое правило в .htaccess написать? типа

RewriteRule ^gallery\/page\/gallery\/(.*)$ error.php

где в error.php отдавать 1-2 символа -какая ни какая,а защита трафа будет

Последний раз редактировалось FireWind; 06.05.2009 в 07:15. Причина: Добавлено сообщение
FireWind вне форума   Ответить с цитированием
Старый 06.05.2009, 07:25   #2
Специалист
 
Регистрация: 08.08.2008
Сообщений: 422
Вес репутации: 205
smbbws - просто великолепная личностьsmbbws - просто великолепная личностьsmbbws - просто великолепная личностьsmbbws - просто великолепная личностьsmbbws - просто великолепная личностьsmbbws - просто великолепная личность
По умолчанию

если ип все время из одной и той же подсети, проще подсеть забанить.
smbbws вне форума   Ответить с цитированием
Старый 06.05.2009, 08:58   #3
Специалист
 
Аватар для спаситель сапы
 
Регистрация: 27.01.2009
Сообщений: 301
Вес репутации: 195
спаситель сапы - луч света в тёмном царствеспаситель сапы - луч света в тёмном царствеспаситель сапы - луч света в тёмном царствеспаситель сапы - луч света в тёмном царствеспаситель сапы - луч света в тёмном царстве
По умолчанию

"/gallery/page/gallery/page/gallery/page/"

Подобным образом яша с гуглом у меня пару сайтов сканили, т.к. там были ссылки относительные (вида page/), а не абсолютные (с лидирующим слешем /gallery/page/)

В итоге в индексе оказалось страниц раза в 2 более, чем на самом деле, ибо на той же /gallery/page/ ссылки сапы висят, а на /gallery/page/gallery/page/ - не висят - уже разные старницы, вот в индексе и сидят
Току толку от такого глюка нет, но устранить лень.
А падения хостов не замечал, может сайты маленькие относительно, может просто гоглояши не насилуют сервер как ваш сканер.
спаситель сапы вне форума   Ответить с цитированием
Старый 06.05.2009, 09:02   #4
фОшЫст
 
Аватар для WebFX
 
Регистрация: 10.01.2008
Адрес: Эквадор
Сообщений: 6,773
Вес репутации: 501
WebFX - прекрасное будущееWebFX - прекрасное будущееWebFX - прекрасное будущееWebFX - прекрасное будущееWebFX - прекрасное будущееWebFX - прекрасное будущееWebFX - прекрасное будущееWebFX - прекрасное будущееWebFX - прекрасное будущееWebFX - прекрасное будущееWebFX - прекрасное будущее
Отправить сообщение для WebFX с помощью ICQ
По умолчанию

FireWind, айпишнег пробейте. Иногда роботы таким балуются. Меня так МСН уже задрал давно, слава богу что траф анлим. И банить его не хочется - с него есть траф..
__________________
Скоро 2012 год. Скоро наступит апокалипсис. Страшный апокалипсис. Тупой апокалипсис. Ну вообще без мозгов апокалипсис.
WebFX вне форума   Ответить с цитированием
Старый 06.05.2009, 09:26   #5
шайтанама
 
Аватар для shadx
 
Регистрация: 13.07.2007
Сообщений: 1,700
Вес репутации: 297
shadx - прекрасное будущееshadx - прекрасное будущееshadx - прекрасное будущееshadx - прекрасное будущееshadx - прекрасное будущееshadx - прекрасное будущееshadx - прекрасное будущееshadx - прекрасное будущееshadx - прекрасное будущееshadx - прекрасное будущееshadx - прекрасное будущее
Отправить сообщение для shadx с помощью ICQ
По умолчанию

1. проверьте ссылки на сайтах .... для начала ...
2. Вычисляйте IP и UserAgent.
3. Делайте выводы
4. Действуйте.
shadx вне форума   Ответить с цитированием
Старый 06.05.2009, 09:47   #6
Специалист
 
Регистрация: 05.09.2008
Сообщений: 124
Вес репутации: 193
FireWind - весьма и весьма положительная личностьFireWind - весьма и весьма положительная личность
По умолчанию

- ссылки в скрипте вида ./gallery/page. Яндекс и Гугл по ним ходят нормально
- <base href=.... - стоит
IP и UserAgent: каждый раз разные, последние - 93.174.93.223 "Mozilla/4.75 [en]"
Сейчас вынужден в скрипте модифицировать вывод ссылок на абсолютную адресацию, но сайтов не один десяток и везде приходится менять.
Да, еще, прописал в .htaccess правила, которые выдают пустую страницу - размер отдаваемого файла 300 байт - в 50 раз меньше реальной страницы.

Спасибо за информацию.
Просто, блин, так задело меня, так, что не удержался и здесь пост создал
FireWind вне форума   Ответить с цитированием
Ответ

Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
модераторы сайтов SAPE balbeska Вопросы от новичков 8 31.03.2009 19:31
Принципы индексации сайтов by Sape terabucks Вопросы по работе системы 27 13.11.2008 21:23
Спам сайтов Sape boss-on Курилка 12 05.10.2008 00:05
Возраст сайтов в Sape mike_2002 Пожелания пользователей системы 8 17.09.2008 20:44
Кол-во размещаемых ссылок по умолчанию Fed Пожелания пользователей системы 6 04.05.2007 18:43


Часовой пояс GMT +3, время: 15:12.