06.05.2009, 07:15 | #1 |
Специалист
Регистрация: 05.09.2008
Сообщений: 124
Вес репутации: 199
|
Воруют контент с сайтов, размещаемых в SAPE
Не секрет, что сайты, добавляемые в SAPE подвергаются воровству контента.
Но начался форменный беспредел - какой то горе-вор использует дурацкий сканер контента - в цикле производит обход страниц. Этот цикл неверно использует относительные ссылки со страниц сайта. Например, в логах полно таких строчек /gallery/page/gallery/page/gallery/page/.... Черт с ним, с этим воровством, но траф, генерируемый этим ошибочным скриптом стоит денег. Я уже запарился бороться с этим кадром - через 2-4 дня после добавления в сапу, приходит этот сканер и начинается - 1Gb трафа за ночь. Что за фигня - на сайте контента 2 Мб, а тут такое безобразие. Добавлено через 19 минут Может какое правило в .htaccess написать? типа RewriteRule ^gallery\/page\/gallery\/(.*)$ error.php где в error.php отдавать 1-2 символа -какая ни какая,а защита трафа будет Последний раз редактировалось FireWind; 06.05.2009 в 07:15. Причина: Добавлено сообщение |
06.05.2009, 08:58 | #3 |
Специалист
Регистрация: 27.01.2009
Сообщений: 301
Вес репутации: 201
|
"/gallery/page/gallery/page/gallery/page/"
Подобным образом яша с гуглом у меня пару сайтов сканили, т.к. там были ссылки относительные (вида page/), а не абсолютные (с лидирующим слешем /gallery/page/) В итоге в индексе оказалось страниц раза в 2 более, чем на самом деле, ибо на той же /gallery/page/ ссылки сапы висят, а на /gallery/page/gallery/page/ - не висят - уже разные старницы, вот в индексе и сидят Току толку от такого глюка нет, но устранить лень. А падения хостов не замечал, может сайты маленькие относительно, может просто гоглояши не насилуют сервер как ваш сканер. |
06.05.2009, 09:02 | #4 |
фОшЫст
|
FireWind, айпишнег пробейте. Иногда роботы таким балуются. Меня так МСН уже задрал давно, слава богу что траф анлим. И банить его не хочется - с него есть траф..
__________________
|
06.05.2009, 09:26 | #5 |
шайтанама
|
1. проверьте ссылки на сайтах .... для начала ...
2. Вычисляйте IP и UserAgent. 3. Делайте выводы 4. Действуйте.
__________________
МордоКнига |
06.05.2009, 09:47 | #6 |
Специалист
Регистрация: 05.09.2008
Сообщений: 124
Вес репутации: 199
|
- ссылки в скрипте вида ./gallery/page. Яндекс и Гугл по ним ходят нормально
- <base href=.... - стоит IP и UserAgent: каждый раз разные, последние - 93.174.93.223 "Mozilla/4.75 [en]" Сейчас вынужден в скрипте модифицировать вывод ссылок на абсолютную адресацию, но сайтов не один десяток и везде приходится менять. Да, еще, прописал в .htaccess правила, которые выдают пустую страницу - размер отдаваемого файла 300 байт - в 50 раз меньше реальной страницы. Спасибо за информацию. Просто, блин, так задело меня, так, что не удержался и здесь пост создал |
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
модераторы сайтов SAPE | balbeska | Вопросы от новичков | 8 | 31.03.2009 19:31 |
Принципы индексации сайтов by Sape | terabucks | Вопросы по работе системы | 27 | 13.11.2008 21:23 |
Спам сайтов Sape | boss-on | Курилка | 12 | 05.10.2008 00:05 |
Возраст сайтов в Sape | mike_2002 | Пожелания пользователей системы | 8 | 17.09.2008 20:44 |
Кол-во размещаемых ссылок по умолчанию | Fed | Пожелания пользователей системы | 6 | 04.05.2007 18:43 |
Часовой пояс GMT +3, время: 04:09.