![]() |
#1 |
Специалист
Регистрация: 05.09.2008
Сообщений: 124
Вес репутации: 196
![]() ![]() |
![]() Не секрет, что сайты, добавляемые в SAPE подвергаются воровству контента.
Но начался форменный беспредел - какой то горе-вор использует дурацкий сканер контента - в цикле производит обход страниц. Этот цикл неверно использует относительные ссылки со страниц сайта. Например, в логах полно таких строчек /gallery/page/gallery/page/gallery/page/.... Черт с ним, с этим воровством, но траф, генерируемый этим ошибочным скриптом стоит денег. Я уже запарился бороться с этим кадром - через 2-4 дня после добавления в сапу, приходит этот сканер и начинается - 1Gb трафа за ночь. Что за фигня - на сайте контента 2 Мб, а тут такое безобразие. Добавлено через 19 минут Может какое правило в .htaccess написать? типа RewriteRule ^gallery\/page\/gallery\/(.*)$ error.php где в error.php отдавать 1-2 символа -какая ни какая,а защита трафа будет Последний раз редактировалось FireWind; 06.05.2009 в 07:15. Причина: Добавлено сообщение |
![]() |
![]() |
![]() |
#3 |
Специалист
Регистрация: 27.01.2009
Сообщений: 301
Вес репутации: 198
![]() ![]() ![]() ![]() ![]() |
![]() "/gallery/page/gallery/page/gallery/page/"
Подобным образом яша с гуглом у меня пару сайтов сканили, т.к. там были ссылки относительные (вида page/), а не абсолютные (с лидирующим слешем /gallery/page/) В итоге в индексе оказалось страниц раза в 2 более, чем на самом деле, ибо на той же /gallery/page/ ссылки сапы висят, а на /gallery/page/gallery/page/ - не висят - уже разные старницы, вот в индексе и сидят ![]() Току толку от такого глюка нет, но устранить лень. А падения хостов не замечал, может сайты маленькие относительно, может просто гоглояши не насилуют сервер как ваш сканер. |
![]() |
![]() |
![]() |
#4 |
фОшЫст
|
![]() FireWind, айпишнег пробейте. Иногда роботы таким балуются. Меня так МСН уже задрал давно, слава богу что траф анлим. И банить его не хочется - с него есть траф..
__________________
|
![]() |
![]() |
![]() |
#5 |
шайтанама
|
![]() 1. проверьте ссылки на сайтах .... для начала ...
2. Вычисляйте IP и UserAgent. 3. Делайте выводы 4. Действуйте.
__________________
МордоКнига ![]() |
![]() |
![]() |
![]() |
#6 |
Специалист
Регистрация: 05.09.2008
Сообщений: 124
Вес репутации: 196
![]() ![]() |
![]() - ссылки в скрипте вида ./gallery/page. Яндекс и Гугл по ним ходят нормально
- <base href=.... - стоит IP и UserAgent: каждый раз разные, последние - 93.174.93.223 "Mozilla/4.75 [en]" Сейчас вынужден в скрипте модифицировать вывод ссылок на абсолютную адресацию, но сайтов не один десяток и везде приходится менять. Да, еще, прописал в .htaccess правила, которые выдают пустую страницу - размер отдаваемого файла 300 байт - в 50 раз меньше реальной страницы. Спасибо за информацию. Просто, блин, так задело меня, так, что не удержался и здесь пост создал |
![]() |
![]() |
![]() |
|
|
![]() |
||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
модераторы сайтов SAPE | balbeska | Вопросы от новичков | 8 | 31.03.2009 19:31 |
Принципы индексации сайтов by Sape | terabucks | Вопросы по работе системы | 27 | 13.11.2008 21:23 |
Спам сайтов Sape | boss-on | Курилка | 12 | 05.10.2008 00:05 |
Возраст сайтов в Sape | mike_2002 | Пожелания пользователей системы | 8 | 17.09.2008 20:44 |
Кол-во размещаемых ссылок по умолчанию | Fed | Пожелания пользователей системы | 6 | 04.05.2007 18:43 |
Часовой пояс GMT +3, время: 03:20.