Вернуться   Форум SAPE.RU > Другое > Курилка

-->
Ответ
 
Опции темы
Старый 25.05.2008, 20:22   #1
Мастер
 
Аватар для Mendel
 
Регистрация: 10.07.2007
Адрес: Одесса-мама :)
Сообщений: 508
Вес репутации: 152
Mendel - очень-очень хороший человекMendel - очень-очень хороший человекMendel - очень-очень хороший человекMendel - очень-очень хороший человекMendel - очень-очень хороший человек
Отправить сообщение для Mendel с помощью ICQ
По умолчанию Новый сервис для текстов. тестируем.

Написал сервис анализа текста.
Выделение ключевых слов, определение тематики (спасибо garem за базу)
немного статистики и поиск копий в интернете...
алгоритмов поиска копий два.
первый базируется на индексе яндекса. алгоритм как правило находит только четкие дубли. это связано с тем что у яндекса слишком строгие ограничения на xml.
второй алгоритм базируется на индексе yahoo. Здесь алгоритм менее жесткий, и поэтому иногда может выдать и чтото лишнее.. однако находит значительно лучше.
Дизайна пока нет
http://max.8kb.ru
адрес временный, когда закончим тестирование я перенесу на основной домен и скажу новый адрес

Сразу скажу что термины указанные в статистике придуманы "с потолка"... если предложите лучше буду благодарен... если есть мысли что еще вы бы хотели видеть то буду рад.

Что вообще за цифры?
В осоновном работа идет со списком слов из которых были отброшены стопслова, оценочные эпитеты и прочие "водянистые слова".
Водность это процент отброшеных слов.. нормальное значение 30-60% помагает немного представить себе качество текста... лично я пользуюсь этим параметром чисто интуитивно..
Вес первой десятки это каков процент в "обезвоженных словах" занимает первые десять слов из словаря..
Срез 10/40% показывает сколько слов нужно взять чтобы получить 10/40% от обезвоженного словаря...
эти три параметры помогают понять частотное распределение ключевиков и прочего.. "правильных" цифр несуществует, для каждой задачи свои..

Чтобы было проще понять что такое "вода" с точки зрения сервиса я приведу два примера:
Пример первый:
Цитата:
Любимый мой! Я хочу сказать тебе что я люблю тебя!
Ты самое лучшее, что когдато было у меня. Я никогда не смогу сказать тебе об этом, однако это на самом деле так. Ты действительно лучший из всех. На самом деле я больше не могу без тебя. Когда ты наконец поймешь это?
Неужели я так и буду без тебя? Я так не смогу! Когда я думаю о тебе то я понимаю, что ты идеальный! Ты нужен мне. Я требую чтобы ты был моим! Ведь ты же знаешь, что только я смогу быть верной тебе. Я предлагаю тебе как можно быстрее прийти ко мне и стать моим. Я вся твоя, и я не знаю как я смогу без тебя. Мне нужен ты, и больше никто мне не нужен. Лучше меня не будет, чем я буду без тебя.
Пример второй:
Цитата:
Дьяченко Максим Игоревич.
Место жительства - город Одесса. Образование - Одесская Национальная Морская Академия. Специализация - программирование, интернет-технологии, электронная коммерция, руководство проектами. Эксцентричен, хитер, вспыльчив, коммуникабелен. Предпочитает носить одежду светлых тонов. Любвеобилен. Холост. Злоупотр****ет интернетом. Знак зодиака - весы. Интелект выше среднего. Характер тяжелый. Знание иностранных языков - английский, французский. Интересуется психологией. Чувство стиля отсутствует. Эксплуатирует чужой труд. Занудный, скучный, наглый, темпераментный.
В первом примере 100% воды, во втором 0% воды
вообще конечно словарь будет еще правиться и правиться, но обая идея думаю ясна...

PS: плиз, по больше коментов.. чем больше вы будете критиковать тем лучше я его сделаю, а вы потом будете пользоваться...
Mendel вне форума   Ответить с цитированием
Старый 25.05.2008, 21:39   #2
Мастер
 
Аватар для Trezub
 
Регистрация: 04.01.2008
Адрес: ываыва
Сообщений: 628
Вес репутации: 171
Trezub - прекрасное будущееTrezub - прекрасное будущееTrezub - прекрасное будущееTrezub - прекрасное будущееTrezub - прекрасное будущееTrezub - прекрасное будущееTrezub - прекрасное будущееTrezub - прекрасное будущееTrezub - прекрасное будущееTrezub - прекрасное будущееTrezub - прекрасное будущее
Отправить сообщение для Trezub с помощью ICQ
По умолчанию

Приятный сервис, удобный. Полагаю, в какой-то момент он перестанет быть бесплатным?

Категорию он определяет плохо. Видимо по частоте слов.
"Водность" - такого раньше не встречал. Некоторые рерайты зашкаливают за 50%
__________________
Жизнь - прекрасна, помните об этом, и напоминайте другим почаще
Trezub вне форума   Ответить с цитированием
Старый 25.05.2008, 21:50   #3
Мастер
 
Аватар для Mendel
 
Регистрация: 10.07.2007
Адрес: Одесса-мама :)
Сообщений: 508
Вес репутации: 152
Mendel - очень-очень хороший человекMendel - очень-очень хороший человекMendel - очень-очень хороший человекMendel - очень-очень хороший человекMendel - очень-очень хороший человек
Отправить сообщение для Mendel с помощью ICQ
По умолчанию

Цитата:
Сообщение от Trezub Посмотреть сообщение
Приятный сервис, удобный. Полагаю, в какой-то момент он перестанет быть бесплатным?

Категорию он определяет плохо. Видимо по частоте слов.
"Водность" - такого раньше не встречал. Некоторые рерайты зашкаливают за 50%
планирую оставить бесплатным. естественно поставив защиту от парсеров давно уже пора побывать на обратной стороне баррикад
категория действительно немного хромает, но лучше может быть только ручной перебор базы, а это несколько месяцев работы...
водность по моему опыту гдето до 55% нормально... если больше то это уже слишком обычно... но тоже не показатель.. я если честно в основном использую этот параметр для оценки сложности рерайта - если исходник сильно водный, то рерайтить будет сложно.. а на выходе больше всетаки читаю... но тоже одним глазком поглядываю..)
Mendel вне форума   Ответить с цитированием
Старый 25.05.2008, 21:52   #4
Туру-туру
 
Аватар для bla-bla-bla
 
Регистрация: 11.02.2008
Адрес: Украина
Сообщений: 1,224
Вес репутации: 173
bla-bla-bla - прекрасное будущееbla-bla-bla - прекрасное будущееbla-bla-bla - прекрасное будущееbla-bla-bla - прекрасное будущееbla-bla-bla - прекрасное будущееbla-bla-bla - прекрасное будущееbla-bla-bla - прекрасное будущееbla-bla-bla - прекрасное будущееbla-bla-bla - прекрасное будущееbla-bla-bla - прекрасное будущееbla-bla-bla - прекрасное будущее
По умолчанию

текст
Цитата:
Rusty воды в плетеных воды в то время как железо, пока оно окисляется кислородом в плавки.
В последние годы загрязнение водных источников, в том, что прогресс и водопроводной воды является сильной окисляющие зависящее для того, дополнительные инвестиции в больших количествах хлор.

Это свободный хлор окись является мощной движущей силой для дальнейшего стимулирования развития ржавчины и результаты.
Водопроводная вода в красные цвета с водой, как только вы знаете, это неправильно, но если у вас врасплох выпить небольшое количество он может иметь.

Долгосрочные чрезмерное потребление чугуна и железа сверх陥りますпродолжаться. Избыток железа в неспособности системы кровообращения, для рвоты, симптомов, таких, как кровотечение.
Использование воды для ржавый долгого времени, что может н****гоприятно сказаться.

Так что теперь, водопровод Всего Уход находится в центре внимания.
Для поддержания старение зданий и технического обслуживания, управления, в прошлом много внимания.
Но меры по сохранению объектов водоснабжения, в частности, в старении водопроводных труб из-за появления красных проблемы водных ресурсов для дешевого решения для возможного развития наибольшее внимание в прошлом году.
Длина с пробелами: 1245.
Длина без пробелов:1033.
Текст предположительно уникальный(1).
Текст предположительно уникальный(2).
Водность текста: 41%
Вес первой десятки: 27%
Срез 10%: 3 слов.
Срез 40%: 20 слов.
Словарь текста: 113 слов.
Обезвоженный словарь: 77 слов.

как узнать он уникальный?
__________________
Нормально делай - нормально будет!
bla-bla-bla вне форума   Ответить с цитированием
Старый 25.05.2008, 21:58   #5
Новичок
 
Регистрация: 27.03.2007
Адрес: 6-ая палата
Сообщений: 3,438
Вес репутации: 336
imcl - прекрасное будущееimcl - прекрасное будущееimcl - прекрасное будущееimcl - прекрасное будущееimcl - прекрасное будущееimcl - прекрасное будущееimcl - прекрасное будущееimcl - прекрасное будущееimcl - прекрасное будущееimcl - прекрасное будущееimcl - прекрасное будущее
По умолчанию

Зачет. Если оставишь бесплатным будет много почета.
__________________
Тексты для заполнения сайтов на русском - 1млн знаков = 100 баксов. Качественный контент на русском и английском от 0.1$ за 1000 зн. Обучаю бота любой теме
Готовые 100% уникальные тексты на разные темы. дешево
imcl вне форума   Ответить с цитированием
Старый 25.05.2008, 22:00   #6
Туру-туру
 
Аватар для bla-bla-bla
 
Регистрация: 11.02.2008
Адрес: Украина
Сообщений: 1,224
Вес репутации: 173
bla-bla-bla - прекрасное будущееbla-bla-bla - прекрасное будущееbla-bla-bla - прекрасное будущееbla-bla-bla - прекрасное будущееbla-bla-bla - прекрасное будущееbla-bla-bla - прекрасное будущееbla-bla-bla - прекрасное будущееbla-bla-bla - прекрасное будущееbla-bla-bla - прекрасное будущееbla-bla-bla - прекрасное будущееbla-bla-bla - прекрасное будущее
По умолчанию

а вобще можно теоритически такой же сервис сделать еще и как ICQ бот?
__________________
Нормально делай - нормально будет!
bla-bla-bla вне форума   Ответить с цитированием
Старый 25.05.2008, 22:02   #7
Мастер
 
Аватар для Mendel
 
Регистрация: 10.07.2007
Адрес: Одесса-мама :)
Сообщений: 508
Вес репутации: 152
Mendel - очень-очень хороший человекMendel - очень-очень хороший человекMendel - очень-очень хороший человекMendel - очень-очень хороший человекMendel - очень-очень хороший человек
Отправить сообщение для Mendel с помощью ICQ
По умолчанию

Цитата:
Сообщение от bla-bla-bla Посмотреть сообщение
...
Текст предположительно уникальный(1).
Текст предположительно уникальный(2).
...
как узнать он уникальный?
ну раз оба алгоритма ничего не нашли значит уникальный.. разве что он есть только в гугле, или я чтото не учел...
хотя если речь идет о тексте приведенном в цитате то по копискайпу он тоже пока уникален... пока топик не проиндексируется ))
хотя всетаки сервис немного не для доров...
Mendel вне форума   Ответить с цитированием
Старый 25.05.2008, 22:02   #8
Мастер
 
Аватар для Kaif
 
Регистрация: 12.03.2007
Адрес: Новосибирск
Сообщений: 999
Вес репутации: 201
Kaif - прекрасное будущееKaif - прекрасное будущееKaif - прекрасное будущееKaif - прекрасное будущееKaif - прекрасное будущееKaif - прекрасное будущееKaif - прекрасное будущееKaif - прекрасное будущееKaif - прекрасное будущееKaif - прекрасное будущееKaif - прекрасное будущее
Отправить сообщение для Kaif с помощью ICQ
По умолчанию

Дизайна не надо и так хорошо ) просто )

Пожелание: сделай так, что когда анализ уже прошел, сайты с дублями текстов открывались в новом окне.
Kaif вне форума   Ответить с цитированием
Старый 25.05.2008, 22:05   #9
Мастер
 
Аватар для Mendel
 
Регистрация: 10.07.2007
Адрес: Одесса-мама :)
Сообщений: 508
Вес репутации: 152
Mendel - очень-очень хороший человекMendel - очень-очень хороший человекMendel - очень-очень хороший человекMendel - очень-очень хороший человекMendel - очень-очень хороший человек
Отправить сообщение для Mendel с помощью ICQ
По умолчанию

Цитата:
Сообщение от imcl Посмотреть сообщение
Зачет. Если оставишь бесплатным будет много почета.
оставлю. только на другом домене. из платных есть копискейп..
Цитата:
Сообщение от bla-bla-bla Посмотреть сообщение
а вобще можно теоритически такой же сервис сделать еще и как ICQ бот?
теоретически да... а практически - в icq рекламу не впихнешь, а лимиты жрать будет. бот дело не хитрое, а вот ресурсы (в виде тех же лимитов яндекса) стоят денег.. да и ограничение по количеству символов в сообщении аси делают затею не очень удачной...
Mendel вне форума   Ответить с цитированием
Старый 25.05.2008, 22:05   #10
Мастер
 
Аватар для Trezub
 
Регистрация: 04.01.2008
Адрес: ываыва
Сообщений: 628
Вес репутации: 171
Trezub - прекрасное будущееTrezub - прекрасное будущееTrezub - прекрасное будущееTrezub - прекрасное будущееTrezub - прекрасное будущееTrezub - прекрасное будущееTrezub - прекрасное будущееTrezub - прекрасное будущееTrezub - прекрасное будущееTrezub - прекрасное будущееTrezub - прекрасное будущее
Отправить сообщение для Trezub с помощью ICQ
По умолчанию

Я думаю экономически это даже целесообразнее для наших, словянских, подходов. Например, подобным, бесплатным, сервисом я скорее всего буду пользоваться.

А платным не буду И так все остальные. Так что выгоднее придумать грамотную монетизацию, может быть повесить какой-нибудь баннер с оплатой по показам. И оставить бесплатным.

Только защиту от парсеров не надо делать так, чтобы каждый раз вводить капчу надо было)
__________________
Жизнь - прекрасна, помните об этом, и напоминайте другим почаще
Trezub вне форума   Ответить с цитированием
Ответ

Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Как вам новый сервис от Мелкософта?) Ufaweb Курилка 6 14.10.2009 19:07
Новый поиск от Яндекса. Тестируем? Александр Блохин Яндекс 18 16.04.2008 13:27
Сервис перевода текстов mbmarket Курилка 6 12.04.2008 22:49
Новый сервис :Причина поднятия цены Pilotus Пожелания пользователей системы 22 24.03.2008 18:31
бэклинки и др. Новый сервис для оптимизаторов Белое Безмозглое Яндекс 1 26.10.2007 11:10


Часовой пояс GMT +3, время: 13:15.