Минусинск - все не так страшно.

[SergejF]

Сообщение от sni

Ну как бэ, я хожу на всякие лекции... Взять хотя бы то, что они лингвистический институт подключили чтобы:
1: отсканировать все литературные произведения на русском языке за последние 500 лет

Лингвистический институт? Чтобы сканировал? Лингвисты сканируют особо качественно?

Имхо, лекции здравомыслия не заменят.

[Mistery]

Сообщение от SergejF

Лингвистический институт? Чтобы сканировал? Лингвисты сканируют особо качественно?

Может для красного словца сказали? Лингвисты и к литературе особого отношения не имеют. Разве что только в качестве переводчиков... когда дело касается языка и тонкостей перевода... Впрочем, Яндекс от этого, скорее всего, очень далёк.

[Виталий Меньшиков]

Сообщение от sni

Взять хотя бы то, что они лингвистический институт подключили чтобы: 1: отсканировать все литературные произведения на русском языке за последние 500 лет.

Все??! Подавляющим большинством произведений на русском языке 500 (и даже 350 лет) назад были переводы церковных догматов, псалмов и так далее. Многие из них до сих пор остаются в оригинальном виде, написанные на старо-русском языке. И на фига все это Яше? Выявлять рерайт?

2: структурировали и разметили всю семантику, лемматизировали и т.п.

Вы используете термины, словно находитесь на форуме лингвистов. Надо было пояснить хотя бы. Кстати, лемматизировать (чтобы тексты были читабельными сегодня, если память меня не подводит) надо было до сканирования. А семантику я до сих пор путаю с семиотикой-металингвистикой...

Теперь у них есть эталонная закрытая база из 364млн словоупотреблений русского языка, которая постоянно пополняется и на основе которой самообучается робот. И анализируются тексты по 50+факторам, а не по тошноте-плотности-Bm25, как у сеошников многих.

Все здесь звучит как фантастика, хотя я ничего не опровергаю. Но я бы во второй раз не пошел на такой семинар - слушать похвальбу Яши самому себе, да еще в такой (чуть не написал "извращенной") форме.

[MasterV]

Прочел последние перлы и ахнул - это что, массовое помутнение рассудка или на форуме остались только такие СЕО-"специалисты"?

Сообщение от Mistery

Лингвисты и к литературе особого отношения не имеют ... Впрочем, Яндекс от этого, скорее всего, очень далёк

Лингвистика, это наука, изучающая языки.
Литература, это совокупность текстов в печатном виде, которыми располагает человечество.
Как можно изучать язык (имеется ввиду научный подход) в отрыве от литературы?

Еще в самом начале становления Яндекса Волож начал использовать программные алгоритмы учитывающие морфологию, для поиска информации в больших объемах текста.
Морфология, это один из разделов лингвистики.

Сообщение от Виталий Меньшиков

Вы используете термины, словно находитесь на форуме лингвистов

Интересно, как сейчас можно заниматься продвижением сайтов, даже не зная этих терминов?
Закупать ссылки "на автомате", используя анкоры, типа: "сланы, где купить сланов на нашем фирме лутшие сланы"?

Сообщение от SergejF

Лингвистический институт? Чтобы сканировал? Лингвисты сканируют особо качественно?
Имхо, лекции здравомыслия не заменят.

Да, у лингвистов такие же сканеры, как и у других, но не обращаться же с таким заданием в заборостроительный колледж (читать - ПТУ №10)!
Здравый смысл налицо.

Сообщение от Виталий Меньшиков

Все здесь звучит как фантастика, хотя я ничего не опровергаю

Великолепнейшая фраза! И вашим и нашим!

[sni]

Сообщение от Mistery

чему обучается робот на всём этом?.. Русскому языку и адекватному восприятию контекста?

Я в лингвистике не силен, не знаю терминологии. Но обычные самообучающиеся системы с бигдатой. Посмотрите как работает любая рекомендательная система или кластеризация.
Когда у тебя миллиард страниц и 1000 факторов с сотнями тысяч коэффициентов - вручную понять и осознать это невозможно.
Можно дававать всю эту кучу инфы - миллионы гигабайт, чтобы система переваривала и обучалась. Показать примеры где хорошие тексты, где плохие и она будет классифицировать дальше уже сама, придумывая самые неожиданные правила.
На одной из лекций лингвисты сказали (не помню яндексойды или нет) - что они сами поражались какие правила создает система:
-количество предложений, начинающихся с буква А
-процент слов заканчивающихся на -тся
-%соотношения глаголов к предлогам
-дисперсии длин слов предложений и пр.

Тоесть лучшие ученые бы не додумались никогда по таким критериям судить, а машина научилась и это работает. Вплоть до того что показать ей 100 именованных текстов и 1000 безымянных и она автоматом проставит авторов у 1000 текстов по каким-то признакам стилистическим.

Сообщение от SergejF

Лингвистический институт? Чтобы сканировал? Лингвисты сканируют особо качественно?

Ну сканировали может не они лично, Яндекс помогает.
Качество ? То что они вручную либо полуавтоматом обрабатывают каждое слово из миллионов по полусотне признаков - думаю показатель.
http://ruscorpora.ru/corpora-morph.html

Сообщение от Виталий Меньшиков

Все??! Подавляющим большинством произведений на русском языке 500 (и даже 350 лет) назад были переводы церковных догматов, псалмов и так далее. Многие из них до сих пор остаются в оригинальном виде, написанные на старо-русском языке. И на фига все это Яше? Выявлять рерайт?

Ну говорили все что нашли. Почему нет? Всякое старье - это 0,0000001% от современных текстов. Работы немного.

Сообщение от Виталий Меньшиков

Вы используете термины, словно находитесь на форуме лингвистов. Надо было пояснить хотя бы. Кстати, лемматизировать (чтобы тексты были читабельными сегодня, если память меня не подводит) надо было до сканирования. А семантику я до сих пор путаю с семиотикой-металингвистикой...

Мои познания в лингвистике минимальны тоже. Семантику знаю) Леммы - это каждый сеошник должен знать, все анализаторы текста и семантических ядер почти на них работают.

Сообщение от Виталий Меньшиков

Все здесь звучит как фантастика, хотя я ничего не опровергаю. Но я бы во второй раз не пошел на такой семинар - слушать похвальбу Яши самому себе, да еще в такой (чуть не написал "извращенной") форме.

Вы все упрощаете, думая как работает ПС.
Почитайте инсайдерские техдоки Яндекса по факторам. Там и не такое есть)) Вот пример нескольких факторов текстового ранжирования из 1000 и там все в таком роде:


70-90% всех факторов используется для ранжирования по Каждому запросу и странице.

[Losjah]

Яндекс, как известно приобрел пунто свичер, программуля такая которая конвертит текст в неправильно набранном регистре. Обновляют ее каждую неделю. А прога как занималась идиотским перекидыванием неправильным, так еще и хуже и хуже. Например набираю "Яше" она конвертит в Zie, набираю вввввв перебрасывает в ddddddd ( что есть в английском такое слово dddddddd ?? нет, так нафига конвертить? и таких примеров море. Там до понимания реального, как до луны еще.

Или в поиске, набираешь иппический жанр, он тебе исправляет в эпический, блин, ну не совсем я тупой же я сам знаю что я ищу ипический или эпический, хочешь подскажи внизу что есть и такой вариант, но нафига исправлять на автомате, на то. чего я не просил?

Я уж молчу, про всякие тонкости в вопросах какой и как, между которыми яша не чувствует разницы и т.д и т.п.

Без ссылок внешних Яша вообще, как слепой котенок выдавал бы бурду одну - это кстати видно в нч, где ссыли никто не берет. Иначе их бы уже давным давно накрыли и не учитывали.

О чем вы говорите - поиск как таковой это сейчас десятое дело для Яши, курс взят на монетизацию, опускание органики, скупку сайтов, создания своих сервисов чтобы ни осталось ни одной ниши, где не было бы самого Яши в первых рядах или скупленных сайтегов.

Скоро Яша будет поисковиком по самому себе любимому, а органика начинаться со второй странцы....

[SergejF]

Сообщение от MasterV

Да, у лингвистов такие же сканеры, как и у других, но не обращаться же с таким заданием в заборостроительный колледж (читать - ПТУ №10)!
Здравый смысл налицо.

Я лично отсканировал несколько десятков тысяч страниц, никаких лингвистических знаний для этого не требуется. Более того, для качественной работы в этой области лучше брать человека попроще.

А вот специальные сканеры для книг есть.

[Losjah]

пишу, лежа в гамаке с неудобной клавы, уж за грамматику, прошу простить)

[SergejF]

Сообщение от sni

То что они вручную либо полуавтоматом обрабатывают каждое слово из миллионов по полусотне признаков - думаю показатель.

Это уже давно сделано. Еще до компьютеров и Интернета. Знаете, есть такие книги, словари русского языка. ;-)

Собственно из бд по одному такому словарю (кажется Ожегова) Яндекс и возник.

[sni]

Сообщение от Losjah

Яндекс, как известно приобрел пунто свичер, программуля такая которая конвертит текст в неправильно набранном регистре. Обновляют ее каждую неделю. А прога как занималась идиотским перекидыванием неправильным, так еще и хуже и хуже. Например набираю "Яше" она конвертит в Zie, набираю вввввв перебрасывает в ddddddd ( что есть в английском такое слово dddddddd ?? нет, так нафига конвертить? и таких примеров море. Там до понимания реального, как до луны еще.

Или в поиске, набираешь иппический жанр, он тебе исправляет в эпический, блин, ну не совсем я тупой же я сам знаю что я ищу ипический или эпический, хочешь подскажи внизу что есть и такой вариант, но нафига исправлять на автомате, на то. чего я не просил?

Он года 3 исправлял баг когда google превращал в пoogle.
Так то Яндекс пофиг на эту конвертилку. Яндекс купил пунто, торрент трекеры, касперского и еще тысячи бесплатных прог чтобы ставить вместе с ними по умолчанию свои элементы для слежения за пользователями и их ПФ.