Малоизвестное интересное
63.7K subscribers
88 photos
1 video
11 files
1.79K links
Авторский канал Сергея Карелова о самом важном на фронтирах науки и технологий, что кардинально изменит людей и общество в ближайшие 10 лет.




Рекламы, ВП и т.п. в канале нет.
Пишите на @karelovs
Download Telegram
Коллективный разум побеждает глубокое обучение.
Уже понятно, что компьютеры сильнее человека, даже если этот человек – чемпион мира (шахматы, го и будет много чего еще). Но каков будет результат соревнования компьютеров с коллективным человеческим разумом, - до последнего времени было не понятно. И вот первый замечательный результат – коллективный разум оказался сильней.

В опубликованном вчера исследовании «Opinion Mining From Social Media Short Texts: Does Collective Intelligence Beat Deep Learning?» попытались с помощью краудсорсинга превзойти наилучшие компьютерные результаты, достигаемые глубоким обучением в области майнинга мнений в коротких сообщениях Твиттера и Фейсбука. И авторам это удалось.
Майнинг мнений – это по сути анализ тональности (сентимент-анализ) коротких текстов - твиттов и постов. Результат анализа – понимание настроения авторов в момент написания текстов и/или их отношения к тому, о чем они написали в своих текстах.
По сути – это задача классификации текста. Её можно решать по-разному. Например (и это сегодня наиболее распространенный подход), - анализ лексикона текстов с выделением в нем эмоционально окрашенных терминов (тегов, ключевых слов), показывающих полярность настроения (типа, отличный и ужасный).
Подход, основанный на лексиконе, довольно эффективен для классификации коротких текстов на два разных класса, например, позитивные и негативные настроения. Но по мере включения новых категорий эффективность классификации резко падает. Подходы машинного обучения используют пары текстов и соответствующие метки для обучения моделей классификации.

Авторам исследования удалось эмпирически доказать, что созданные коллективным разумом толпы индексы, названные авторами «лексиконом толпы» и основанные на тэгах, выделенных коллективным разумом, могут эффективно использоваться для обучения моделей классификации настроений для коротких текстов.
Более того! Эти модели, как минимум, так же эффективны, как и модели, разработанные с помощью глубокое обучение или даже лучше.

Особенно замечательно, что масштабированием (увеличением вычислительной мощности компьютеров) ситуацию принципиально не изменить, поскольку для коллективного разума краудсорсинговой платформы нарастить число участников куда проще и дешевле.
Таким образом показано, что при решении интеллектуальных задач, в основе которых есть хотя бы минимальное извлечение смысла (типа выявление новых пар полярно эмоционально окрашенных слов), коллективный разум оказывается сильнее машинного.
Так что эволюция не ошиблась, выбрав Homo Sapience. Хоть в играх человек слабее машин, но по жизни без понимания смысла приходится туго. И здесь человеческий разум сильнее. Если не индивидуальный, так коллективный.
https://www.frontiersin.org/articles/10.3389/frobt.2018.00138/full
#Краудсорсинг #СентиментАнализ