Ученые научили компьютер понимать нашу речь без имплантов в мозг

Представьте, что вы надели шлем, который записывает активность вашего мозга, пока вы слушаете чью-то речь. Оказывается, по этим данным можно понять, что именно вы слышите, и расшифровать сказанные слова и фразы!

Такой метод разработали исследователи из компании Meta. Их нейросеть проанализировала записи мозговой активности добровольцев и научилась угадывать, какие отрывки речи они слушали. Причем это возможно даже для незнакомых фраз, которых не было в обучающих данных! Самое крутое что и датасет и код выложены в открытый доступ.

Это открытие важно, потому что раньше расшифровать речь по мозговым сигналам получалось только с помощью имплантов непосредственно в мозг. А неинвазивные методы вроде ЭЭГ-шлемов давали очень приблизительный результат.

Новый подход сделает технологии распознавания речи по активности мозга безопаснее и доступнее для пациентов. А в Метаверсе он поможет устройствам точнее понимать команды и желания пользователей, "читая" сигналы их мозга. Так что скоро с умными очками или шлемами виртуальной реальности мы сможем общаться, просто "думая вслух"!

📎 Статья
🧠 Код