Сравнение разных преобразований:

Stefan Scholl. Fourier, Gabor, Morlet or Wigner: Comparison of Time-Frequency Transforms. arXiv, 17 Jan 2021, https://doi.org/10.48550/arXiv.2101.06707

В том числе красивые картинки:

a gallery of time-frequency representations of numerous signals from different fields of applications to allow for visual comparison

ИИ - это не только ценный смех, это еще и способ вернуть возможность говорить немым пациентам.

Говорить - это доводить до озвучки свои попытки в голове что-то сказать.

Если эксперимент удастся воспроизвести на более разнообразных текстовых данных, а не только для тех, что использовались в статье, то это (мне кажется) невыносимо круто, учитывая заявленную точность в 90% и выход на 97% после дотренировки.

Если на TLDR-пальцах:
Человеку имплантировали 4 электрода, которые регистрировали его нейроактивность. За 30-минут обучили ИИ превращать эти сигналы в текст. Текст озвучили с помощью text-2-speech. Это на словарном запасе 50 слов.
Но.
Потренировали еще полтора часа и вот уже словарный запас 125 000 слов (больше чем у любого школьника) и точность 90.2 процента.

Как тут не вспомнить про пластичность мозга, который может использовать новые сигналы взамен потерянных (кохлеарные имплантанты, писал тут 1 2 3), чтобы расшифровывать их в нужный канал восприятия (слух речь).
ИИ и есть эта пластичность в данном примере.

Для гиков.
Пациенту была проведена хирургическая имплантация четырех микроэлектродных массивов в левую прецентральную извилину, которые регистрировали нейронную активность с 256 внутрикорковых электродов. Такой нейропротез, декодировал его нейронную активность, когда он пытался говорить в условиях как заданной, так и неструктурированной беседы. Декодированные слова отображались на экране, а затем озвучивались с помощью text2speech. В первый день использования системы, после 30 минут попыток обучения речи, нейропротез достиг точности 99.6% при словарном запасе в 50 слов. На второй день объем возможного словарного запаса увеличился до 125 000 слов, и после 1.4 дополнительных часов обучения нейропротез достиг точности 90.2%. При дальнейшем обучении нейропротез сохранял точность 97.5% в течение восьми месяцев после хирургической имплантации. Участник использовал нейропротез для самостоятельного общения в течение более 248 часов. У человека с ALS и тяжелой дизартрией внутрикорковый речевой нейропротез достиг уровня производительности, пригодного для восстановления естественного общения, после короткого периода обучения.

Когда Маск сделает свою иголочку доступной на уровне амбулаторного укола в голову для всех, можно будет набирать текстовые сообщения молча. Нет, общаться с chatGPT молча. А еще круче - тихие Zoom-коллы. Все сидят в наушниках и молчат.

Если вы думаете, что все это шуточки, поглядите видео:
https://www.youtube.com/watch?v=thPhBDVSxz0

Немного не по себе после просмотра.
https://pubmed.ncbi.nlm.nih.gov/38645254/

А, самое значимое, код есть на Гитхабе.

@cgevent

Очень наглядно: как мозг исцеляет сердце. По сути, на картинке прообраз медицины нового типа.

Мы видим сердца мышей спустя 15 дней после инфаркта. Те, что справа, сохранились гораздо лучше — сердечной ткани больше, фиброзной меньше. В чем дело? В том, что правым мышам ежедневно стимулировали участок мозга, дофаминовые нейроны вентральной области покрышки (VTA). Это снизило воспаление и усилило заживление в сердце. Это также повлияло на печень — она стала вырабатывать больше белка, который помогает формировать новые кровеносные сосуды в поврежденной сердечной ткани. Сердце никто не лечил, только активировали клетки в мозге.

🔗 Статья в Nature Cardiovascular Research (полный текст, через vpn)
🔗 Пресс-релиз

Конечно, мыши не люди, и об этом стоит помнить. Но основания для оптимизма есть, поскольку тут мы не упираемся в различия молекул, генов и проч. [Продолжение] 👇