Нейроинтерфейсы
4.57K subscribers
857 photos
113 videos
78 files
2.7K links
нейроинтерфейсы (aka интерфейсы мозг-компьютер, BCI, BMI) • айтрекинг, глазоуправление • нейро, когно, психофизиология, HMI • BCI-related ML & DSP • https://bci.megmoscow.ru/ и МЭГ-центр МГППУ • подробнее см. https://t.me/bci_ru/2
Download Telegram
Forwarded from 69321Vladimir Spiridonov
Факультет Психологии ИОН РАНХиГС ведет прием в очную аспирантуру по следующим научным специальностям:
Психология:
5.3.1 Общая психология, психология личности, история психологии;
5.3.4 Педагогическая психология, психодиагностика цифровых образовательных сред
5.3.5 Социальная психология
5.3.7 Возрастная психология
Когнитивные науки:
5.12.1 Междисциплинарные исследования когнитивных процессов.
Подробнее про направления:
🌱На программе «Психология» 8 бюджетных мест. Для поступления необходимо достойно сдать экзамены по Психологии и Иностранному языку.
🌱На программе «Когнитивные науки» 3 бюджетных места. Для поступления необходимо сдать экзамен по Иностранному языку и Междисциплинарным исследованиям когнитивных процессов.
Аспиранты обоих направлений проводят исследования на базе Лаборатории когнитивных исследований. Это предоставляет возможность начать карьеру научного сотрудника в коллаборации с ведущими когнитивными психологами России.

📋Список публикаций Лаборатории когнитивных исследований:
http://cogresearchlab.ru/materials/publications/
📍Условия приема в аспирантуру: https://www.ranepa.ru/podgotovka-nauchnykh-kadrov/aspirantura/
Если остались вопросы, пишите на почту — Владимиру Феликсовичу Спиридонову (vfspiridonov@gmail.com)
⚡️Следующим рубежом в развитии нейронтерфейсов для речи станет мгновенный синтез голоса - Сергей Ставиский, со-глава лаборатории нейропротезирования Калифорнийского университета в Дэвисе

На прошлой неделе лаборатория Ставиского представила нейроинтерфейс с точностью 97,5%. О другой работе его лабы мы писали здесь.

Сегодня вышло новое исследование в сфере интерфейсов мозг-компьютер(BCI) для восстановления речи. В нем говорится, что разработан новый нейропротез "мозг-голос", который напрямую синтезирует голос из нейронной активности с обратной связью в режиме реального времени.

Ставиский прокомментировал это исследование, заявив, что важным рубежом в развитии этих технологий является мгновенный синтез голоса. То есть создание системы, которая может преобразовывать сигналы мозга в речь практически без задержки, как это происходит при естественном разговоре.

Теперь о новом исследовании, которое вышло сегодня, основные моменты:

1. Разработан новый нейропротез "мозг-голос", который напрямую синтезирует голос из нейронной активности с обратной связью в режиме реального времени.

2. Система позволила человеку с боковым амиотрофическим склерозом (БАС) выразительно говорить, модулируя интонацию и даже петь мелодии через BCI.

3. Технология использует 256 микроэлектродов, имплантированных в речедвигательную кору мозга, для декодирования сигналов непосредственно в голос за 10 миллисекунд.

4. Участник эксперимента, страдающий тяжелой дизартрией (нарушением речи), может непрерывно слышать синтезированный BCI голос, пока пытается говорить, имитируя здоровый речедвигательный цикл.

5. Система декодирует не только фонемное содержание, но и паралингвистические особенности из нейронной активности, позволяя участнику модулировать интонацию синтезированного голоса в реальном времени для создания выразительной речи.

6. Участник смог выделять определенные слова в предложении, задавать вопросы и произносить утверждения с соответствующей интонацией.

7. Система способна декодировать несколько уровней высоты тона непрерывно из внутрикорковой активности, что позволило участнику "петь" короткие трехтональные мелодии.

8. Важным аспектом является возможность синтезировать собственный голос пользователя, каким он был до развития БАС, что может улучшить восстановительный эффект речевого нейропротеза.

9. Для обучения системы использовались синтетические целевые речевые сигналы, согласованные с нейронной активностью на уровне слогов, так как речь участника была неразборчивой.

10. BCI оказался гибким и универсальным, обеспечивая различные типы вокализации, такие как произнесение по буквам, междометия, выдуманные слова, имитация и самостоятельно инициированная речь без специального обучения.

11. В отличие от предыдущих работ, этот нейропротез напрямую отображает нейронную активность в акустические характеристики для синтеза голоса без промежуточных этапов, таких как текст или речевые единицы.

Исследователи рассматривают это как шаг к созданию "цифрового голосового тракта" для мгновенной, полностью выразительной речи. Это значительный прогресс в области восстановления речи для людей с тяжелыми нарушениями речи и двигательных функций.
Нейроинтерфейсы, патенты и дилетанты

На Хабре 21 августа была опубликована статья с интригующим названием "Нейроинтерфейсы: патентный анализ в России и в мире". Опубликована она в блоге некой компании, которая пишет в своем профиле, что она -- "цифровая система №1 в рейтинге Роспатента", что среди ее сотрудников 22 патентных поверенных "с большим опытом работы", и что она ежегодно подает "более 4000 российских заявок на регистрацию объектов интеллектуальной собственности".

Разумеется, посмотреть анализ российских и зарубежных патентов по нейроинтерфейсам было бы чрезвычайно интересно. Но увы...

Еще как-то можно понять (хотя и не простить) то, что статья нашпигована ошибками, которые обычно делают дилетанты, пытающиеся что-то написать на тему нейроинтерфейсов. Однако и "патентный анализ" в ней, мягко говоря, странный.

Не стоило бы рекламировать эту статью, но на нее и так наверняка будут часто натыкаться те, кому интересно найти информацию про нейроинтерфейсы и про связанные с ними патенты...

В общем, я не выдержал и сделал некоторый разбор.

1. Термин "интерфейс мозг-компьютер" используется в статье всего один раз, причем не в основном тексте, а в заключении (где он никак не объясняется и даже не говорится, что он как-то связан со словом "нейроинтерфейс"). Судя по разделу про "мировые" (на самом деле про зарубежные) патенты, авторы думают, что "нейроинтерфейс" -- это перевод термина brain-computer interface. На самом деле в русскоязычной специальной литературе основной термин -- интерфейс мозг-компьютер (ИМК), а слово "нейроинтерфейс" используется в основном в СМИ и в популярной литературе. Эта вроде бы мелкая деталь приводит к тому, что авторы даже патентный поиск в базе Роспатента ограничивают словом "нейроинтерфейс"!

В результате они находят "всего 13 патентов РФ, причем все они действующие, выданные в 2016-2024 гг". Среди этих патентов нет патентов многих авторов, в том числе ни одного из патентов на ИМК (интерфейсы мозг-компьютер) вашего покорного слуги, выданных раньше этого периода (один из них действующий, другой нет). Из приведенных в статье на Хабре 13 патентов РФ большинство -- 8 -- это патенты ООО "Лаборатория знаний", в которых слово "нейроинтерфейс" встречается исключительно в составе фразы "получают сигнал ЭЭГ от нейроинтерфейса пользователя", то есть речь идет просто об электроэнцефалографе. (На сайте компании, правда, упоминается возможность получения ЭЭГ от Muse и других подобных девайсов, однако видно, что они используются именно как энцефалографы...) Авторы делают вывод: "Безусловным лидером по патентом является ООО «Лаборатория знаний»" (орфография сохранена).

2. "История нейроинтерфейсов очень короткая, ей всего 100 лет", и уже в следующем абзаце -- "Первым нейроинтерфейсом считают устройство Stimoceiver. В 1965 году его изобрел испанский ученый Хосе Дельгадо". Не будем обсуждать некоторое несоответствие между этими утверждениями, но обратим внимание на то, что даже в недавно принятом расширенном определении интерфейса мозг-компьютер (brain-computer interface) под ним понимаются системы, по своим функциям имеющие мало общего и с электроэнцефалографом (это его изобрел Ганс Бергер 100 лет назад), и со стимулятором Дельгадо.

Главное в этом определении (его точную формулировку см. тут) -- к ИМК относятся системы, преобразующие активность мозга в специальные выходные сигналы, выполняющие некоторые функции в режиме, близком к реальному времени. ИМК могут также осуществлять воздействие на мозг, но эта функция может быть, согласно определению, лишь дополняющей основную функцию.

Надо, правда, признать, что в употреблении слова "нейроинтерфейс" (в английском точный эквивалент -- neural interface, не очень распространенный термин) есть некоторая тонкость: когда его используют специалисты, они могут понимать под ним более широкий класс технологий, чем в случае ИМК (BCI), в том числе и такие, как Stimoceiver, и еще разные способы подключения к периферическим нервам и взаимодействия с ними. Но авторы, повторюсь, используют слово "нейроинтерфейсы" просто как эквивалент BCI.
3. "На мозге человека нейроинтерфейс впервые был протестирован в 1998 году" -- с неинвазивными ИМК начали экспериментировать значительно раньше. В частности, один из самых распространенных сейчас неинвазивных ИМК, на основе волны P300 (P300 BCI), и эксперименты с ним были подробно описан еще в 1988 году (Farwell, Donchin, 1988). Первый инвазивный ИМК был "протестирован" еще Греем Уолтером в 60-х годах прошлого столетия (правда, про это есть только отрывочные сведения, но они выглядят достаточно надежными).

4. "7 основных направления практического применения интерфейсов" явно почерпнуты из СМИ, а не из качественной профессиональной литературы, и тут столько булшита, что разбирать это уже совсем неприятно, так что я прошу меня от этого уволить.

5. "Неинвазивные [нейроинтерфейсы] функционируют на основе ЭЭГ" -- это лишь наиболее распространенный сигнал, но в ИМК используют и фМРТ, и NIRS, и даже МЭГ. (Авторы еще отнесли к числу неинвазивных нейроинтерфейсов "специальные линзы на глаза для считывания электронных данных"... хотел написать "остается лишь догадываться, что это за "электронные данные"" -- но тут даже гадать не получается, можно лишь развести руками)

6. "Недоинвазивные/Малоинвазивные интерфейсы"... гугл для слова "недоинвазивные" находит только одну страницу -- вот эту самую статью на Хабре.

7. О них же: "располагаются на поверхности мозга" -- одна из самых известных сейчас малоинвазивных ИМК-технологий (компании Synchron) предполагает введение электродов в сосуды, которые могут находиться и в глубине мозга (в текущей версии используется сосуд, расположенный поверхностно, но для этой технологии и для ее отнесения к малоинвазивным это совершенно непринципиально). Критична не глубина, на которой располагаются электроды, а степень нарушения оболочек мозга и других структурных барьеров.

8. "Инвазивные вживляются в глубокие слои мозга" -- чаще всего электроды инвазивных ИМК вводятся в кору больших полушарий, которая сама по себе очень тонкая.

9. "В России активно проводятся образовательные и совещательные программы" -- что за "совещательные программы"? Гугл находит почти исключительно какие-то "совещательные программы со стороны США". Гуглопереводчик подсказывает, что это, вероятно, калька с advisory programs, но и он не объясняет, какое отношение они имеют к нейроинтерфейсам в РФ.

10. В списке вузов, где занимаются ИМК, кого только не перечисляют, но почему-то нет ни РНИМУ, ни Сколтеха, ни нашего МГППУ.

11. "Мировые патенты" (так называется один из главных разделов статьи) -- все патенты вообще-то национальные (ну разве что за исключением патентов Евросоюза, но это тоже никак не "мировые" патенты). Есть международные заявки, но не существует ни "международных", ни тем более "мировых" патентов. Мне как-то даже неудобно про это тут писать, ведь авторы представляют "цифровую систему №1 в рейтинге Роспатента"...

12. "У англоязычных специалистов принято использовать термин brain-computer interface. По этому термину Google.patents [судя по всему, имеется в виду Google Patents] выдаёт более 100 000 патентов." -- Это называется "патентный анализ"?! Действительно, если задать поиск по brain-computer interface, будет найдено "More than 100 000 results". Но тыкаем в первую же ссылку -- у меня ею оказался патент US9880644B2 -- и где там brain-computer interface? В тексте патента даже нет слова brain! Просто какие-то интерфейсы... Если задать поиск по тем же слова в кавычках -- "brain-computer interface" -- будут найдены уже всего "About 18 817 results" (те, кто разбирается в поиске, наверняка вспомнят, что реальное число патентов в обоих случаях может на самом деле быть намного более низким, но это уже детали). Но даже при использовании такого поиска можно зацепить множество патентов, в которых ИМК упоминается, например, лишь как возможный дополнительный канал подключения к какому-нибудь девайсу... Соответственно, все рассуждения авторов статьи на основе их "патентного поиска" не имеют никакого смысла.
13. В конце статьи авторы решили объяснить проблемы с эффективностью ИМК (почему-то в разделе "Заключение", хотя в основном тексте на эту тему ничего не говорилось). Объясняют они их так: "Дело в том, что для разных систем организма существуют свои резонансные частоты, играющие координирующую роль в настройке организма на оптимальное функционирование. Конкретные параметры эндогенных ритмов значительно варьируют от индивида к индивиду, но демонстрируют высокую стабильность у каждого данного человека"... -- в общем, снова no comments. Sorry.

14. "Следующий этап — управление роботами, дронами, гаджетами и прочим железом силой мысли — но это только-только исследуется и патентов на эту тему очень мало." -- no comments.

Уфф...
Через три недели после того, как Маск сказал в подкасте Лекса Фридмана об установке импланта Нейралинка второму пациенту, компания наконец выпустила официальное сообщение:

https://neuralink.com/blog/prime-study-progress-update-second-participant/
PRIME Study Progress Update — Second Participant
21.8.2024

В частности, утверждается, что удалось решить проблему ретракции нитей с электродами.

В сообщении говорится ещё о всяческих успехах второго пациента, Алекса, в использовании нейроинтерфейса. Он смог использовать нейроинтерфейс для игры в Counter-Strike 2 в сочетании с ранее использовавшимся им an assistive device called the Quadstick — a mouth operated joystick with sip-and-puff pressure sensors and a lip position sensor for clicking. Ещё он довольно неплохо освоил выполнение разных операций в CAD с помощью тех же попыток совершения движений, которые используются им при управлении курсором. Он даже спроектировал в нем подставку для зарядника к его нейроинтерфейсу. Она была распечатана на 3D принтере и с тех пор успешно используется.

Но все же пока принципиально нового в сравнении с опытом первого пациента, Ноланда, не видно.
Интересные прогнозы от экспертного сообщества о будущем расширении возможностей метода ЭЭГ

https://medicalxpress.com/news/2024-08-eeg-future-brain-years.html
Нейроинтерфейсы
Интересные прогнозы от экспертного сообщества о будущем расширении возможностей метода ЭЭГ https://medicalxpress.com/news/2024-08-eeg-future-brain-years.html
⬆️⬆️⬆️ Интересно, что три пункта с явным упоминанием BCI в хронологии прогноза оказались идущими подряд. Но их усредненное мнение экспертов ожидает довольно нескоро, более чем через 15 лет.

Я бы добавил в список ещё широкое использование подкожной ЭЭГ...

Существенное ограничение этой части опроса - нет оценки адекватности применения именно ЭЭГ для каждой из задач.

Но надо иметь в виду, что на картинке представлена лишь небольшая часть результатов опроса экспертов.

Сама статья:

Mushtaq F, Welke D, Gallagher A, Pavlov YG ... Valdes-Sosa P. One hundred years of EEG for brain and behaviour research. Nat Hum Behav, 22 August 2024 https://www.nature.com/articles/s41562-024-01941-5
Рейтинг языков программирования 2024 года от IEEE Spectrum

Первые места ожидаемо занимают Python, Java, Javascript и C++, но на пятое место среди 55 языков вышел Typescript, а Rust скоро обгонит C.

https://spectrum.ieee.org/top-programming-languages-2024
The Top Programming Languages 2024
Typescript and Rust are among the rising stars
Stephen Cass
22 Aug 2024
Агентство Рейтер выпустило довольно подробный материал о задержании Павла Дурова во Франции (правда, почти без новых подробностей о самом задержании)
За Дурова еще больше выступил Маск, а также Виталик Бутерин, Пол Грэхэм(основатель YC), но пока молчит ОАЭ.

Дуров является гражданином 4 стран:

1. ОАЭ
2. Франции
3. карибского государства Сент-Китс и Невис
4. России

Будет ли ОАЭ в лице премьер-министра, а также наследного принца Дубая пытаться вытащить своего непростого гражданина?

Сегодня арабские страны, в частности, ОАЭ играют большую роль во время геополитических конфликтов.
Forwarded from эйай ньюз
Нашел мем, высмеивающий завышенные ожидания от применения нейронок 10 лет назад. Хотя мем и забавный, важно понять не только как и почему так вышло, но и отметить, что несмотря на сохранение профессии радиолога, медицина продолжает трансформироваться под влиянием AI.

Главная причина таких ошибочных прогнозов — концентрация на бенчмарках без учёта полевых условий применения. Модели, превосходящие человека в анализе рентгеновских снимков на бенчмарках, часто оказываются менее эффективными на реальных клинических данных. Кроме того, бенчмарки не отражают всего спектра задач, с которыми сталкиваются радиологи.

Сейчас исследователи начали применять ключевой принцип стартапов — прямое общение с пользователями, в данном случае с практикующими врачами. Это позволяет внедрять AI для решения реальных проблем, таких как поиск редких патологий, которые из-за своей нечастой встречаемости могут быть не замечены обычными врачами.

Хороший пример и такого юзкейса — нейросеть, которая выявляет редкие патологии нервной системы на ранних стадиях беременности по результатам УЗИ. Идея проекта принадлежит фонду "Спина бифида", а создали нейросеть в Яндексе в сотрудничестве с врачами перинатального центра Кулакова и студентами Школы анализа данных. Несмотря на относительно небольшой процент детей с подобными патологиями, в масштабах стран речь идёт о тысячах случаев ежегодно. Раннее выявление может значительно улучшить качество жизни этих детей

Архитектурно тут всё очень просто - YOLOv10 и пара DenseNet. А основная сложность – это датасет, который размечали на основе 6 тысяч УЗИ снимков (в том числе 300 с патологиями).
Моделька открытая,плюс её можно затюнить искать дополнительные патологии или лучше понимать снимки какой-то отдельной модели УЗИ аппаратов.

На фоне шумихи вокруг LLM часто забывается, как AI уже сейчас реально улучшает жизни, и до прихода AGI (а там еще посмотрим кто кого спасать будет).

@ai_newz
Физиология развития ребенка

Всероссийская конференция с международным участием, приуроченная к 80-летию Института развития, здоровья и адаптации ребенка (долгое время был известен как Институт возрастной физиологии РАО)

14-16 ноября 2024 года
Москва

В том числе секция "Индивидуальные особенности и возрастные закономерности формирования когнитивной деятельности и ее мозговых механизмов в онтогенезе" (к 100-летию со дня рождения академика Российской академии образования Д.А. Фарбер)

Участие бесплатное

Внимание: заявку на участие надо подать через форму на сайте, а тезисы выслать по электронной почте.

Дедлайн: 15 сентября

Подробности и подача заявок: https://irzar.ru/conf-80-let-irzar/
Экспериментальный рейтинг высших учебных заведений по направлению "психология" от Интерфакса

Опубликован топ-10 список:

https://academia.interfax.ru/ru/analytics/research/13762
Рейтинг университетов по направлению "Психология"
28 августа 2024 года

Сообщается, что в рейтинг, являющийся частью проекта Национальный рейтинг университетов "Интерфакс", вошли 50 вузов. Правда, неясно, где можно посмотреть этот список и методику его составления [UPD: как нам подсказывают, существут приблизительное описание методики аналогичного прошлогоднего рейтинга]. Если судить по сообщению пресс-центра Интерфакса, методика выглядит довольно субъективной и расплывчатой. Не упоминаются ни статистика по трудоустройству, зарплате и прочим успехам выпускников, ни публикации в международных журналах (тем более в топовых), ни гранты РНФ:

Были исследованы образовательные программы 150 вузов РФ. Методика анализа включала анкетирование кураторов психологических направлений, научно-педагогических работников, студентов и выпускников. Также были изучены массивы сообщений СМИ и социальных медиа, публикаций в тематических русскоязычных научных журналах. Обработаны данные участия студентов в олимпиаде "Я – профессионал".

Но все равно приятно, что у МГППУ, к которому относится наша научная группа и МЭГ-центр, третье место, после МГУ и СПбГУ. МГППУ даже немного опередил в этом рейтинге Вышку.
Brain-Computer Interface Hackathon

"Создайте новый продукт с помощью нейроинтерфейса «мозг-компьютер»"

(На основе продуктов Neiry)

20-22 сентября 2024 года (3 дня и 2 ночи)

Москва

Прием заявок до 15 сентября

Подробности и регистрация: https://neiry.ru/bci-hack-moscow