Исследование влияния вибротактильной обратной связи и пропорциональной системы управления на пользовательский опыт пилотов протезов
Авторы: Самсонов Т. (1), Миннебаев Р. (1), Кнышенко М. (1), Лялина Т. (3), Синцов М. (4,5), Лебедев М. (2), Согоян Г. (1)
(1 — Нейроцентр, 2 — Институт искусственного интеллекта МГУ, 3 — ООО «Моторика», 4 — ООО «Исследовательский центр Моторика», 5 — Федеральный центр мозга и нейротехнологий, ФМБА)
Аннотация
В исследовании изучался новый подход к оценке пользовательского опыта пилотов протезов. В течение месяца участники пользовались модифицированным протезным устройством компании ООО «Моторика», оснащённым системой вибротактильной обратной связи (ВТОС). Оценка проводилась до и после этого периода.
Методы
• Дизайн: два повторения эксперимента (до и после длительного использования), N=10.
• Задачи: зрительно-моторная парадигма (частота и длительность взгляда на протез и объекты при манипуляциях), тест Box and Blocks (скорость выполнения), авторский опросник (15 шкал).
• Условия: с включённой стимуляцией ВТОС и без неё.
Результаты
• ВТОС не оказала значимого влияния на длительность и частоту фиксаций взгляда.
• Скорость выполнения трайлов чаще всего показывала общий эффект времени на 2 день (улучшение со временем).
• Тест Box and Blocks также не выявил эффекта стимуляции, но показал разную динамику скорости между 1 и 2 днём.
• Опросные методы выявили взаимосвязь факторов простоты обучения и социализации.
Визуально представлены графики распределения длительности взгляда (TS06, TS08), box-plot’ы времени выполнения заданий и столбчатые диаграммы результатов опросника.
Выводы
Новый подход позволил выявить ограничения вибротактильной системы в эффектах сенсоризации.
Тесты могут быть апробированы на других протезных модификациях.
Постер представлен на IX Международной конференции «Интерфейс Мозг–Компьютер 2026»
(Наука и практика), 21–22 мая 2026 года, Самара, Россия.
Авторы: Самсонов Т. (1), Миннебаев Р. (1), Кнышенко М. (1), Лялина Т. (3), Синцов М. (4,5), Лебедев М. (2), Согоян Г. (1)
(1 — Нейроцентр, 2 — Институт искусственного интеллекта МГУ, 3 — ООО «Моторика», 4 — ООО «Исследовательский центр Моторика», 5 — Федеральный центр мозга и нейротехнологий, ФМБА)
Аннотация
В исследовании изучался новый подход к оценке пользовательского опыта пилотов протезов. В течение месяца участники пользовались модифицированным протезным устройством компании ООО «Моторика», оснащённым системой вибротактильной обратной связи (ВТОС). Оценка проводилась до и после этого периода.
Методы
• Дизайн: два повторения эксперимента (до и после длительного использования), N=10.
• Задачи: зрительно-моторная парадигма (частота и длительность взгляда на протез и объекты при манипуляциях), тест Box and Blocks (скорость выполнения), авторский опросник (15 шкал).
• Условия: с включённой стимуляцией ВТОС и без неё.
Результаты
• ВТОС не оказала значимого влияния на длительность и частоту фиксаций взгляда.
• Скорость выполнения трайлов чаще всего показывала общий эффект времени на 2 день (улучшение со временем).
• Тест Box and Blocks также не выявил эффекта стимуляции, но показал разную динамику скорости между 1 и 2 днём.
• Опросные методы выявили взаимосвязь факторов простоты обучения и социализации.
Визуально представлены графики распределения длительности взгляда (TS06, TS08), box-plot’ы времени выполнения заданий и столбчатые диаграммы результатов опросника.
Выводы
Новый подход позволил выявить ограничения вибротактильной системы в эффектах сенсоризации.
Тесты могут быть апробированы на других протезных модификациях.
Постер представлен на IX Международной конференции «Интерфейс Мозг–Компьютер 2026»
(Наука и практика), 21–22 мая 2026 года, Самара, Россия.
🔥2❤1
«Декодирование жестов кисти с помощью оптомиографии и ROCKET»
Авторы: Дроздов И.Ю., Кабир М.С., Лебедев М.А., Согоян Г.А.
(Сколтех + МГУ им. М.В. Ломоносова)
Конференция: IX Международная конференция «Интерфейс мозг-компьютер: наука и практика», 21–22 мая 2026, Самара.
Аннотация
Оптомиография (OMG) — новый оптический метод регистрации мышечной активности с помощью инфракрасного излучения. Авторы показали, что носимые оптомиографические датчики на кисти в сочетании с моделью ROCKET и Dual-Axis Transformer позволяют в реальном времени с высокой точностью распознавать 7 жестов кисти.
Модели
1. ROCKET (Random Convolutional Kernel Transform)
• Работает с многомерными временными рядами
• Использует 25 случайных свёрточных ядер
• Быстрый и лёгкий: 1D-свёртки + пулинг + линейный классификатор (ridge regression)
2. Dual-Axis Transformer
• Более сложная трансформерная архитектура
• Dual-axis attention: по времени и по каналам
• Patch embedding, positional encoding с учётом расположения датчиков OMG/ЭМГ
• MLP-классификатор
Методика эксперимента
• Жесты: большой палец, флексия, экстензия, кулак, ладонь, «ОК» и др. (всего 7)
• Парадигма: 60 жестов на сессию, 9 повторений на флексию/экстензию, 6 — на остальные
• Устройство: 16 каналов OMG + 2 канала ЭМГ
• Частота: 25 Гц
• Метрика: accuracy на основе расстояния Левенштейна между реальной и декодированной последовательностью жестов в реальном времени
Результаты
• ROCKET показал очень высокую точность: до 0.9833 (средняя ~0.921 по всем испытуемым)
• Задержка декодирования ~0.36 секунды
• При смене положения датчиков точность ROCKET падает незначительно, а Dual-Axis Transformer остаётся устойчивым
• Лучшие результаты на сессиях s1, s4, s5
Выводы
1. Оптомиография — перспективная и недорогая альтернатива поверхностной ЭМГ.
2. Модель ROCKET с малым числом ядер (25) даёт отличное соотношение качество/ресурсы и подходит для реального времени.
3. Dual-Axis Transformer демонстрирует высокую устойчивость к сдвигу датчиков.
4. Технология имеет большой потенциал для управления бионическими протезами кисти.
Контакт: drozdovigor94@gmail.com
Постер демонстрирует, что сочетание оптомиографии + ROCKET — это лёгкое, быстрое и точное решение для декодирования жестов в системах brain-computer interface и протезирования.
Авторы: Дроздов И.Ю., Кабир М.С., Лебедев М.А., Согоян Г.А.
(Сколтех + МГУ им. М.В. Ломоносова)
Конференция: IX Международная конференция «Интерфейс мозг-компьютер: наука и практика», 21–22 мая 2026, Самара.
Аннотация
Оптомиография (OMG) — новый оптический метод регистрации мышечной активности с помощью инфракрасного излучения. Авторы показали, что носимые оптомиографические датчики на кисти в сочетании с моделью ROCKET и Dual-Axis Transformer позволяют в реальном времени с высокой точностью распознавать 7 жестов кисти.
Модели
1. ROCKET (Random Convolutional Kernel Transform)
• Работает с многомерными временными рядами
• Использует 25 случайных свёрточных ядер
• Быстрый и лёгкий: 1D-свёртки + пулинг + линейный классификатор (ridge regression)
2. Dual-Axis Transformer
• Более сложная трансформерная архитектура
• Dual-axis attention: по времени и по каналам
• Patch embedding, positional encoding с учётом расположения датчиков OMG/ЭМГ
• MLP-классификатор
Методика эксперимента
• Жесты: большой палец, флексия, экстензия, кулак, ладонь, «ОК» и др. (всего 7)
• Парадигма: 60 жестов на сессию, 9 повторений на флексию/экстензию, 6 — на остальные
• Устройство: 16 каналов OMG + 2 канала ЭМГ
• Частота: 25 Гц
• Метрика: accuracy на основе расстояния Левенштейна между реальной и декодированной последовательностью жестов в реальном времени
Результаты
• ROCKET показал очень высокую точность: до 0.9833 (средняя ~0.921 по всем испытуемым)
• Задержка декодирования ~0.36 секунды
• При смене положения датчиков точность ROCKET падает незначительно, а Dual-Axis Transformer остаётся устойчивым
• Лучшие результаты на сессиях s1, s4, s5
Выводы
1. Оптомиография — перспективная и недорогая альтернатива поверхностной ЭМГ.
2. Модель ROCKET с малым числом ядер (25) даёт отличное соотношение качество/ресурсы и подходит для реального времени.
3. Dual-Axis Transformer демонстрирует высокую устойчивость к сдвигу датчиков.
4. Технология имеет большой потенциал для управления бионическими протезами кисти.
Контакт: drozdovigor94@gmail.com
Постер демонстрирует, что сочетание оптомиографии + ROCKET — это лёгкое, быстрое и точное решение для декодирования жестов в системах brain-computer interface и протезирования.