the last neural cell
1.14K subscribers
91 photos
8 videos
14 files
116 links
we write about BCI, AI and brain research.

authors:
@kovalev_alvi - visual neural interfaces - UMH, Spain | CEO of ALVI Labs
@Altime - comp neuro phd @ GTC Tübingen

Our chat: @neural_cell_chat
Download Telegram
🍓Introducing OpenAI o1-preview

A new series of reasoning models for solving hard problems.

Blogpost
Очень наглядно: как мозг исцеляет сердце. По сути, на картинке прообраз медицины нового типа.

Мы видим сердца мышей спустя 15 дней после инфаркта. Те, что справа, сохранились гораздо лучше — сердечной ткани больше, фиброзной меньше. В чем дело? В том, что правым мышам ежедневно стимулировали участок мозга, дофаминовые нейроны вентральной области покрышки (VTA). Это снизило воспаление и усилило заживление в сердце. Это также повлияло на печень — она стала вырабатывать больше белка, который помогает формировать новые кровеносные сосуды в поврежденной сердечной ткани. Сердце никто не лечил, только активировали клетки в мозге.

🔗 Статья в Nature Cardiovascular Research (полный текст, через vpn)
🔗 Пресс-релиз

Конечно, мыши не люди, и об этом стоит помнить. Но основания для оптимизма есть, поскольку тут мы не упираемся в различия молекул, генов и проч. [Продолжение] 👇
10🤔4
Meta Connect 24

Мне понравился их новый прототип крутых очков. Orion with holographic AR.

Если коротко, сделали шаг в сторону того, чтобы засунуть quest в очки!

Сделали новый способ проекции на линзы. Работает без проводов и около 100 гр.

Также показали что этим можно будет управлять голосом, hand and eye tracking и muscle interface(ctrl labs armband).

Ждем, выглядит очень многообещающе!

p.s. все движется в сторону очков, потому что носить нечто большое на голове люди очевидно не хотят каждый день.
👍62🔥1
Мозг и его скорости
#neuroscience

Публикация: Senkowski, D., & Engel, A. K. (2024). Multi-timescale neural dynamics for multisensory integration. Nature Reviews Neuroscience, 1-18.

Наш мозг обрабатывает информацию, поступающую от разных органов чувств. Эта обработка не осуществляется изолированно: например, мы лучше понимаем речь (слуховая модальность), если наблюдаем за движением губ собеседника (зрительная модальность), и т. д. Объединение процессов такой обработки называется мультисенсорной интеграцией. Недавно в “Nature Reviews Neuroscience” появилась статья про её нейрональные механизмы.

Важной особенностью этого процесса является то, что он осуществляется на разных временных масштабах. Упрощённо: базовая сенсорная обработка происходит на небольших временных масштабах, а высокоуровневые процессы — на более длительных.

Что определяет эти временные масштабы? Синхронная активность нейронов в разных частотных диапазонах — ритмы мозга или осцилляции. Они задействуются в следующих сценариях.

Модуляция амплитуды. Мультисенсорная интеграция сопровождается изменениями в мощности ритмов. Например, была установлена связь быстрой обработки мультисенсорных стимулов с мощностью гамма-ритма, а более сложных процессов (например, аудиовизуальной обработки речи) — с низкими частотами. Впрочем, это не означает, что иерархия мультисенсорной обработки линейно опирается на частоту таким образом, что высокие частоты связаны исключительно с простейшей сенсорной обработкой. Важно обращать внимание на то, какие области мозга генерируют эти ритмы: например, мультисенсорная интеграция может модулировать высокочастотные ритмы не только в сенсорных областях, но и в ассоциативных.

Фазовый сброс (Phase resetting). Предъявление стимула в одной модальности может “обнулить” фазу осцилляций, отвечающих за процессы уже в другой модальности. Например, предъявление тактильного стимула обезьяне может приводить к сбросу фазы осцилляций в широком диапазоне частот (от 1 до 100 Гц) в слуховой коре, причем меньше чем через 100 мс после предъявления стимула. Этот механизм упреждающе может облегчать дальнейшую интеграцию предъявленного стимула в обработку уже другими системами.

Ритмическая привязка (Entrainment). Стимуляция одной сенсорной системы на заданной частоте может индуцировать соответствующие осцилляции в другой системе. В частности, если предъявлять звуковые стимулы с частотой 3 Гц, можно наблюдать осцилляторную активность на этой же частоте в зрительной коре. А при предъявлении двух конкурирующих звуковых потоков целевые звуковые стимулы распознаются легче, если предъявлять зрительные стимулы, не относящиеся к задаче, но по временной динамике соотносимые с целевыми звуками.

Функциональная связность. (Functional coupling). Осцилляции из функционально различных областей могут синхронизоваться на уровне фаз или огибающих. Например, синхронизация бета-ритма между височными и лобно-теменными областями наблюдается при эффекте Мак-Гурка (если вы не знакомы с этим эффектом, можете пройти по ссылке и мультисенсорно забыться). Важно также, что связность может устанавливаться и между разными ритмами: например, медленные осцилляции могут модулировать высокие.

Указанные выше механизмы касаются обработки уже предъявленного стимула. Но важно не забывать и про спонтанную активность незадолго до предъявления стимула. В частности, повышенная мощность спонтанного бета-ритма может предсказывать степень выраженности иллюзии Мак-Гурка, т. е. и предрасположенность к мультисенсорной интеграции в целом.

Также следует отметить, что в мозге имеют место процессы, не привязанные к временному масштабу (scale-free dynamics). Они не задействуют фиксированные частоты и не регулярны. Эту динамику связывают с состоянием критичности, в котором физическая система (мозг) наиболее подвержена изменениям во внешней среде. Соответственно, эти процессы могут влиять на то, с какой лёгкостью происходят ранее описанные фазовые сбросы или ритмические привязки, а также гибкость мультисенсорной интеграции в целом. Но это требует отдельных исследований.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3
MEG/EEG Bloopers. Part 2
#neuroimaging

Продолжаю серию пасхалок из анализа сигналов мозга. Активность, регистрируемая с помощью МЭГ и ЭЭГ, представлена ритмическими осцилляциями. Один из стандартных способов оценить, насколько те или иные ритмы выражены, это вычисление спектральной плотности мощности. Характерный спектр МЭГ/ЭЭГ (см. рис. А), представлен несколькими диапазонами частот, наиболее мощный из которых соответствует альфа-ритму (8-12 Гц). Именно его рост мы наблюдаем при закрытии глаз.

Также во многие процессы вовлекается более высокочастотный бета-ритм (12-30 Гц): его связывают с сенсомоторными задачами, вниманием, рабочей памятью и т. д. И в анализе этого ритма может крыться подвох!

Дело в том, что бета может оказаться гармоникой, порождённой альфа-ритмом. Обратимся к примеру. Смоделировав простую синусоиду в альфа-диапазоне на 10 Гц, я получаю характерный пик в спектре на 10 Гц (С). Добавив к этой синусоиде нелинейную компоненту за счёт прибавления квадрата этой синусоиды с небольшим коэффициентом, на спектре можно заметить дополнительный гармонический пик на 20 Гц (D) — а это уже бета-ритм! Похожий пик можно получить и при моделировании синусоиды непосредственно в бета-диапазоне (E).

Вклад гармоник от альфы в оценку бета-ритма, увы, не умозрительный конструкт. Во-первых, каноничный сенсомоторный мю-ритм, который по частотному диапазону соответствует альфе, обладает не синусоидальной, а аркообразной формой. И очень часто ему сопутствуют гармоники в бете. Во-вторых, стандартная затылочная альфа тоже от этого не застрахована. На графике (B) представлен спектр ЭЭГ одного человека в состоянии закрытых глаз. Наряду с пиком в альфа-ритме наблюдается пик и в бете, зависящий от выраженности альфы. Анализ этого феномена более подробно представлен в этой статье (как и некоторые полезные эвристики).

Возникает вопрос — что с этим делать?
➡️ Не ограничивать себя анализом в частотном домене: существуют дополнительные способы оценки осцилляторной активности, в т. ч. и во временном домене с выделением отдельных всплесков осцилляций и оценкой их дополнительных характеристик.
➡️ При частотном анализе учитывать отношение высоких частот к низким, смотреть на поведение спектра в целом, не изолируя отдельные частотные диапазоны.
➡️ Внимательно оценивать центральные частоты в пиках спектра: если центральная частота одного из пиков кратна центральной частоте пика в более низких диапазонах, это повод задуматься о присутствии гармоник.
➡️ Учитывать пространственные характеристики осцилляций: бета-осцилляции с максимумом мощности в затылке — это подозрительно (хотя в редких случаях и присутствие истинных бета-осцилляций в этих регионах не исключено).
➡️ Не использовать синусоиды как базисные функции для спектрального разложения (как это происходит в стандартном Фурье-анализе). Альтернативный вариант — преобразование Гильберта-Хуанга на основе метода EMD. Это преобразование основано на разложении сигнала на эмпирические моды, выделяемые непосредственно из данных. Как видно из моих модельных графиков (F), для нелинейного альфа-ритма это преобразование не выделяет пик в бете. Однако точность разложения зависит от специфики выделения мод, в т. ч. их количества. В представленном примере с разложением на две моды пик находится чуть ниже 10 Гц. Оставляю ссылку на пакет, в котором упомянутое разложение реализовано.
Please open Telegram to view this post
VIEW IN TELEGRAM
4
Делитесь идеями с коллегами 1 на 1!

Кстати, много раз замечал что брейншторм в больших командах почти никогда не работает.

Ещё я все чаще начал использовать Клода для валидации идей.

Как вы разгоняете идеи?
5👍3🔥1
Forwarded from Нейроинтерфейсы (Sergei Shishkin)
BCI Award 2024 Winners

1st Place:

Synthetic touch for brain-controlled bionic hands: tactile edges and motion via patterned microstimulation of the human somatosensory cortex
Giacomo Valle, Ali H. Alamri, John E. Downey ... Robert A. Gaunt, Charles M. Greenspon, Sliman J. Bensmaia
University of Chicago, University of Pittsburgh, Northwestern University, Shirley Ryan Ability Lab

2nd Place:

A brain to spinal cord digital bridge to restore voluntary arm and hand movements after a spinal cord injury
Thibault Collin, Icare Sakr, Valeria Spagnolo ... Jocelyne Bloch, Grégoire Courtine, Henri Lorach
EPFL, Lausanne University Hospital, University of Lausanne, ONWARD Medical, Clinatec

3rd Place:

Brain-controlled augmented hearing for spatially moving conversations in multi-talker environments
Vishal Choudhari, Cong Han, Stephan Bickel, Ashesh D. Mehta, Catherine Schevon, Guy M. McKhann, Nima Mesgarani
Columbia University, Hofstra Northwell School of Medicine, The Feinstein Institutes for Medical Research
👍4🔥2
tasty neuro papers | september 2024

decoding.

SPARKS: A Biologically Inspired Neural Attention Model for the Analysis of Sequential Spiking Patterns
what: VAE with interpretable latent for spike recording.
- the model learns to generate accurate predictions from neural data.
- good paper and visualization.

BrainWave: A Brain Signal Foundation Model for Clinical Applications
what: the first foundation model for both invasive and noninvasive neural recordings
- 40,000 hours of electrical brain recordings from almost 16,000 subjects.
- works better than specialized model.
- data is all you need.

interesting.

The state of clinical trials of implantable brain–computer interfaces
what: review of the most interesting BCI labs

Graphene-based microelectrodes with bidirectional functionality for next-generation retinal electronic interfaces
what: use promising materials for electrodes.
🔥51👍1
Extracting the oscillatory features of local field potentials using neural networks.

I'm happy to tell you about my poster from SfN 24.

What: we force autoencoder(AE) to learn meaningful components from LFP signals.

How it works
We implement periodic regularization module.
- decompose LFP on components via encoder.
- apply sinusoidal approximation for each component (torch.fft)
- push our latents to be similar with approximation and independent from each other
- random weighted average of latents and sinusoidal go to decoder.

Architecture.
AE with resconv layers and periodic regularization for latent space.

Our losses:
- reconstruction loss. MSE loss
- tv loss to force latens to be smooth
- maximizing cosine similarity betwen latents and sinusoidals.
- minimize cross corr of latents.

My thoughts
We've got some frequency decomposition not for input data but for some nonlinear features of the input data. That's the most interesting part, in my view.

For sure, it requires improvements. Model needs to use context information about sessions and electrodes. Also, it should work with all electrodes at once, so we could reduce dimensionality.

p.s. like this post and comment, if you want to see code,
🔥7❤‍🔥43
kovalev-sfn-final.pdf
5.5 MB
Extracting the oscillatory features of local field potentials using neural networks.

Full size pdf.
Мини история

Хочу рассказать о том, как я вместе с Utah сделал постер для SfN 24 in Chicago, но в Америку так и не уехал.

Ссылка на постер

Предыстория. Весной я получил неожиданный оффер от Utah University на PhD researcher от Neda Nategh. Я принял оффер и уже в мае мы подумали, что будет круто начать что-то делать до учебы(август). Поэтому сразу подали абстракт на SfN 24(крупнейшая конфа по нейронаукам).

Сразу скажу, что это крутая мотивация не бросить проект, когда ты загружаешь абстракт лишь с намётками будущей работы.

Для меня эта отличная возможность сразу въехать в тему и познакомиться с крутыми людьми на конфе. В общем, кайф подумал я, ведь раньше очно на таких конфах не был.

Контекст работы. Моя научница давно занимается computational neuroscience. Они смотрит как кодируется информация у обезьян в визуальной коре(и не только).
Она сторонница того, что одного firing rate недостаточно, чтобы кодировать всю информацию. Существуют ещё механизмы, например phase coding.
По простому, нам важно не только как часто нейрон спайкует, но и то когда эти спайки происходят относительно какого-то общего сигнала(референс). Phase coding показывает когда нейрон активировался относительно референса (в какую фазу этого сигнала).

В общем, надо бы научиться извлекать этот периодический сигнал (рефересный) из LFP. Здесь не очень хорошо работают стандартные frequency decomposition из-за разных источников и шумов.

Вот бы модель сама научилась извлекать классные периодические компоненты. И мы на них ещё phase coding протестируем.

Ресерч.

Ну я и погнал смотреть что же у нас в дип лернинге подходит для этого.

Надо разделить 1d сигнал на N компонент при этом сохранив временное разрешение.
То есть (1, Time) -> (N, Time).

Первое что приходит в голову. Давайте обучим автоэнкодер. Будем пропускать через encoder decoder, восстанавливая исходный сигнал.

Очевидно, что лоб ничего не выйдет, твои компоненты будут повторять входной сигнал. Можно добавить разный шум ко входному сигналу и восстанавливать исходный сигнал. В моем случае не сработало, мои компоненты были похоже на сглаженных исходный сигнал. Всякие sparse регуляризации тоже не дали желаемого.

Про deep phase. Случайно наткнулся на deep phase и понеслось. Ссылка на пост

Коротко, они добавили sinusoidal approximation для компонент и использовали эти синусоиды как вход в декодер.
В результате у них всегда периодический сигнал и они могут извлекать фазовую информацию. Результаты выглядят круто.

Я попробовал сделать также, вышло прикольно но реконструкция прямо сильно хромала. Плюс было тяжело достичь временной связности.

Поэтому я решил на основе этой идеи реализовать регуляризацию То есть напрямую заставлять наши latents быть похожими на синусоиды. И в декодер подавать не только синусоида а взвешенное среднее синусоид и латенты.

Тем самым энкодер возвращает latents похожие на синусоиды. Затем во время теста часть с аппроксимацией можно было бы убрать.

Результат Стало работать. Сигнал восстанавливается, компоненты похожи на периодические и разные. Получилось интересно, но пока что сыровато.

Про америку. В июне меня отправили на админ проверку, задав всего пару вопросов в сербском консульстве. С того момента тишина. Поэтому в Америку я не поехал и PhD я так и не начал. Зато прикольный постер получился. Тоже неплохо.


p.s.
Напишите коммент, если понравился формат.
50👍22🔥4
В свежем Science про потенциал ‘биогибридной медицины’ — идею лечить болезни, имплантируя в пациентов клетки, производящие лекарство, вместе с биоэлектроникой, которая будет эти клетки контролировать.

Ровно под эту идею агентство ARPA-H год назад запустило программу REACT (What if your body could make its own medicine?), а в этом месяце объявило четыре команды из Mayo Clinic, Carnegie Mellon и Columbia, которые получат финансирование на разработку технологии.

Это как дополнение к недавнему посту. Подход “клетки как лекарства” будет набирать силу, так как появляются все более точные инструменты для контроля клеток in vivo. И все больше ученых работают над этой стратегией.
👍5🔥2
tasty transformer papers - september 2024

Emu3: Next-Token Prediction is All You Need
what: one transformer-decoder to generate videos.
- use vqvae to tokenize images.
- Also, [EOL] and [EOF] are inserted into the vision tokens to denote line breaks and frame
- training sample:
[BOS] {caption text} [SOV] {meta text} [SOT] {vision tokens} [EOV] [EOS].


Mini-Omni: Language Models Can Hear, Talk While Thinking in Streaming
what: mini-Omni is the first fully end-to-end, open-source model for real-time speech interaction
- parallel decoding: 8 tokens [t-1] -> 8 tokens [t]
- audio response as fast as text generation.

Were RNNs All We Needed?
what: do not care a lot about architecture. they seems work similar.
- make rnn faster and see that performance is similar.


my thoughts
- data is key in model training. whether you're using transformers, rnns, next-token prediction, or diffusion models is becoming less important.
- predicting text and audio in parallel is promising for next-gen brain-computer interfaces.
- focus less on architecture and more on the quality of data and the objectives you want to optimize.

#digest
👍52
Раз мы по видео пошли, свежего Лекуна вам в ленту

Lecture Series in AI: “How Could Machines Reach Human-Level Intelligence?”
https://www.youtube.com/watch?v=xL6Y0dpXEwc

Animals and humans understand the physical world, have common sense, possess a persistent memory, can reason, and can plan complex sequences of subgoals and actions. These essential characteristics of intelligent behavior are still beyond the capabilities of today's most powerful AI architectures, such as Auto-Regressive LLMs.

I will present a cognitive architecture that may constitute a path towards human-level AI. The centerpiece of the architecture is a predictive world model that allows the system to predict the consequences of its actions. and to plan sequences of actions that that fulfill a set of objectives. The objectives may include guardrails that guarantee the system's controllability and safety. The world model employs a Joint Embedding Predictive Architecture (JEPA) trained with self-supervised learning, largely by observation.

The JEPA simultaneously learns an encoder, that extracts maximally-informative representations of the percepts, and a predictor that predicts the representation of the next percept from the representation of the current percept and an optional action variable.

We show that JEPAs trained on images and videos produce good representations for image and video understanding. We show that they can detect unphysical events in videos. Finally, we show that planning can be performed by searching for action sequences that produce predicted end state that match a given target state.

Слайды:
https://drive.google.com/file/d/1F0Q8Fq0h2pHq9j6QIbzqhBCfTXJ7Vmf4/view

Надо будет JEPA и её вариации таки разобрать. Давно в очереди уже.
👍3
Simplifying, Stabilizing and Scaling Continuous-Time Consistency Models

blogpost
👍3
tasty diffusion papers - september 2024

OmniGen: Unified Image Generation
what: one transformer for the text-to-image diffusion model.
- rectified flow.
- multimodal condition: text and image.
- one model processes all context and does diffusion steps.

Diffusion Policy Policy Optimization
what: set of best practices for fine-tuning diffusion-based policies in continuous control and robot learning tasks.

Rejection Sampling IMLE: Designing Priors for Better Few-Shot Image Synthesis
what: modification which helps to generalize better on few samples.

my thoughts
- i like how AI community is trying to simplify everything. surprisingly sometimes it works well. for example, rectified flow is simplified version of diffusion.
- rl + diffusion => next step in brain stimulation?
diffusion models could mimic brain patterns for smoother stimulation. with RL, they’d adapt in real-time, making treatments more precise and personalized. shifting from rigid protocols to dynamic brain interventions.

#digest
🔥31
How effective is human-AI collaboration?

A meta-analysis of 106 studies just published in Nature reports an interesting result:

On average, there was no synergy: Human–AI combinations did not perform better than both humans and AI.

In particular, when the AI alone outperformed the human alone, the human–AI combination led to performance losses, likely because humans were unable to integrate the suggestions provided by the AI.

Conversely, when the human outperformed the AI alone, there was some synergy and human–AI combination led to performance gains, likely because this time humans were better at integrating the AI suggestions.
👍43🤗1
enhancing intuition in diffusion

Tutorial on Diffusion Models for Imaging and Vision
what: good and comprehensive tutorial about modern diffusion models.

Diffusion is spectral autoregression
what: blogpost with python notebook.

Diffusion Models are Evolutionary Algorithms
what: another view on diffusion
- the denoising process in diffusion models can be seen as a combination of selection and mutation.

if you know good blogs please write in comments

#knowledge
🔥5😍42👍2👨‍💻1
Philosophy of mind - worth it in 2024?

A relatively recent Giulio Tononi talk (IIT theory) at my university (not recorded) sparkled my interest in consciousness research. Turns out this area is exactly what seemed most fun to me even though I did not realize it.

After all, all there is to catch the Zen of this life it is to make sense about thy own mind...

2022 - 2023 presented us with lively debates about the neural basis of consciousness, with the most prominent opponents being integrated information theory (IIT) and global workspace theory (GWT). I recommend checking out this nature letter for more info on the clash between theories. Additionally, there is a cool review by A.Seth and T.Bayne about neuro-consciousness theories.

I came to conclusion that to even start digging into it neural basis of consciousness, might be useful to look at what our fellow philosophers of mind did (over the course of the last 300 years...). To my surprise, it does not seem that at least John Seerle (the author of a famous Chinese room thought experiment) is incompetent in the neural part of mind-body approaches.

I have to admit as a snob computational neuroscientist I highly doubt non-empirical reasoning. However, the philosophy of mind course by J.Seerle seems super fun and comprehensive. So far it discussed relationships between syntax and semantics, computational theory of the mind, different forms and shapes of materialism, connectionism and others, with the focus on heavy critiques of those 😁

So for anyone like me, trying to get the grasp on mind and body relationships while staying true to the rational, emprical neuroscience , I highly recommend this course (I listen to it like a podcast). Super fun and informative, an easy listen.

▶️ [youtube playlist link]

The plan is to finally understand IIT and neural theories of consciousness after being armed with philosophical arguments. Good luck to me/us 🕺
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6😍4👀2