NeuroBOLT: Resting-state EEG-to-fMRI Synthesis with Multi-dimensional Feature Mapping
Просматривая статьи на NeurIps 24, увидел очень знакомую задачу.
Предсказание фМРТ по ЭЭГ активности. Смысл в том, что давайте одновременно запишем ЭЭГ и фМРТ и попробуем предсказать активность fMRI. Полностью фмрт восстанавливать разумеется очень сложно, поэтому мы будем предсказывать активность каких-нибудь больших регионов (RoI).
Моя магистерская была на эту тему, мы вместе с науч. рук-ем(A.Е. Оссадчий) сделали auto encoder с интерпретируемым слоем. И оно даже работало, разумеется с большими разбросами, но выдавала явно не случайные сигналы. Подавались на NeurIps 22, однако нас не взяли. Причины ясны, статья была сыроватой, мало сравнений с другими подходами и ablation study.
В этом году нашлись люди, которые довели задачу до ума. Применили модные молодежные трансформеры и сложную интеграцию разных электродов. В результате провели много сравнений с baseline(приятно что с нами тоже сравнились). Четко все обрисовали и показали лучший результат. В общем, достойно на мой взгляд.
Авторам респект!
Ссылки:
NeuroBOLT: Resting-state EEG-to-fMRI Synthesis with Multi-dimensional Feature Mapping
paper 2024: https://arxiv.org/abs/2410.05341
fMRI from EEG is only Deep Learning away: the use of interpretable DL to unravel EEG-fMRI relationships(BEIRA)
our preprint 2022: https://arxiv.org/abs/2211.02024
Просматривая статьи на NeurIps 24, увидел очень знакомую задачу.
Предсказание фМРТ по ЭЭГ активности. Смысл в том, что давайте одновременно запишем ЭЭГ и фМРТ и попробуем предсказать активность fMRI. Полностью фмрт восстанавливать разумеется очень сложно, поэтому мы будем предсказывать активность каких-нибудь больших регионов (RoI).
Моя магистерская была на эту тему, мы вместе с науч. рук-ем(A.Е. Оссадчий) сделали auto encoder с интерпретируемым слоем. И оно даже работало, разумеется с большими разбросами, но выдавала явно не случайные сигналы. Подавались на NeurIps 22, однако нас не взяли. Причины ясны, статья была сыроватой, мало сравнений с другими подходами и ablation study.
В этом году нашлись люди, которые довели задачу до ума. Применили модные молодежные трансформеры и сложную интеграцию разных электродов. В результате провели много сравнений с baseline(приятно что с нами тоже сравнились). Четко все обрисовали и показали лучший результат. В общем, достойно на мой взгляд.
Авторам респект!
Ссылки:
NeuroBOLT: Resting-state EEG-to-fMRI Synthesis with Multi-dimensional Feature Mapping
paper 2024: https://arxiv.org/abs/2410.05341
fMRI from EEG is only Deep Learning away: the use of interpretable DL to unravel EEG-fMRI relationships(BEIRA)
our preprint 2022: https://arxiv.org/abs/2211.02024
❤5🔥5🤗2
EEG2Video
Статья на Neurips 2024
У меня первый вопрос - это они серьезно?
Я сторонник решать крутые и реально сложные задачи. Но камоон, какие видео из ЭЭГ сигналов.
Теперь к статье.
Данные:
20 субъектов
1400 видеоклипов из 40 концептов
Каждый клип 2 секунды, 24 FPS
Модель.
- диффузия на фичах из мозга + предсказание семантической информации.
Метрики:
- Заявленная top-1 accuracy для 40 классов (6.20%) слишком близка к случайному угадыванию (2.50%)
- SSIM 0.256 для реконструкции видео - это низко конечно.
- Бинарная классификация fast/slow (57.35%) едва превышает случайные 50%
Но несмотря на вопросы к метрикам, авторы провели большую работу и записали интересный датасет, который обещают выложить. Это круто!
Выговорился.
Статья на Neurips 2024
У меня первый вопрос - это они серьезно?
Я сторонник решать крутые и реально сложные задачи. Но камоон, какие видео из ЭЭГ сигналов.
ЭЭГ дает нам суммарную активность миллионов нейронов с крайне низким пространственным разрешением(32/64 электрода на голове), а для видео нужны мельчайшие детали. Поэтому даже теоретически из ЭЭГ можно выцепить только очень грубые характеристики типа "человек видит что-то яркое" или "что-то движется", но никак не конкретные детали изображения.
Теперь к статье.
Данные:
20 субъектов
1400 видеоклипов из 40 концептов
Каждый клип 2 секунды, 24 FPS
Модель.
- диффузия на фичах из мозга + предсказание семантической информации.
Метрики:
- Заявленная top-1 accuracy для 40 классов (6.20%) слишком близка к случайному угадыванию (2.50%)
- SSIM 0.256 для реконструкции видео - это низко конечно.
- Бинарная классификация fast/slow (57.35%) едва превышает случайные 50%
Но несмотря на вопросы к метрикам, авторы провели большую работу и записали интересный датасет, который обещают выложить. Это круто!
Выговорился.
Forwarded from Агенты ИИ | AGI_and_RL
Есть вот такая эксплорилка архива.
https://www.alphaxiv.org/explore
Что-то типа https://huggingface.co/papers
Показывает тренды папир на архиве
К статьям можно оставлять комменты, ставить 👍 (если зарегаться)
Еще есть сообщества по темам, где статьи собираются по тематике
https://www.alphaxiv.org/communities
Короче прикольно, я точно буду пользоваться
PS А в телеге есть https://t.me/researchim
https://www.alphaxiv.org/explore
Что-то типа https://huggingface.co/papers
Показывает тренды папир на архиве
К статьям можно оставлять комменты, ставить 👍 (если зарегаться)
Еще есть сообщества по темам, где статьи собираются по тематике
https://www.alphaxiv.org/communities
Короче прикольно, я точно буду пользоваться
PS А в телеге есть https://t.me/researchim
Я, кстати, начал пользоваться недавно scholar inbox. В принципе штука прикольная, есть смысл поделиться 😉
Как пользоваться
- Вбиваете туда 10+ релевантных статей
- Лайкаете/дизлайкаете статьи, предложенные алгоритмом для тьюнинга рекомендаций
- Настраиваете частоту апдейтов, фильтры при желании
И всё, ваш персональный дайджест готов! Будут парсить все виды "архивов" и присылать вам на почту подборки.
На скрине пример моей ежедневной подборки препринтов.
Как пользоваться
- Вбиваете туда 10+ релевантных статей
- Лайкаете/дизлайкаете статьи, предложенные алгоритмом для тьюнинга рекомендаций
- Настраиваете частоту апдейтов, фильтры при желании
И всё, ваш персональный дайджест готов! Будут парсить все виды "архивов" и присылать вам на почту подборки.
На скрине пример моей ежедневной подборки препринтов.
Forwarded from Нейроинтерфейсы (Sergei Shishkin)
Нейралинк тоже решил заняться генерацией искусственных мозговых данных
Neuralink сообщает об использовании им "мозгового симулятора" (brain simulator) для улучшения качества декодирования мозговых данных. Мол, интерфейсы мозг-компьютер подобны автономным автомобилям, поэтому "высококачественная симуляция моторной коры может ускорить проверку декодеров и дать возможность использовать методы оптимизации вроде обучения с подкреплением".
Некоторым ИИ-блогерам это показалось большим прогрессом, в духе успехов робототехники, "где sim2real позволил наконец-то научить роботов нормально ходить". Но об улучшении декодирования в сравнении с бейзлайном не сообщалось, так что очень похоже, что его (пока?) нет, и в реальном времени удается лишь приблизиться к точности декодера, обученного на реальных данных. (Видео есть в твите, причем там упоминается обезьяна Pager, хотя и не говорится, точно ли этот тот самый Пейджер, которого они когда-то показывали на известном видео, где он явно занимался читтерством). Собственно, они сами говорят, что находятся "in the early stages of generative brain modeling".
Обучение декодеров/классификаторов на синтетических данных -- тема, очень давно обсуждаемая в ИМК-сообществе, поскольку реальных данных всегда катастрофически не хватает. В нашей научной группе тоже кое-что в этом направлении делается (генерация ЭЭГ диффузионными моделями). Но пока что по-настоящему работающих решений никем предложено не было.
Стоит обратить внимание, что "симуляция моторной коры" тут пока что не более чем метафора -- на самом деле просто генерируется многоканальный сигнал, похожий на реальные сигналы, записываемые с неё. Но, конечно, при решении таких задач в принципе не исключено использование некоторых знаний об устройстве и функционировании коры.
Neuralink сообщает об использовании им "мозгового симулятора" (brain simulator) для улучшения качества декодирования мозговых данных. Мол, интерфейсы мозг-компьютер подобны автономным автомобилям, поэтому "высококачественная симуляция моторной коры может ускорить проверку декодеров и дать возможность использовать методы оптимизации вроде обучения с подкреплением".
Некоторым ИИ-блогерам это показалось большим прогрессом, в духе успехов робототехники, "где sim2real позволил наконец-то научить роботов нормально ходить". Но об улучшении декодирования в сравнении с бейзлайном не сообщалось, так что очень похоже, что его (пока?) нет, и в реальном времени удается лишь приблизиться к точности декодера, обученного на реальных данных. (Видео есть в твите, причем там упоминается обезьяна Pager, хотя и не говорится, точно ли этот тот самый Пейджер, которого они когда-то показывали на известном видео, где он явно занимался читтерством). Собственно, они сами говорят, что находятся "in the early stages of generative brain modeling".
Обучение декодеров/классификаторов на синтетических данных -- тема, очень давно обсуждаемая в ИМК-сообществе, поскольку реальных данных всегда катастрофически не хватает. В нашей научной группе тоже кое-что в этом направлении делается (генерация ЭЭГ диффузионными моделями). Но пока что по-настоящему работающих решений никем предложено не было.
Стоит обратить внимание, что "симуляция моторной коры" тут пока что не более чем метафора -- на самом деле просто генерируется многоканальный сигнал, похожий на реальные сигналы, записываемые с неё. Но, конечно, при решении таких задач в принципе не исключено использование некоторых знаний об устройстве и функционировании коры.
🔥5🤗2
✨ Continuing sharing newsletters for inspiration and general perspective broadening
Neural manifolds: Latest buzzword or pathway to understand the brain?
Check out this insightful piece from The Transmitter on neural manifolds and population coding.
The article presents a case for viewing neural information processing through the lens of coordinated population activity rather than individual neuron responses. The neural manifold framework – where neural activity is represented as trajectories on a geometric surface in high-dimensional space – offers a powerful way to understand how the brain processes information.
🔥 Key insight: while neural activity involves billions of neurons, it appears to be constrained to lower-dimensional manifolds, similar to how individual words gain meaning only in the context of sentences. The author addresses common misconceptions, clarifying that manifolds aren't just about dimensionality reduction, but rather about understanding the geometry and topology of neural population dynamics.
---
The Transmitter consistently delivers such perspectives on neuroscience, bridging theoretical frameworks with experimental insights. Worth following for anyone interested in systems neuroscience and neural computation!
They can send you weekly or monthly digests, whichever you prefer.
P.S. [For
Neural manifolds: Latest buzzword or pathway to understand the brain?
Check out this insightful piece from The Transmitter on neural manifolds and population coding.
The article presents a case for viewing neural information processing through the lens of coordinated population activity rather than individual neuron responses. The neural manifold framework – where neural activity is represented as trajectories on a geometric surface in high-dimensional space – offers a powerful way to understand how the brain processes information.
🔥 Key insight: while neural activity involves billions of neurons, it appears to be constrained to lower-dimensional manifolds, similar to how individual words gain meaning only in the context of sentences. The author addresses common misconceptions, clarifying that manifolds aren't just about dimensionality reduction, but rather about understanding the geometry and topology of neural population dynamics.
@Altime: I am also starting my work in neural manifolds in visual processing, so going to share some cool stuff with you once it's done 👀
---
The Transmitter consistently delivers such perspectives on neuroscience, bridging theoretical frameworks with experimental insights. Worth following for anyone interested in systems neuroscience and neural computation!
They can send you weekly or monthly digests, whichever you prefer.
P.S. [For
lang=ru audience] Так как мы пишем на двух языках, советую пользоваться встроенным переводом от телеграма, если возникают трудности.The Transmitter
Neural manifolds: Latest buzzword or pathway to understand the brain?
When you cut away the misconceptions, neural manifolds present a conceptually appropriate level at which systems neuroscientists can study the brain.
1
Книги о сознании.
Сколько себя помню всегда интересовала эта тема. Что такое сознание? Что значит быть сознательным? Только у нас оно есть? Можем ли мы искусственно его смоделировать?
Пришло время и я набрался смелости узнать чуть глубже.
Небольшое отступление. Я часто общаюсь с Claude о книгах. Узнаю историю из жизни авторов, подробности написания книг. Если я что-то не понял, то он классно помогает разобраться. Но особенно здорово помогает подготовить список книг по теме. Попробуйте(можете даже скинуть ему список уже прочитанных книг).
Возвращаемся. Так вот вместе с ним мы подготовили мне список книг про сознание.
Делюсь с вами. Просто начинайте с первой книги и идите через дебри сложных концепций к последней.
🔬Современные научные теории:
1. Anil Seth "Being You" (2021) - революционный взгляд на сознание как "контролируемую галлюцинацию", где наш мозг активно конструирует реальность и чувство себя через постоянное предсказание сенсорного опыта.
2. Michael Graziano "Rethinking Consciousness" (2019) - теория о том, как мозг создает модель собственного внимания, порождая то, что мы называем сознательным опытом, с важными выводами для создания искусственного сознания.
3. Giulio Tononi "Phi" (2012) - амбициозная попытка математически определить сознание через интеграцию информации в мозге, предлагающая конкретные методы измерения уровня сознания у любой системы.
4. Christof Koch "Then I Am Myself the World" (2024) - современное развитие теории интегрированной информации с фокусом на причинную силу сознания и его измерение в естественных и искусственных системах
5. Andy Clark "Surfing Uncertainty" (2015) - глубокое исследование того, как мозг постоянно строит вероятностные модели мира для минимизации неопределенности, связывающее восприятие, действие и сознание.
6. Karl Friston "Active Inference" (2022) - фундаментальная математическая теория о том, как мозг минимизирует ошибки предсказания через активное взаимодействие с миром, объединяющая восприятие, обучение и действие.
7. Bernard Baars "A Cognitive Theory of Consciousness" (1988) - оригинальная теория глобального рабочего пространства
📚Философские основания:
1. David Chalmers "The Conscious Mind" (1996) - классическая работа, формулирующая "трудную проблему сознания" и показывающая, почему субъективный опыт не может быть полностью объяснен физическими процессами.
2. Daniel Dennett "Consciousness Explained" (1991) - радикальный взгляд на сознание как на полезную иллюзию, возникающую из параллельной работы множества несознательных процессов в мозге.
3. Douglas Hofstadter "I Am a Strange Loop" (2007) - элегантная теория о том, как сознание и самосознание возникают из способности мозга создавать самореферентные петли обратной связи.
p.s. если тут есть неточности, то напишите в комменты - исправим. Также пишите, если мы что-то очень важное упустили.
Сколько себя помню всегда интересовала эта тема. Что такое сознание? Что значит быть сознательным? Только у нас оно есть? Можем ли мы искусственно его смоделировать?
Пришло время и я набрался смелости узнать чуть глубже.
Небольшое отступление. Я часто общаюсь с Claude о книгах. Узнаю историю из жизни авторов, подробности написания книг. Если я что-то не понял, то он классно помогает разобраться. Но особенно здорово помогает подготовить список книг по теме. Попробуйте(можете даже скинуть ему список уже прочитанных книг).
Возвращаемся. Так вот вместе с ним мы подготовили мне список книг про сознание.
Делюсь с вами. Просто начинайте с первой книги и идите через дебри сложных концепций к последней.
🔬Современные научные теории:
1. Anil Seth "Being You" (2021) - революционный взгляд на сознание как "контролируемую галлюцинацию", где наш мозг активно конструирует реальность и чувство себя через постоянное предсказание сенсорного опыта.
2. Michael Graziano "Rethinking Consciousness" (2019) - теория о том, как мозг создает модель собственного внимания, порождая то, что мы называем сознательным опытом, с важными выводами для создания искусственного сознания.
3. Giulio Tononi "Phi" (2012) - амбициозная попытка математически определить сознание через интеграцию информации в мозге, предлагающая конкретные методы измерения уровня сознания у любой системы.
4. Christof Koch "Then I Am Myself the World" (2024) - современное развитие теории интегрированной информации с фокусом на причинную силу сознания и его измерение в естественных и искусственных системах
5. Andy Clark "Surfing Uncertainty" (2015) - глубокое исследование того, как мозг постоянно строит вероятностные модели мира для минимизации неопределенности, связывающее восприятие, действие и сознание.
6. Karl Friston "Active Inference" (2022) - фундаментальная математическая теория о том, как мозг минимизирует ошибки предсказания через активное взаимодействие с миром, объединяющая восприятие, обучение и действие.
7. Bernard Baars "A Cognitive Theory of Consciousness" (1988) - оригинальная теория глобального рабочего пространства
📚Философские основания:
1. David Chalmers "The Conscious Mind" (1996) - классическая работа, формулирующая "трудную проблему сознания" и показывающая, почему субъективный опыт не может быть полностью объяснен физическими процессами.
2. Daniel Dennett "Consciousness Explained" (1991) - радикальный взгляд на сознание как на полезную иллюзию, возникающую из параллельной работы множества несознательных процессов в мозге.
3. Douglas Hofstadter "I Am a Strange Loop" (2007) - элегантная теория о том, как сознание и самосознание возникают из способности мозга создавать самореферентные петли обратной связи.
p.s. если тут есть неточности, то напишите в комменты - исправим. Также пишите, если мы что-то очень важное упустили.
🔥8🦄3
Forwarded from Artem Yashin
Здравствуйте, по поводу сознания:
Начну с некоторых дисклеймеров, мне кажется, они важны для работы с литературой по теме. Во-первых, проблематика, связанная с сознанием - это подавляюще философская проблематика, а проблематика является философской тогда, когда складывается из набора больших и общих проблем, которые непонятно как решать. Нет консенсуса относительно того, как изучать сознание, и что это вообще такое. В итоге разбирательство с сознанием - это не разговор об уточняющем переднем крае, наслаивающемся на хорошо протестированное, а разговор о том, кто чего понаписал, и почему одни люди считают, что другие в корне не правы.
Во-вторых, стоит сказать, что в философии дискуссии смещаются медленнее, чем у эмпириков, поэтому искать совсем новые материалы (последних 5 или 10 лет) там большого смысла нет. Обзоры эмпирических теорий сознания искать стоит просто из-за смены материала (возражения одни и те же). Чалмерс в The Conscious Mind дает хороший обзор набора позиций в дискуссии о феноменальном сознании, и он до сих пор полезен. Наверное, исключением будет сознание ИИ и животных.
В-третьих, я аккуратно не советую читать книги (именно книги) эмпириков о сознании. Деан/Грациано/Хамфри/Тонони/Кох и прочие им подобные люди философские книжки пишут специфически: они уходят в немного не те вопросы. Если у них есть статьи на тему, лучше читать статьи, а если статей по сознанию у кого-то нет, но он написал книжку, то странный он человек.
В-третьих, есть два подхода: можно 1) прочитать набор книжек, где каждый автор сформулировал свою позицию; или 2) ориентироваться на что-то более обзорное. Чтение кучи книжек с разными позициями - занятие серьезное, nobody ain't got no time for that, поэтому я сконцентрируюсь на 2). Ну, и найти центральную книжку каждого автора в целом можно через того же клода или чат.
Я бы посоветовал следующее (как книги, так и статьи):
https://plato.stanford.edu/entries/consciousness/ - статьи в Стенфордской энциклопедии философии (статьи Consciousness, Qualia, Zombie, Representational Theories of Consciousness и прочие). Энциклопедия очень хорошая, философы ей постоянно пользуются сами (и ее же пишут). Собственно, вместо более классических книжек Чалмерса, Деннета, Серла, Черчлендов, Суинберна и других авторов "первого калибра" для погружения можно читать энциклопедию - так как главных авторов читал много кто, материал хорошо разжеван
Seth, A. K., & Bayne, T. (2022). Theories of consciousness. Nature Reviews Neuroscience, 23(7), 439-452.
- большой обзор теорий сознания, он недавний, думаю, много кто видел. Про эмпирические теории сознания можно прочитать обзор или два, картина выстраивается вполне ясная
Block, N. (1995). On a confusion about a function of consciousness. Behavioral and brain sciences, 18(2), 227-247.
- наверное, центральная статья в дискуссии о функциях сознания. Для эмпирических людей (по-моему) обязательна к прочтению либо она, либо Mental paint and mental latex, либо еще что-то из Блока на эту тему
Bayne, T. (2012). The unity of consciousness. Oxford University Press.
- о проблеме единства сознания. Часто фокус в дискуссии смещен на узкие примеры осознанных состояний, здесь именно о том, как возможно единое сознание
Frankish, K. (2016). Illusionism as a theory of consciousness. Journal of Consciousness Studies, 23(11-12), 11-39.
- здесь изложена, скорее, позиция, но для понимания критики феноменального сознания стоит прочитать что-то более современное. Сюда же отнесу:
Chalmers, D. (2020). Debunking arguments for illusionism about consciousness. Journal of Consciousness Studies, 27(5-6), 258-281.
Shea, N. (2012). Methodological encounters with the phenomenal kind. Philosophy and phenomenological research, 84(2), 307.
- есть еще пара статей на эту тему, но мне кажется методологически важным взглянуть на natural-kind approach к сознанию
Birch, J. (2024). The edge of sentience: risk and precaution in humans, other animals, and AI.
- про сознание животных и ИИ
Если есть вопросы, обращайтесь. Правда, я не эксперт по сознанию, скажем, курсы про него полноценные не читаю
Начну с некоторых дисклеймеров, мне кажется, они важны для работы с литературой по теме. Во-первых, проблематика, связанная с сознанием - это подавляюще философская проблематика, а проблематика является философской тогда, когда складывается из набора больших и общих проблем, которые непонятно как решать. Нет консенсуса относительно того, как изучать сознание, и что это вообще такое. В итоге разбирательство с сознанием - это не разговор об уточняющем переднем крае, наслаивающемся на хорошо протестированное, а разговор о том, кто чего понаписал, и почему одни люди считают, что другие в корне не правы.
Во-вторых, стоит сказать, что в философии дискуссии смещаются медленнее, чем у эмпириков, поэтому искать совсем новые материалы (последних 5 или 10 лет) там большого смысла нет. Обзоры эмпирических теорий сознания искать стоит просто из-за смены материала (возражения одни и те же). Чалмерс в The Conscious Mind дает хороший обзор набора позиций в дискуссии о феноменальном сознании, и он до сих пор полезен. Наверное, исключением будет сознание ИИ и животных.
В-третьих, я аккуратно не советую читать книги (именно книги) эмпириков о сознании. Деан/Грациано/Хамфри/Тонони/Кох и прочие им подобные люди философские книжки пишут специфически: они уходят в немного не те вопросы. Если у них есть статьи на тему, лучше читать статьи, а если статей по сознанию у кого-то нет, но он написал книжку, то странный он человек.
В-третьих, есть два подхода: можно 1) прочитать набор книжек, где каждый автор сформулировал свою позицию; или 2) ориентироваться на что-то более обзорное. Чтение кучи книжек с разными позициями - занятие серьезное, nobody ain't got no time for that, поэтому я сконцентрируюсь на 2). Ну, и найти центральную книжку каждого автора в целом можно через того же клода или чат.
Я бы посоветовал следующее (как книги, так и статьи):
https://plato.stanford.edu/entries/consciousness/ - статьи в Стенфордской энциклопедии философии (статьи Consciousness, Qualia, Zombie, Representational Theories of Consciousness и прочие). Энциклопедия очень хорошая, философы ей постоянно пользуются сами (и ее же пишут). Собственно, вместо более классических книжек Чалмерса, Деннета, Серла, Черчлендов, Суинберна и других авторов "первого калибра" для погружения можно читать энциклопедию - так как главных авторов читал много кто, материал хорошо разжеван
Seth, A. K., & Bayne, T. (2022). Theories of consciousness. Nature Reviews Neuroscience, 23(7), 439-452.
- большой обзор теорий сознания, он недавний, думаю, много кто видел. Про эмпирические теории сознания можно прочитать обзор или два, картина выстраивается вполне ясная
Block, N. (1995). On a confusion about a function of consciousness. Behavioral and brain sciences, 18(2), 227-247.
- наверное, центральная статья в дискуссии о функциях сознания. Для эмпирических людей (по-моему) обязательна к прочтению либо она, либо Mental paint and mental latex, либо еще что-то из Блока на эту тему
Bayne, T. (2012). The unity of consciousness. Oxford University Press.
- о проблеме единства сознания. Часто фокус в дискуссии смещен на узкие примеры осознанных состояний, здесь именно о том, как возможно единое сознание
Frankish, K. (2016). Illusionism as a theory of consciousness. Journal of Consciousness Studies, 23(11-12), 11-39.
- здесь изложена, скорее, позиция, но для понимания критики феноменального сознания стоит прочитать что-то более современное. Сюда же отнесу:
Chalmers, D. (2020). Debunking arguments for illusionism about consciousness. Journal of Consciousness Studies, 27(5-6), 258-281.
Shea, N. (2012). Methodological encounters with the phenomenal kind. Philosophy and phenomenological research, 84(2), 307.
- есть еще пара статей на эту тему, но мне кажется методологически важным взглянуть на natural-kind approach к сознанию
Birch, J. (2024). The edge of sentience: risk and precaution in humans, other animals, and AI.
- про сознание животных и ИИ
Если есть вопросы, обращайтесь. Правда, я не эксперт по сознанию, скажем, курсы про него полноценные не читаю
🔥16🦄3❤2🤓2
Нас 1000!
Приятно, что читаете! ❤️
Скоро расскажем про наши исследования!
Приятно, что читаете! ❤️
Скоро расскажем про наши исследования!
1⚡27🔥6
Forwarded from LIFT feed
iopscience.iop.org
First-in-human experience performing high-resolution cortical mapping using a novel microelectrode array containing 1,024 electrodes…
First-in-human experience performing high-resolution cortical mapping using a novel microelectrode array containing 1,024 electrodes, Konrad, Peter E, Gelman, Kate R, Lawrence, Jesse, Bhatia, Sanjay, Dister, Jacqueline, Sharma, Radhey, Ho, Elton, Byun, Yoon…
Впервые картировали мозг пациентов с помощью ЭКоГ высокого разрешения (0.4 мм), моторные и речевые зоны, интраоперационно. Precision Neuroscience, наконец, полноценно испытали свой тонкопленочный массив, который вмещает 1024 микроэлектрода на площади 1.5 см2 и может быть заведен через узкую щель в черепе. — Ранее мы неоднократно сообщали об их разработке (напр., здесь или здесь).
#tech | #prosthesis | #readout | #brain
#tech | #prosthesis | #readout | #brain
❤7
Новый нейротех стартап в US
Edward Chang основал компанию Echo Neurotechnologies и недавно привлек 50М для создание речевых(и не только) нейроинтерфесов
Edward долгое время возглавлял научную лабу в UCSF. Они много и упорно работали над речевыми имплантами(чтобы люди которые не могут говорить - смогли).
Обязательно посмотрите его научные работы - это мощь! Сейчас их главная цель - превратить научные достижения в продукт.
Ссылка на лабораторию: https://changlab.ucsf.edu/
Дополнительная информация
Чтобы никто не забыл, приведу список компаний, которые на слуху и занимаются инвазивными штуками(уже крутые).
US : precision, science, neuralink, synchron.
EU: onward, inbrain.
В России тоже подобным занимаются (не так здорово, но уверенно и стремительно).
RU: neiry и пифия , сенсор тех и зрение, motorica и тактильность.
Ещё кое-что добавлю по поводу русских компаний - деньги не те. То есть в Америке и даже в Европе у стартапа намного больше ресурсов.
Сама новость: https://www.techinasia.com/news/andreessen-horowitz-backs-50m-brain-tech-startup
Edward Chang основал компанию Echo Neurotechnologies и недавно привлек 50М для создание речевых(и не только) нейроинтерфесов
Edward долгое время возглавлял научную лабу в UCSF. Они много и упорно работали над речевыми имплантами(чтобы люди которые не могут говорить - смогли).
Обязательно посмотрите его научные работы - это мощь! Сейчас их главная цель - превратить научные достижения в продукт.
Ссылка на лабораторию: https://changlab.ucsf.edu/
Дополнительная информация
Чтобы никто не забыл, приведу список компаний, которые на слуху и занимаются инвазивными штуками(уже крутые).
US : precision, science, neuralink, synchron.
EU: onward, inbrain.
В России тоже подобным занимаются (не так здорово, но уверенно и стремительно).
RU: neiry и пифия , сенсор тех и зрение, motorica и тактильность.
Ещё кое-что добавлю по поводу русских компаний - деньги не те. То есть в Америке и даже в Европе у стартапа намного больше ресурсов.
Сама новость: https://www.techinasia.com/news/andreessen-horowitz-backs-50m-brain-tech-startup
❤7🦄4
Интересная статья про роботов!
Ребята из @rizzearch кстати делают классные обзоры про RL, Transformer. Сам их читаю, так что посмотрите)
Ребята из @rizzearch кстати делают классные обзоры про RL, Transformer. Сам их читаю, так что посмотрите)
❤4
Forwarded from rizzearch
FAST: Efficient Action Tokenization for Vision-Language-Action Models
зачем-то physical intelligence, которые делали pi0, себе второй домен забабахали pi.website, на котором запостили как они сделали токенизатор для робо действий
зачем? в принципе трансформер и оперирует в каждом своем слое над дискретными элементами (каждая голова каждого слоя интуитивно проталкивает только определенные токены дальше по сетке), а в роботике часто надо выпуливать многомерные непрерывные действия, так еще часто и с высокой частотой, а если еще пытаться решить достаточно сложную таску, то такую особенность становится невозможно игнорировать
ну и физикал интеллиженс пытался это решить как раз через флоу матчинг в прошлый раз, что более-менее и получилось (с нюансами), но они проработали и альтернативу в виде FAST
при том идея хороша тем, что построена она из привычных рабочих техник
- надо бы как-то эффективно сжимать временные ряды действий. можно бинаризовать - ок, но в случае высокой герцовки робота получается все больше бинов за все меньшее количество времени → медленный инференс. но можно вспомнить (или просто почитать предположение авторов), что траектории действий во времени являются все-таки гладкими, а значит и это можно использовать для компрессии
- lets go to the Discrete Cosine Transform! да, вот такой переход потому что это уже своего рода классика: будем получать наибольшее количество информации в низких частотах, а значит и можно будет сжимать очень многие высокие частоты)
- получим матрицу для каждого action chunk (о важности чего мы упоминали здесь), которую нам неплохо было бы представить в виде последовательности, чтобы потом использовать БПЕ (потому что скорее всего это тоже привычно и довольно удобно) → давайте флаттенить, да при том чтобы низкие частоты были в начале последовательности, а высокие (незначительные) в конце + допом сделаем scale-and-round операцию чтобы округлить до нулей все незначимое
- тогда и можно запускать бпе бррррр
примечательно еще то, что как будто такая идея может и расширяться за пределы обработки действий (а в принципе многомерных временных рядов)
по результатам он даже обгоняет первую версию их pi-модели с флоу матчингом. то есть (имхо) авторы пытаются дать эвиденс о том, что стоит по максимуму токенизировать все что только можно при работе с трансформерами прежде чем приступать к флоу матчингу (даже с трюками авторов по типу бета распределения версия с токенизатором обгоняет по результату, подтвердили на экспах где обучали оба метода до сходимости и где уравнивали бюджет компьюта)
при том это настолько хорошо вкладывается в пайплайн физикал интеллиженса, что они утверждают о возможности зеро-шота на DROID + там где происходит фейл на эпизоде, полиси делает не вообще полностью что-то рандомное
теперь к вопросам, которые появились
- перед DCT происходит нормализация в рейндж от - 1 до 1 на основе статистик датасета по первой и 99 квантили. FAST+, который они выпустили в опенсурс построен аналогичным путем и заявляет о своей универсальности. звучит немного странно с учетом такой нормализации. да, их датасет основан на многих роботах + 1млн траекторий
- но это все равно как будто слишком уникальное дело по поводу токенизации акншнов для робота + так же в экспериментах они говорят об низкой чувствительности к scale параметру перед округлением и вокаб сайзом для БПЕ → выбирают 10 и 1024. как будто второе число довольно-таки мало (особенно сравнивая с вокаб сайзом для лмок что не очень честно но хоть что-то), чтобы с удобоваримым пресижном сжимать действия,
но может я чего-то не понимаю в этой жизни и это довольно-таки интересный инсайт о природе рободействий в нашей реальности
👀 link, демки, code вроде выложили но там нету самой процедуры обучения токенизатора
зачем-то physical intelligence, которые делали pi0, себе второй домен забабахали pi.website, на котором запостили как они сделали токенизатор для робо действий
зачем? в принципе трансформер и оперирует в каждом своем слое над дискретными элементами (каждая голова каждого слоя интуитивно проталкивает только определенные токены дальше по сетке), а в роботике часто надо выпуливать многомерные непрерывные действия, так еще часто и с высокой частотой, а если еще пытаться решить достаточно сложную таску, то такую особенность становится невозможно игнорировать
ну и физикал интеллиженс пытался это решить как раз через флоу матчинг в прошлый раз, что более-менее и получилось (с нюансами), но они проработали и альтернативу в виде FAST
при том идея хороша тем, что построена она из привычных рабочих техник
- надо бы как-то эффективно сжимать временные ряды действий. можно бинаризовать - ок, но в случае высокой герцовки робота получается все больше бинов за все меньшее количество времени → медленный инференс. но можно вспомнить (или просто почитать предположение авторов), что траектории действий во времени являются все-таки гладкими, а значит и это можно использовать для компрессии
- lets go to the Discrete Cosine Transform! да, вот такой переход потому что это уже своего рода классика: будем получать наибольшее количество информации в низких частотах, а значит и можно будет сжимать очень многие высокие частоты)
- получим матрицу для каждого action chunk (о важности чего мы упоминали здесь), которую нам неплохо было бы представить в виде последовательности, чтобы потом использовать БПЕ (потому что скорее всего это тоже привычно и довольно удобно) → давайте флаттенить, да при том чтобы низкие частоты были в начале последовательности, а высокие (незначительные) в конце + допом сделаем scale-and-round операцию чтобы округлить до нулей все незначимое
- тогда и можно запускать бпе бррррр
примечательно еще то, что как будто такая идея может и расширяться за пределы обработки действий (а в принципе многомерных временных рядов)
по результатам он даже обгоняет первую версию их pi-модели с флоу матчингом. то есть (имхо) авторы пытаются дать эвиденс о том, что стоит по максимуму токенизировать все что только можно при работе с трансформерами прежде чем приступать к флоу матчингу (даже с трюками авторов по типу бета распределения версия с токенизатором обгоняет по результату, подтвердили на экспах где обучали оба метода до сходимости и где уравнивали бюджет компьюта)
при том это настолько хорошо вкладывается в пайплайн физикал интеллиженса, что они утверждают о возможности зеро-шота на DROID + там где происходит фейл на эпизоде, полиси делает не вообще полностью что-то рандомное
теперь к вопросам, которые появились
- перед DCT происходит нормализация в рейндж от - 1 до 1 на основе статистик датасета по первой и 99 квантили. FAST+, который они выпустили в опенсурс построен аналогичным путем и заявляет о своей универсальности. звучит немного странно с учетом такой нормализации. да, их датасет основан на многих роботах + 1млн траекторий
- но это все равно как будто слишком уникальное дело по поводу токенизации акншнов для робота + так же в экспериментах они говорят об низкой чувствительности к scale параметру перед округлением и вокаб сайзом для БПЕ → выбирают 10 и 1024. как будто второе число довольно-таки мало (особенно сравнивая с вокаб сайзом для лмок что не очень честно но хоть что-то), чтобы с удобоваримым пресижном сжимать действия,
но может я чего-то не понимаю в этой жизни и это довольно-таки интересный инсайт о природе рободействий в нашей реальности
👀 link, демки, code вроде выложили но там нету самой процедуры обучения токенизатора
Кто хотел разобраться как этот ваш ChatGPT работает? И что там под капотом?
Пожалуйста 3 часа чистого кайфа от Андрея Карпатного!
Пожалуйста 3 часа чистого кайфа от Андрея Карпатного!
❤2