Forwarded from Нейроинтерфейсы (Sergei Shishkin)
Нейралинк тоже решил заняться генерацией искусственных мозговых данных
Neuralink сообщает об использовании им "мозгового симулятора" (brain simulator) для улучшения качества декодирования мозговых данных. Мол, интерфейсы мозг-компьютер подобны автономным автомобилям, поэтому "высококачественная симуляция моторной коры может ускорить проверку декодеров и дать возможность использовать методы оптимизации вроде обучения с подкреплением".
Некоторым ИИ-блогерам это показалось большим прогрессом, в духе успехов робототехники, "где sim2real позволил наконец-то научить роботов нормально ходить". Но об улучшении декодирования в сравнении с бейзлайном не сообщалось, так что очень похоже, что его (пока?) нет, и в реальном времени удается лишь приблизиться к точности декодера, обученного на реальных данных. (Видео есть в твите, причем там упоминается обезьяна Pager, хотя и не говорится, точно ли этот тот самый Пейджер, которого они когда-то показывали на известном видео, где он явно занимался читтерством). Собственно, они сами говорят, что находятся "in the early stages of generative brain modeling".
Обучение декодеров/классификаторов на синтетических данных -- тема, очень давно обсуждаемая в ИМК-сообществе, поскольку реальных данных всегда катастрофически не хватает. В нашей научной группе тоже кое-что в этом направлении делается (генерация ЭЭГ диффузионными моделями). Но пока что по-настоящему работающих решений никем предложено не было.
Стоит обратить внимание, что "симуляция моторной коры" тут пока что не более чем метафора -- на самом деле просто генерируется многоканальный сигнал, похожий на реальные сигналы, записываемые с неё. Но, конечно, при решении таких задач в принципе не исключено использование некоторых знаний об устройстве и функционировании коры.
Neuralink сообщает об использовании им "мозгового симулятора" (brain simulator) для улучшения качества декодирования мозговых данных. Мол, интерфейсы мозг-компьютер подобны автономным автомобилям, поэтому "высококачественная симуляция моторной коры может ускорить проверку декодеров и дать возможность использовать методы оптимизации вроде обучения с подкреплением".
Некоторым ИИ-блогерам это показалось большим прогрессом, в духе успехов робототехники, "где sim2real позволил наконец-то научить роботов нормально ходить". Но об улучшении декодирования в сравнении с бейзлайном не сообщалось, так что очень похоже, что его (пока?) нет, и в реальном времени удается лишь приблизиться к точности декодера, обученного на реальных данных. (Видео есть в твите, причем там упоминается обезьяна Pager, хотя и не говорится, точно ли этот тот самый Пейджер, которого они когда-то показывали на известном видео, где он явно занимался читтерством). Собственно, они сами говорят, что находятся "in the early stages of generative brain modeling".
Обучение декодеров/классификаторов на синтетических данных -- тема, очень давно обсуждаемая в ИМК-сообществе, поскольку реальных данных всегда катастрофически не хватает. В нашей научной группе тоже кое-что в этом направлении делается (генерация ЭЭГ диффузионными моделями). Но пока что по-настоящему работающих решений никем предложено не было.
Стоит обратить внимание, что "симуляция моторной коры" тут пока что не более чем метафора -- на самом деле просто генерируется многоканальный сигнал, похожий на реальные сигналы, записываемые с неё. Но, конечно, при решении таких задач в принципе не исключено использование некоторых знаний об устройстве и функционировании коры.
🔥5🤗2
✨ Continuing sharing newsletters for inspiration and general perspective broadening
Neural manifolds: Latest buzzword or pathway to understand the brain?
Check out this insightful piece from The Transmitter on neural manifolds and population coding.
The article presents a case for viewing neural information processing through the lens of coordinated population activity rather than individual neuron responses. The neural manifold framework – where neural activity is represented as trajectories on a geometric surface in high-dimensional space – offers a powerful way to understand how the brain processes information.
🔥 Key insight: while neural activity involves billions of neurons, it appears to be constrained to lower-dimensional manifolds, similar to how individual words gain meaning only in the context of sentences. The author addresses common misconceptions, clarifying that manifolds aren't just about dimensionality reduction, but rather about understanding the geometry and topology of neural population dynamics.
---
The Transmitter consistently delivers such perspectives on neuroscience, bridging theoretical frameworks with experimental insights. Worth following for anyone interested in systems neuroscience and neural computation!
They can send you weekly or monthly digests, whichever you prefer.
P.S. [For
Neural manifolds: Latest buzzword or pathway to understand the brain?
Check out this insightful piece from The Transmitter on neural manifolds and population coding.
The article presents a case for viewing neural information processing through the lens of coordinated population activity rather than individual neuron responses. The neural manifold framework – where neural activity is represented as trajectories on a geometric surface in high-dimensional space – offers a powerful way to understand how the brain processes information.
🔥 Key insight: while neural activity involves billions of neurons, it appears to be constrained to lower-dimensional manifolds, similar to how individual words gain meaning only in the context of sentences. The author addresses common misconceptions, clarifying that manifolds aren't just about dimensionality reduction, but rather about understanding the geometry and topology of neural population dynamics.
@Altime: I am also starting my work in neural manifolds in visual processing, so going to share some cool stuff with you once it's done 👀
---
The Transmitter consistently delivers such perspectives on neuroscience, bridging theoretical frameworks with experimental insights. Worth following for anyone interested in systems neuroscience and neural computation!
They can send you weekly or monthly digests, whichever you prefer.
P.S. [For
lang=ru audience] Так как мы пишем на двух языках, советую пользоваться встроенным переводом от телеграма, если возникают трудности.The Transmitter
Neural manifolds: Latest buzzword or pathway to understand the brain?
When you cut away the misconceptions, neural manifolds present a conceptually appropriate level at which systems neuroscientists can study the brain.
1
Книги о сознании.
Сколько себя помню всегда интересовала эта тема. Что такое сознание? Что значит быть сознательным? Только у нас оно есть? Можем ли мы искусственно его смоделировать?
Пришло время и я набрался смелости узнать чуть глубже.
Небольшое отступление. Я часто общаюсь с Claude о книгах. Узнаю историю из жизни авторов, подробности написания книг. Если я что-то не понял, то он классно помогает разобраться. Но особенно здорово помогает подготовить список книг по теме. Попробуйте(можете даже скинуть ему список уже прочитанных книг).
Возвращаемся. Так вот вместе с ним мы подготовили мне список книг про сознание.
Делюсь с вами. Просто начинайте с первой книги и идите через дебри сложных концепций к последней.
🔬Современные научные теории:
1. Anil Seth "Being You" (2021) - революционный взгляд на сознание как "контролируемую галлюцинацию", где наш мозг активно конструирует реальность и чувство себя через постоянное предсказание сенсорного опыта.
2. Michael Graziano "Rethinking Consciousness" (2019) - теория о том, как мозг создает модель собственного внимания, порождая то, что мы называем сознательным опытом, с важными выводами для создания искусственного сознания.
3. Giulio Tononi "Phi" (2012) - амбициозная попытка математически определить сознание через интеграцию информации в мозге, предлагающая конкретные методы измерения уровня сознания у любой системы.
4. Christof Koch "Then I Am Myself the World" (2024) - современное развитие теории интегрированной информации с фокусом на причинную силу сознания и его измерение в естественных и искусственных системах
5. Andy Clark "Surfing Uncertainty" (2015) - глубокое исследование того, как мозг постоянно строит вероятностные модели мира для минимизации неопределенности, связывающее восприятие, действие и сознание.
6. Karl Friston "Active Inference" (2022) - фундаментальная математическая теория о том, как мозг минимизирует ошибки предсказания через активное взаимодействие с миром, объединяющая восприятие, обучение и действие.
7. Bernard Baars "A Cognitive Theory of Consciousness" (1988) - оригинальная теория глобального рабочего пространства
📚Философские основания:
1. David Chalmers "The Conscious Mind" (1996) - классическая работа, формулирующая "трудную проблему сознания" и показывающая, почему субъективный опыт не может быть полностью объяснен физическими процессами.
2. Daniel Dennett "Consciousness Explained" (1991) - радикальный взгляд на сознание как на полезную иллюзию, возникающую из параллельной работы множества несознательных процессов в мозге.
3. Douglas Hofstadter "I Am a Strange Loop" (2007) - элегантная теория о том, как сознание и самосознание возникают из способности мозга создавать самореферентные петли обратной связи.
p.s. если тут есть неточности, то напишите в комменты - исправим. Также пишите, если мы что-то очень важное упустили.
Сколько себя помню всегда интересовала эта тема. Что такое сознание? Что значит быть сознательным? Только у нас оно есть? Можем ли мы искусственно его смоделировать?
Пришло время и я набрался смелости узнать чуть глубже.
Небольшое отступление. Я часто общаюсь с Claude о книгах. Узнаю историю из жизни авторов, подробности написания книг. Если я что-то не понял, то он классно помогает разобраться. Но особенно здорово помогает подготовить список книг по теме. Попробуйте(можете даже скинуть ему список уже прочитанных книг).
Возвращаемся. Так вот вместе с ним мы подготовили мне список книг про сознание.
Делюсь с вами. Просто начинайте с первой книги и идите через дебри сложных концепций к последней.
🔬Современные научные теории:
1. Anil Seth "Being You" (2021) - революционный взгляд на сознание как "контролируемую галлюцинацию", где наш мозг активно конструирует реальность и чувство себя через постоянное предсказание сенсорного опыта.
2. Michael Graziano "Rethinking Consciousness" (2019) - теория о том, как мозг создает модель собственного внимания, порождая то, что мы называем сознательным опытом, с важными выводами для создания искусственного сознания.
3. Giulio Tononi "Phi" (2012) - амбициозная попытка математически определить сознание через интеграцию информации в мозге, предлагающая конкретные методы измерения уровня сознания у любой системы.
4. Christof Koch "Then I Am Myself the World" (2024) - современное развитие теории интегрированной информации с фокусом на причинную силу сознания и его измерение в естественных и искусственных системах
5. Andy Clark "Surfing Uncertainty" (2015) - глубокое исследование того, как мозг постоянно строит вероятностные модели мира для минимизации неопределенности, связывающее восприятие, действие и сознание.
6. Karl Friston "Active Inference" (2022) - фундаментальная математическая теория о том, как мозг минимизирует ошибки предсказания через активное взаимодействие с миром, объединяющая восприятие, обучение и действие.
7. Bernard Baars "A Cognitive Theory of Consciousness" (1988) - оригинальная теория глобального рабочего пространства
📚Философские основания:
1. David Chalmers "The Conscious Mind" (1996) - классическая работа, формулирующая "трудную проблему сознания" и показывающая, почему субъективный опыт не может быть полностью объяснен физическими процессами.
2. Daniel Dennett "Consciousness Explained" (1991) - радикальный взгляд на сознание как на полезную иллюзию, возникающую из параллельной работы множества несознательных процессов в мозге.
3. Douglas Hofstadter "I Am a Strange Loop" (2007) - элегантная теория о том, как сознание и самосознание возникают из способности мозга создавать самореферентные петли обратной связи.
p.s. если тут есть неточности, то напишите в комменты - исправим. Также пишите, если мы что-то очень важное упустили.
🔥8🦄3
Forwarded from Artem Yashin
Здравствуйте, по поводу сознания:
Начну с некоторых дисклеймеров, мне кажется, они важны для работы с литературой по теме. Во-первых, проблематика, связанная с сознанием - это подавляюще философская проблематика, а проблематика является философской тогда, когда складывается из набора больших и общих проблем, которые непонятно как решать. Нет консенсуса относительно того, как изучать сознание, и что это вообще такое. В итоге разбирательство с сознанием - это не разговор об уточняющем переднем крае, наслаивающемся на хорошо протестированное, а разговор о том, кто чего понаписал, и почему одни люди считают, что другие в корне не правы.
Во-вторых, стоит сказать, что в философии дискуссии смещаются медленнее, чем у эмпириков, поэтому искать совсем новые материалы (последних 5 или 10 лет) там большого смысла нет. Обзоры эмпирических теорий сознания искать стоит просто из-за смены материала (возражения одни и те же). Чалмерс в The Conscious Mind дает хороший обзор набора позиций в дискуссии о феноменальном сознании, и он до сих пор полезен. Наверное, исключением будет сознание ИИ и животных.
В-третьих, я аккуратно не советую читать книги (именно книги) эмпириков о сознании. Деан/Грациано/Хамфри/Тонони/Кох и прочие им подобные люди философские книжки пишут специфически: они уходят в немного не те вопросы. Если у них есть статьи на тему, лучше читать статьи, а если статей по сознанию у кого-то нет, но он написал книжку, то странный он человек.
В-третьих, есть два подхода: можно 1) прочитать набор книжек, где каждый автор сформулировал свою позицию; или 2) ориентироваться на что-то более обзорное. Чтение кучи книжек с разными позициями - занятие серьезное, nobody ain't got no time for that, поэтому я сконцентрируюсь на 2). Ну, и найти центральную книжку каждого автора в целом можно через того же клода или чат.
Я бы посоветовал следующее (как книги, так и статьи):
https://plato.stanford.edu/entries/consciousness/ - статьи в Стенфордской энциклопедии философии (статьи Consciousness, Qualia, Zombie, Representational Theories of Consciousness и прочие). Энциклопедия очень хорошая, философы ей постоянно пользуются сами (и ее же пишут). Собственно, вместо более классических книжек Чалмерса, Деннета, Серла, Черчлендов, Суинберна и других авторов "первого калибра" для погружения можно читать энциклопедию - так как главных авторов читал много кто, материал хорошо разжеван
Seth, A. K., & Bayne, T. (2022). Theories of consciousness. Nature Reviews Neuroscience, 23(7), 439-452.
- большой обзор теорий сознания, он недавний, думаю, много кто видел. Про эмпирические теории сознания можно прочитать обзор или два, картина выстраивается вполне ясная
Block, N. (1995). On a confusion about a function of consciousness. Behavioral and brain sciences, 18(2), 227-247.
- наверное, центральная статья в дискуссии о функциях сознания. Для эмпирических людей (по-моему) обязательна к прочтению либо она, либо Mental paint and mental latex, либо еще что-то из Блока на эту тему
Bayne, T. (2012). The unity of consciousness. Oxford University Press.
- о проблеме единства сознания. Часто фокус в дискуссии смещен на узкие примеры осознанных состояний, здесь именно о том, как возможно единое сознание
Frankish, K. (2016). Illusionism as a theory of consciousness. Journal of Consciousness Studies, 23(11-12), 11-39.
- здесь изложена, скорее, позиция, но для понимания критики феноменального сознания стоит прочитать что-то более современное. Сюда же отнесу:
Chalmers, D. (2020). Debunking arguments for illusionism about consciousness. Journal of Consciousness Studies, 27(5-6), 258-281.
Shea, N. (2012). Methodological encounters with the phenomenal kind. Philosophy and phenomenological research, 84(2), 307.
- есть еще пара статей на эту тему, но мне кажется методологически важным взглянуть на natural-kind approach к сознанию
Birch, J. (2024). The edge of sentience: risk and precaution in humans, other animals, and AI.
- про сознание животных и ИИ
Если есть вопросы, обращайтесь. Правда, я не эксперт по сознанию, скажем, курсы про него полноценные не читаю
Начну с некоторых дисклеймеров, мне кажется, они важны для работы с литературой по теме. Во-первых, проблематика, связанная с сознанием - это подавляюще философская проблематика, а проблематика является философской тогда, когда складывается из набора больших и общих проблем, которые непонятно как решать. Нет консенсуса относительно того, как изучать сознание, и что это вообще такое. В итоге разбирательство с сознанием - это не разговор об уточняющем переднем крае, наслаивающемся на хорошо протестированное, а разговор о том, кто чего понаписал, и почему одни люди считают, что другие в корне не правы.
Во-вторых, стоит сказать, что в философии дискуссии смещаются медленнее, чем у эмпириков, поэтому искать совсем новые материалы (последних 5 или 10 лет) там большого смысла нет. Обзоры эмпирических теорий сознания искать стоит просто из-за смены материала (возражения одни и те же). Чалмерс в The Conscious Mind дает хороший обзор набора позиций в дискуссии о феноменальном сознании, и он до сих пор полезен. Наверное, исключением будет сознание ИИ и животных.
В-третьих, я аккуратно не советую читать книги (именно книги) эмпириков о сознании. Деан/Грациано/Хамфри/Тонони/Кох и прочие им подобные люди философские книжки пишут специфически: они уходят в немного не те вопросы. Если у них есть статьи на тему, лучше читать статьи, а если статей по сознанию у кого-то нет, но он написал книжку, то странный он человек.
В-третьих, есть два подхода: можно 1) прочитать набор книжек, где каждый автор сформулировал свою позицию; или 2) ориентироваться на что-то более обзорное. Чтение кучи книжек с разными позициями - занятие серьезное, nobody ain't got no time for that, поэтому я сконцентрируюсь на 2). Ну, и найти центральную книжку каждого автора в целом можно через того же клода или чат.
Я бы посоветовал следующее (как книги, так и статьи):
https://plato.stanford.edu/entries/consciousness/ - статьи в Стенфордской энциклопедии философии (статьи Consciousness, Qualia, Zombie, Representational Theories of Consciousness и прочие). Энциклопедия очень хорошая, философы ей постоянно пользуются сами (и ее же пишут). Собственно, вместо более классических книжек Чалмерса, Деннета, Серла, Черчлендов, Суинберна и других авторов "первого калибра" для погружения можно читать энциклопедию - так как главных авторов читал много кто, материал хорошо разжеван
Seth, A. K., & Bayne, T. (2022). Theories of consciousness. Nature Reviews Neuroscience, 23(7), 439-452.
- большой обзор теорий сознания, он недавний, думаю, много кто видел. Про эмпирические теории сознания можно прочитать обзор или два, картина выстраивается вполне ясная
Block, N. (1995). On a confusion about a function of consciousness. Behavioral and brain sciences, 18(2), 227-247.
- наверное, центральная статья в дискуссии о функциях сознания. Для эмпирических людей (по-моему) обязательна к прочтению либо она, либо Mental paint and mental latex, либо еще что-то из Блока на эту тему
Bayne, T. (2012). The unity of consciousness. Oxford University Press.
- о проблеме единства сознания. Часто фокус в дискуссии смещен на узкие примеры осознанных состояний, здесь именно о том, как возможно единое сознание
Frankish, K. (2016). Illusionism as a theory of consciousness. Journal of Consciousness Studies, 23(11-12), 11-39.
- здесь изложена, скорее, позиция, но для понимания критики феноменального сознания стоит прочитать что-то более современное. Сюда же отнесу:
Chalmers, D. (2020). Debunking arguments for illusionism about consciousness. Journal of Consciousness Studies, 27(5-6), 258-281.
Shea, N. (2012). Methodological encounters with the phenomenal kind. Philosophy and phenomenological research, 84(2), 307.
- есть еще пара статей на эту тему, но мне кажется методологически важным взглянуть на natural-kind approach к сознанию
Birch, J. (2024). The edge of sentience: risk and precaution in humans, other animals, and AI.
- про сознание животных и ИИ
Если есть вопросы, обращайтесь. Правда, я не эксперт по сознанию, скажем, курсы про него полноценные не читаю
🔥16🦄3❤2🤓2
Нас 1000!
Приятно, что читаете! ❤️
Скоро расскажем про наши исследования!
Приятно, что читаете! ❤️
Скоро расскажем про наши исследования!
1⚡27🔥6
Forwarded from LIFT feed
iopscience.iop.org
First-in-human experience performing high-resolution cortical mapping using a novel microelectrode array containing 1,024 electrodes…
First-in-human experience performing high-resolution cortical mapping using a novel microelectrode array containing 1,024 electrodes, Konrad, Peter E, Gelman, Kate R, Lawrence, Jesse, Bhatia, Sanjay, Dister, Jacqueline, Sharma, Radhey, Ho, Elton, Byun, Yoon…
Впервые картировали мозг пациентов с помощью ЭКоГ высокого разрешения (0.4 мм), моторные и речевые зоны, интраоперационно. Precision Neuroscience, наконец, полноценно испытали свой тонкопленочный массив, который вмещает 1024 микроэлектрода на площади 1.5 см2 и может быть заведен через узкую щель в черепе. — Ранее мы неоднократно сообщали об их разработке (напр., здесь или здесь).
#tech | #prosthesis | #readout | #brain
#tech | #prosthesis | #readout | #brain
❤7
Новый нейротех стартап в US
Edward Chang основал компанию Echo Neurotechnologies и недавно привлек 50М для создание речевых(и не только) нейроинтерфесов
Edward долгое время возглавлял научную лабу в UCSF. Они много и упорно работали над речевыми имплантами(чтобы люди которые не могут говорить - смогли).
Обязательно посмотрите его научные работы - это мощь! Сейчас их главная цель - превратить научные достижения в продукт.
Ссылка на лабораторию: https://changlab.ucsf.edu/
Дополнительная информация
Чтобы никто не забыл, приведу список компаний, которые на слуху и занимаются инвазивными штуками(уже крутые).
US : precision, science, neuralink, synchron.
EU: onward, inbrain.
В России тоже подобным занимаются (не так здорово, но уверенно и стремительно).
RU: neiry и пифия , сенсор тех и зрение, motorica и тактильность.
Ещё кое-что добавлю по поводу русских компаний - деньги не те. То есть в Америке и даже в Европе у стартапа намного больше ресурсов.
Сама новость: https://www.techinasia.com/news/andreessen-horowitz-backs-50m-brain-tech-startup
Edward Chang основал компанию Echo Neurotechnologies и недавно привлек 50М для создание речевых(и не только) нейроинтерфесов
Edward долгое время возглавлял научную лабу в UCSF. Они много и упорно работали над речевыми имплантами(чтобы люди которые не могут говорить - смогли).
Обязательно посмотрите его научные работы - это мощь! Сейчас их главная цель - превратить научные достижения в продукт.
Ссылка на лабораторию: https://changlab.ucsf.edu/
Дополнительная информация
Чтобы никто не забыл, приведу список компаний, которые на слуху и занимаются инвазивными штуками(уже крутые).
US : precision, science, neuralink, synchron.
EU: onward, inbrain.
В России тоже подобным занимаются (не так здорово, но уверенно и стремительно).
RU: neiry и пифия , сенсор тех и зрение, motorica и тактильность.
Ещё кое-что добавлю по поводу русских компаний - деньги не те. То есть в Америке и даже в Европе у стартапа намного больше ресурсов.
Сама новость: https://www.techinasia.com/news/andreessen-horowitz-backs-50m-brain-tech-startup
❤7🦄4
Интересная статья про роботов!
Ребята из @rizzearch кстати делают классные обзоры про RL, Transformer. Сам их читаю, так что посмотрите)
Ребята из @rizzearch кстати делают классные обзоры про RL, Transformer. Сам их читаю, так что посмотрите)
❤4
Forwarded from rizzearch
FAST: Efficient Action Tokenization for Vision-Language-Action Models
зачем-то physical intelligence, которые делали pi0, себе второй домен забабахали pi.website, на котором запостили как они сделали токенизатор для робо действий
зачем? в принципе трансформер и оперирует в каждом своем слое над дискретными элементами (каждая голова каждого слоя интуитивно проталкивает только определенные токены дальше по сетке), а в роботике часто надо выпуливать многомерные непрерывные действия, так еще часто и с высокой частотой, а если еще пытаться решить достаточно сложную таску, то такую особенность становится невозможно игнорировать
ну и физикал интеллиженс пытался это решить как раз через флоу матчинг в прошлый раз, что более-менее и получилось (с нюансами), но они проработали и альтернативу в виде FAST
при том идея хороша тем, что построена она из привычных рабочих техник
- надо бы как-то эффективно сжимать временные ряды действий. можно бинаризовать - ок, но в случае высокой герцовки робота получается все больше бинов за все меньшее количество времени → медленный инференс. но можно вспомнить (или просто почитать предположение авторов), что траектории действий во времени являются все-таки гладкими, а значит и это можно использовать для компрессии
- lets go to the Discrete Cosine Transform! да, вот такой переход потому что это уже своего рода классика: будем получать наибольшее количество информации в низких частотах, а значит и можно будет сжимать очень многие высокие частоты)
- получим матрицу для каждого action chunk (о важности чего мы упоминали здесь), которую нам неплохо было бы представить в виде последовательности, чтобы потом использовать БПЕ (потому что скорее всего это тоже привычно и довольно удобно) → давайте флаттенить, да при том чтобы низкие частоты были в начале последовательности, а высокие (незначительные) в конце + допом сделаем scale-and-round операцию чтобы округлить до нулей все незначимое
- тогда и можно запускать бпе бррррр
примечательно еще то, что как будто такая идея может и расширяться за пределы обработки действий (а в принципе многомерных временных рядов)
по результатам он даже обгоняет первую версию их pi-модели с флоу матчингом. то есть (имхо) авторы пытаются дать эвиденс о том, что стоит по максимуму токенизировать все что только можно при работе с трансформерами прежде чем приступать к флоу матчингу (даже с трюками авторов по типу бета распределения версия с токенизатором обгоняет по результату, подтвердили на экспах где обучали оба метода до сходимости и где уравнивали бюджет компьюта)
при том это настолько хорошо вкладывается в пайплайн физикал интеллиженса, что они утверждают о возможности зеро-шота на DROID + там где происходит фейл на эпизоде, полиси делает не вообще полностью что-то рандомное
теперь к вопросам, которые появились
- перед DCT происходит нормализация в рейндж от - 1 до 1 на основе статистик датасета по первой и 99 квантили. FAST+, который они выпустили в опенсурс построен аналогичным путем и заявляет о своей универсальности. звучит немного странно с учетом такой нормализации. да, их датасет основан на многих роботах + 1млн траекторий
- но это все равно как будто слишком уникальное дело по поводу токенизации акншнов для робота + так же в экспериментах они говорят об низкой чувствительности к scale параметру перед округлением и вокаб сайзом для БПЕ → выбирают 10 и 1024. как будто второе число довольно-таки мало (особенно сравнивая с вокаб сайзом для лмок что не очень честно но хоть что-то), чтобы с удобоваримым пресижном сжимать действия,
но может я чего-то не понимаю в этой жизни и это довольно-таки интересный инсайт о природе рободействий в нашей реальности
👀 link, демки, code вроде выложили но там нету самой процедуры обучения токенизатора
зачем-то physical intelligence, которые делали pi0, себе второй домен забабахали pi.website, на котором запостили как они сделали токенизатор для робо действий
зачем? в принципе трансформер и оперирует в каждом своем слое над дискретными элементами (каждая голова каждого слоя интуитивно проталкивает только определенные токены дальше по сетке), а в роботике часто надо выпуливать многомерные непрерывные действия, так еще часто и с высокой частотой, а если еще пытаться решить достаточно сложную таску, то такую особенность становится невозможно игнорировать
ну и физикал интеллиженс пытался это решить как раз через флоу матчинг в прошлый раз, что более-менее и получилось (с нюансами), но они проработали и альтернативу в виде FAST
при том идея хороша тем, что построена она из привычных рабочих техник
- надо бы как-то эффективно сжимать временные ряды действий. можно бинаризовать - ок, но в случае высокой герцовки робота получается все больше бинов за все меньшее количество времени → медленный инференс. но можно вспомнить (или просто почитать предположение авторов), что траектории действий во времени являются все-таки гладкими, а значит и это можно использовать для компрессии
- lets go to the Discrete Cosine Transform! да, вот такой переход потому что это уже своего рода классика: будем получать наибольшее количество информации в низких частотах, а значит и можно будет сжимать очень многие высокие частоты)
- получим матрицу для каждого action chunk (о важности чего мы упоминали здесь), которую нам неплохо было бы представить в виде последовательности, чтобы потом использовать БПЕ (потому что скорее всего это тоже привычно и довольно удобно) → давайте флаттенить, да при том чтобы низкие частоты были в начале последовательности, а высокие (незначительные) в конце + допом сделаем scale-and-round операцию чтобы округлить до нулей все незначимое
- тогда и можно запускать бпе бррррр
примечательно еще то, что как будто такая идея может и расширяться за пределы обработки действий (а в принципе многомерных временных рядов)
по результатам он даже обгоняет первую версию их pi-модели с флоу матчингом. то есть (имхо) авторы пытаются дать эвиденс о том, что стоит по максимуму токенизировать все что только можно при работе с трансформерами прежде чем приступать к флоу матчингу (даже с трюками авторов по типу бета распределения версия с токенизатором обгоняет по результату, подтвердили на экспах где обучали оба метода до сходимости и где уравнивали бюджет компьюта)
при том это настолько хорошо вкладывается в пайплайн физикал интеллиженса, что они утверждают о возможности зеро-шота на DROID + там где происходит фейл на эпизоде, полиси делает не вообще полностью что-то рандомное
теперь к вопросам, которые появились
- перед DCT происходит нормализация в рейндж от - 1 до 1 на основе статистик датасета по первой и 99 квантили. FAST+, который они выпустили в опенсурс построен аналогичным путем и заявляет о своей универсальности. звучит немного странно с учетом такой нормализации. да, их датасет основан на многих роботах + 1млн траекторий
- но это все равно как будто слишком уникальное дело по поводу токенизации акншнов для робота + так же в экспериментах они говорят об низкой чувствительности к scale параметру перед округлением и вокаб сайзом для БПЕ → выбирают 10 и 1024. как будто второе число довольно-таки мало (особенно сравнивая с вокаб сайзом для лмок что не очень честно но хоть что-то), чтобы с удобоваримым пресижном сжимать действия,
но может я чего-то не понимаю в этой жизни и это довольно-таки интересный инсайт о природе рободействий в нашей реальности
👀 link, демки, code вроде выложили но там нету самой процедуры обучения токенизатора
Кто хотел разобраться как этот ваш ChatGPT работает? И что там под капотом?
Пожалуйста 3 часа чистого кайфа от Андрея Карпатного!
Пожалуйста 3 часа чистого кайфа от Андрея Карпатного!
❤2
Forwarded from Нейроинтерфейсы (Sergei Shishkin)
Совсем свежее введение в LLM и их возможности от Андрея Карпатого, в прошлом одного из сооснователей OpenAI и директора по AI в Tesla. Говорят, очень ясное, простое и доходчивое.
YouTube
Deep Dive into LLMs like ChatGPT
This is a general audience deep dive into the Large Language Model (LLM) AI technology that powers ChatGPT and related products. It is covers the full training stack of how the models are developed, along with mental models of how to think about their "psychology"…
❤7🔥1
Давайте знакомиться
Меня зовут Александр Ковалев, я админ канала и пишу обзоры статей (вместе с Алексеем Тимченко).
Я почти все время совмещал работу в науке и в индустрии. Разрабатываю нейроинтерфейсы и тренирую разные детекторы, сегментаторы, матчинги. Также я сооснователь ALVI Labs - мы там с командой создали работающий мышечный интерфейс для людей без рук. Он классно работал (ссылка), правда, сейчас проект на паузе.
А сейчас о самом интересном - я на этой неделе начал работать над нейроимплантами для восстановления зрения в лаборатории Eduardo Fernandez в Испании. Они имплантируют электроды непосредственно в визуальную кору мозга, чтобы вернуть людям возможность видеть.
У них уже было четыре волонтёра, которые абсолютно ничего не могли видеть - каждый из них по полгода использовал Utah Array (представьте массив микроскопических электродов в мозге). И вскоре, возможно, присоединится пятый участник. Я её даже несколько раз видел в лабе.
Так что теперь официально: Research Scientist + PhD Student по биоинженерии. И пишите, если есть идеи по улучшению визуальных имплантов - всегда рад обсудить новые подходы!
Меня зовут Александр Ковалев, я админ канала и пишу обзоры статей (вместе с Алексеем Тимченко).
Я почти все время совмещал работу в науке и в индустрии. Разрабатываю нейроинтерфейсы и тренирую разные детекторы, сегментаторы, матчинги. Также я сооснователь ALVI Labs - мы там с командой создали работающий мышечный интерфейс для людей без рук. Он классно работал (ссылка), правда, сейчас проект на паузе.
А сейчас о самом интересном - я на этой неделе начал работать над нейроимплантами для восстановления зрения в лаборатории Eduardo Fernandez в Испании. Они имплантируют электроды непосредственно в визуальную кору мозга, чтобы вернуть людям возможность видеть.
У них уже было четыре волонтёра, которые абсолютно ничего не могли видеть - каждый из них по полгода использовал Utah Array (представьте массив микроскопических электродов в мозге). И вскоре, возможно, присоединится пятый участник. Я её даже несколько раз видел в лабе.
Моя главная задача - улучшить стимуляцию так, чтобы люди могли различать не просто вспышки света (фосфены), а действительно видеть сложные образы и формы. А в целом - сделать удобнее, круче, выше, сильнее.
Так что теперь официально: Research Scientist + PhD Student по биоинженерии. И пишите, если есть идеи по улучшению визуальных имплантов - всегда рад обсудить новые подходы!
🔥43🦄7
😬 Experiencing stress is linked to changes in the brain.
The paradigm is shifting from brain-centric to brain-body connection recognition. Possibly we will unlock many more channels of gut-brain information exchange.
Practically, one way to modulate this axis is vagus nerve stimulation, which can be done minimally invasively via placing electrodes on the ear.
Exciting stuff, embodied cognition is becoming more of a dogma than just a hypothesis ✨
https://www.thetransmitter.org/neuroimmunology/rethinking-mental-health-the-bodys-impact-on-the-brain/
The paradigm is shifting from brain-centric to brain-body connection recognition. Possibly we will unlock many more channels of gut-brain information exchange.
Practically, one way to modulate this axis is vagus nerve stimulation, which can be done minimally invasively via placing electrodes on the ear.
Exciting stuff, embodied cognition is becoming more of a dogma than just a hypothesis ✨
https://www.thetransmitter.org/neuroimmunology/rethinking-mental-health-the-bodys-impact-on-the-brain/
The Transmitter
Rethinking mental health: The body’s impact on the brain
Mounting evidence illustrates how peripheral molecules can influence brain function, offering new therapeutic targets.
❤4🔥2