О том, почему механизм слоя VI играет важное значение.
Продолжение объяснения механизма работы слоя VI в мозге.
- Частные случаи урезанной реализации слоя VI в современных нейронных сетях.
- Обобщение данной механики на глобальном (дофамин) и локальном (слой VI) уровне.
Таким образом, в обоих случаях происходит адаптивное управление сигналами: если сигнал оказывается важным и неожиданным – его усиливают, если нет – он подавляется. Это универсальный принцип, который можно назвать как механизмом новизны, так и механизмом ошибки предсказания, поскольку они отражают одну и ту же общую функцию в системе обработки информации.
Теория предсказывающего кодирования предполагает, что кора постоянно сравнивает ожидания с входящими сигналами, а таламокортикальные связи (с участием слоя VI) могут реализовывать "корректирующие" сигналы, похожие на RPE.
В экспериментах с оптогенетикой показано, что нарушения в слое VI приводят к дефициту обработки новизны, что напоминает эффекты дисфункции дофаминовой системы.
Продолжение объяснения механизма работы слоя VI в мозге.
- Частные случаи урезанной реализации слоя VI в современных нейронных сетях.
- Обобщение данной механики на глобальном (дофамин) и локальном (слой VI) уровне.
Таким образом, в обоих случаях происходит адаптивное управление сигналами: если сигнал оказывается важным и неожиданным – его усиливают, если нет – он подавляется. Это универсальный принцип, который можно назвать как механизмом новизны, так и механизмом ошибки предсказания, поскольку они отражают одну и ту же общую функцию в системе обработки информации.
Теория предсказывающего кодирования предполагает, что кора постоянно сравнивает ожидания с входящими сигналами, а таламокортикальные связи (с участием слоя VI) могут реализовывать "корректирующие" сигналы, похожие на RPE.
В экспериментах с оптогенетикой показано, что нарушения в слое VI приводят к дефициту обработки новизны, что напоминает эффекты дисфункции дофаминовой системы.
👍2
Ошибка предсказания и контраст — два ключевых механизма, которые помогают мозгу интерпретировать мир. В основе лежит способность мозга делать предсказания о будущих событиях, исходя из опыта. Ошибка предсказания возникает, когда реальный сигнал отличается от того, что мы ожидали. Например, мы ожидаем услышать шелест листьев, но слышим громкий шум, наш мозг замечает ошибку и быстро регистрирует отличие — это сигнал, который помогает нам адаптироваться. Это важно для выживания, так как помогает мозгу распознавать и реагировать на неожиданное(угроза, источник пищи или опасности). Контраст, позволяет мозгу выделять важные изменения в окружающем мире, отделяя значимые сигналы от фона. Представьте, что вы находитесь в лесу. Если шелест листьев будет одинаковым, вы не будете на него реагировать. Но если звук изменится (дикий зверь), контраст между обычным и неожиданным шумом мгновенно привлечет ваше внимание. Этот механизм помогает усиливать внимание, прежде всего, к новым и важным данным, игнорируя обычные сигналы.
🔥4🤔1
Что такое Self-attention (механизм самовнимания) на уровне биологии?
К сожалению, ни одна лекция и ни одна статья не раскрывают биологию механизма внимания. В свое время, я столкнулся с тем, что среди лекторов и разработчиков ни кто не понимает, что такое на самом деле механизм внимания и какую биологию описывает его формула.
На самом деле, смысл очень простой на уровне биологии.
Self-attention - это тот редкий случай, когда механизм открыли инженеры, а не нейробиологи.
Но при этом, нейробиологии из DeepMind явно поняли, что получили Google Brain. Почему? Все дальнейшие работы DeepMind направлены на правильное расширение механизма внимания.
Этот пост прежде всего нужен для того, чтобы исправить эту проблему. Так как все что есть в нейронных сетях - реализует разные механизмы внутри мозга, но в более упрощенном виде.
Я очень хотел бы, чтобы в лекциях про механизм внимания лекторы раскрывали бы биологию этого процесса. А не просто описывали перемножение матриц, смысл которых сами не понимают.
К сожалению, ни одна лекция и ни одна статья не раскрывают биологию механизма внимания. В свое время, я столкнулся с тем, что среди лекторов и разработчиков ни кто не понимает, что такое на самом деле механизм внимания и какую биологию описывает его формула.
На самом деле, смысл очень простой на уровне биологии.
Self-attention - это тот редкий случай, когда механизм открыли инженеры, а не нейробиологи.
Но при этом, нейробиологии из DeepMind явно поняли, что получили Google Brain. Почему? Все дальнейшие работы DeepMind направлены на правильное расширение механизма внимания.
Этот пост прежде всего нужен для того, чтобы исправить эту проблему. Так как все что есть в нейронных сетях - реализует разные механизмы внутри мозга, но в более упрощенном виде.
Я очень хотел бы, чтобы в лекциях про механизм внимания лекторы раскрывали бы биологию этого процесса. А не просто описывали перемножение матриц, смысл которых сами не понимают.
👍2