То что речь оказалась последовательным графом, где паузы являются узлами. Позволило увидеть такие вещи, как различные уровни детализации и переключение по ним механизма внимания. В свою очередь это позволило понять, что когнитивными способности разных существ имеют свой максимальный уровень узлов (в плане их интерпретации). Для кошки это например эмоциональные фразы или звуки, для людей смысловые узлы, для более развитых существ это смысловые блоки длиной 1 минута (как абстрактный пример).
Это позволило, построить мат. модель, которая утверждает:
- имея двух Носителей разного языка, где хотя бы один из них понимает второго
- на большом множестве диалогов, мы получаем систему конвертирующую языковой контекст между Носителями двух разных языков.
Контекст ≠ смысл. Для кошки возможно максимальным уровнем речевых узлов - будет эмоциональный уровень фраз. А для крокодила - эмоциональный уровень звуков или просто звуки.
Путешественник говорит "прилетел на самолете" - житель племени понимает "пришел из-за горы".
Это позволило, построить мат. модель, которая утверждает:
- имея двух Носителей разного языка, где хотя бы один из них понимает второго
- на большом множестве диалогов, мы получаем систему конвертирующую языковой контекст между Носителями двух разных языков.
Контекст ≠ смысл. Для кошки возможно максимальным уровнем речевых узлов - будет эмоциональный уровень фраз. А для крокодила - эмоциональный уровень звуков или просто звуки.
Путешественник говорит "прилетел на самолете" - житель племени понимает "пришел из-за горы".
🤔3🔥1
Я так понимаю, не всем было понятно предсказание слов. И некоторые перепутали прогнозирование цепочки слов и выбор слова из множества. Это два разных процесса. Прогнозирование слов в LLM - это глобальный механизм внимания, который модулирует (усиливает или ослабляет сигналы) позиции слов и их связи (через их маршруты).
А вот выбор конкретного слова из множества - случайное и ограниченно температурой.
В современных LLM выбор слов происходит статистически: модель генерирует список возможных вариантов и случайным образом выбирает одно из них в зависимости от вероятностей. У человека же этот процесс управляется динамическим вниманием – выбор слова зависит от сенсорных данных, эмоций, контекста и когнитивных процессов. Например, если человек видит стол, слышит шум или испытывает страх, это влияет на то, какое слово будет выбрано. В отличие от LLM, мозг не выбирает слова случайно, а осмысленно фильтрует их через сложную систему модуляции внимания.
А вот выбор конкретного слова из множества - случайное и ограниченно температурой.
В современных LLM выбор слов происходит статистически: модель генерирует список возможных вариантов и случайным образом выбирает одно из них в зависимости от вероятностей. У человека же этот процесс управляется динамическим вниманием – выбор слова зависит от сенсорных данных, эмоций, контекста и когнитивных процессов. Например, если человек видит стол, слышит шум или испытывает страх, это влияет на то, какое слово будет выбрано. В отличие от LLM, мозг не выбирает слова случайно, а осмысленно фильтрует их через сложную систему модуляции внимания.
👍1
Выше механизм реальной обратной связи:
- определяет новизну сигнала
- усиливает важный
- ускоряет обучение
В рассмотренной модели механизм определения новизны реализуется в слое VI, который вычисляет контрастное кодирование входящего сигнала посредством разницы между максимальным и средним значениями активаций. Этот показатель, отражающий неожиданное усиление (новизну), нормализуется с помощью softmax, что позволяет получить конкурентное распределение важности по каналам. Полученный сигнал новизны затем направляется обратно в слой IV в виде модулирующего коэффициента: если новизна высока, соответствующий канал усиливается, что позволяет сигналу пройти по глобальному маршруту обработки; если же новизна низкая, сигнал остаётся на локальном маршруте. Такой механизм обратной связи, вдохновлённый биологическими процессами топ-даун модуляции в первичной слуховой коре, обеспечивает адаптивное переключение между глобальными и локальными маршрутами, позволяя системе фокусироваться на наиболее значимых паттернах.
- определяет новизну сигнала
- усиливает важный
- ускоряет обучение
В рассмотренной модели механизм определения новизны реализуется в слое VI, который вычисляет контрастное кодирование входящего сигнала посредством разницы между максимальным и средним значениями активаций. Этот показатель, отражающий неожиданное усиление (новизну), нормализуется с помощью softmax, что позволяет получить конкурентное распределение важности по каналам. Полученный сигнал новизны затем направляется обратно в слой IV в виде модулирующего коэффициента: если новизна высока, соответствующий канал усиливается, что позволяет сигналу пройти по глобальному маршруту обработки; если же новизна низкая, сигнал остаётся на локальном маршруте. Такой механизм обратной связи, вдохновлённый биологическими процессами топ-даун модуляции в первичной слуховой коре, обеспечивает адаптивное переключение между глобальными и локальными маршрутами, позволяя системе фокусироваться на наиболее значимых паттернах.
В мозге слой VI играет ключевую роль в обработке новизны сигнала, выделяя неожиданные изменения в потоке информации. Сравнивает поступающие данные с фоновым уровнем активности и усиливает или подавляет сигналы в зависимости от их контрастности. Механизм позволяет адаптироваться к новым стимулам, выделяя значимые особенности и подавляя предсказуемый шум. В отличие от обычного softmax, который просто нормализует вероятности, биологический механизм новизны использует раздельное усиление и торможение сигналов, что делает процесс приближенным к работе мозга.
Хотя слой VI напоминает классификатор, его функция шире. Классификатор на выходе нейросети жестко присваивает объекту вероятность принадлежности к определенному классу, механизм новизны слоя VI динамически модулирует активность других слоев. Он не просто определяет "что это", а регулирует, насколько важно это для дальнейшей обработки. Это позволяет мозгу не только распознавать объекты, но и учитывать контекст, адаптируя внимание к наиболее значимым стимулам.
Хотя слой VI напоминает классификатор, его функция шире. Классификатор на выходе нейросети жестко присваивает объекту вероятность принадлежности к определенному классу, механизм новизны слоя VI динамически модулирует активность других слоев. Он не просто определяет "что это", а регулирует, насколько важно это для дальнейшей обработки. Это позволяет мозгу не только распознавать объекты, но и учитывать контекст, адаптируя внимание к наиболее значимым стимулам.
О том, почему механизм слоя VI играет важное значение.
Продолжение объяснения механизма работы слоя VI в мозге.
- Частные случаи урезанной реализации слоя VI в современных нейронных сетях.
- Обобщение данной механики на глобальном (дофамин) и локальном (слой VI) уровне.
Таким образом, в обоих случаях происходит адаптивное управление сигналами: если сигнал оказывается важным и неожиданным – его усиливают, если нет – он подавляется. Это универсальный принцип, который можно назвать как механизмом новизны, так и механизмом ошибки предсказания, поскольку они отражают одну и ту же общую функцию в системе обработки информации.
Теория предсказывающего кодирования предполагает, что кора постоянно сравнивает ожидания с входящими сигналами, а таламокортикальные связи (с участием слоя VI) могут реализовывать "корректирующие" сигналы, похожие на RPE.
В экспериментах с оптогенетикой показано, что нарушения в слое VI приводят к дефициту обработки новизны, что напоминает эффекты дисфункции дофаминовой системы.
Продолжение объяснения механизма работы слоя VI в мозге.
- Частные случаи урезанной реализации слоя VI в современных нейронных сетях.
- Обобщение данной механики на глобальном (дофамин) и локальном (слой VI) уровне.
Таким образом, в обоих случаях происходит адаптивное управление сигналами: если сигнал оказывается важным и неожиданным – его усиливают, если нет – он подавляется. Это универсальный принцип, который можно назвать как механизмом новизны, так и механизмом ошибки предсказания, поскольку они отражают одну и ту же общую функцию в системе обработки информации.
Теория предсказывающего кодирования предполагает, что кора постоянно сравнивает ожидания с входящими сигналами, а таламокортикальные связи (с участием слоя VI) могут реализовывать "корректирующие" сигналы, похожие на RPE.
В экспериментах с оптогенетикой показано, что нарушения в слое VI приводят к дефициту обработки новизны, что напоминает эффекты дисфункции дофаминовой системы.
👍2