Речь и зрение формируют графы, которые структурно различны, но функционально схожи: граф речи носит последовательный характер, тогда как граф зрения организован пространственно. Уровень внимания внутри таких графов играет ключевую роль, выступая модулятором сигнала при консолидации в долговременную память. Сильный уровень внимания способствует активации более длинных нейронных цепочек, сохраняя детализированную информацию, тогда как слабый сигнал ограничивает активацию локальными маршрутами. Этот механизм обеспечивает энергоэффективность, позволяя мозгу адаптивно распределять ресурсы в зависимости от значимости события.

Обратная связь с долговременной памятью ослабляет внимание к знакомым событиям или усиливает его для новых. Зоны внимания взаимосвязаны: эмоциональное возбуждение через лимбическую систему может снижать смысловую обработку. Нейромедиаторы регулируют маршруты: кортизол ослабляет влияние лобной коры, дофамин усиливает глобальные цепочки, а норадреналин поддерживает локальную обработку.

Механизм внимания, как в мозге, так и в нейронных сетях, выполняет ключевую функцию управления информационными потоками. В биологии он возник как способ взаимодействия одних зон мозга с другими через модуляцию сигналов: усиливая или ослабляя их, зоны не нарушают уже сформированные связи, но гибко адаптируются к текущим задачам. Аналогично в нейронных сетях self-attention позволяет моделям выбирать, какие части входных данных наиболее важны, воздействуя на маршруты внутри слоя. Однако современные подходы не учитывают многие аспекты, присущие биологическому вниманию, такие как временные ритмы, иерархия глобального и локального внимания, а также влияние "эмоционального контекста" через аналоги нейромедиаторов.

Для преодоления ограничений перспективными является SSM модели или ритмическая модуляция, создание глобально-локальной иерархии внимания, где глобальные задачи направляют локальную обработку, и разработка "нейромедиаторных" модулей, способных адаптировать сеть под текущие условия.

Чего очень не хватает в искусственных нейронных сетях?

Таламус — ключевой узел в мозге, выполняющий роль релейного центра, фильтрующего и модулирующего потоки информации между сенсорными областями и корой. Его релейные клетки работают в двух режимах: передающем, когда сигналы проходят в неизменном виде, и осцилляторном, когда формируются ритмические паттерны, влияющие на внимание и восприятие. Генерируя глобальные ритмы, таламус синхронизирует активность корковых областей, регулируя когнитивные процессы. В частности, при формировании речи он участвует в выборе следующего слова, модулируя активность лобной коры, которая оперирует множеством возможных вариантов, например, ["плохо", "идиот"], и направляет выбор в соответствии с контекстом и внутренними состояниями.

Именно это, один из главных факторов галлюцинаций LLM.

Прошлый пост про таламус. плавно подвел к теме, почему LLM галлюцинируют. Этот пост про это.
Почему LLM выбирают слова случайно, а мозг – осознанно?

Современные языковые модели (LLM) предсказывают слова на основе вероятностей. Они строят список возможных вариантов и выбирают одно из них случайно (с учетом температуры и других параметров). В отличие от этого, мозг использует динамическое внимание: выбор слова зависит от сенсорных сигналов, эмоций, памяти и глобального контекста. Например, если человек видит перед собой стол, вероятность выбрать слово "стол" возрастает.

Эта разница объясняет, почему LLM иногда допускают нелепые ошибки или галлюцинируют. Они не фильтруют слова осмысленно, а просто выбирают их по статистике. Если добавить к LLM механизм модуляции выбора слов, как в мозге, модели станут более осмысленными,

Ошибка возникает из-за случайного выбора в top-k/nucleus sampling — если бы механизм выбора учитывал глобальный контекст, таких ошибок было бы меньше.

LLM не модулирует свое внимание.