Исследования показали, что восприятие речи опирается на динамический иерархический граф пауз, где узлы представляют разные уровни детализации: слоги, слова, фразы и смысловые блоки. Механизм внимания управляет перемещением по графу, переключая фокус между уровнями в зависимости от контекста. Такой подход обеспечивает адаптивную обработку звуковой информации и выявляет ключевую роль пауз в структурировании речи.

Ранее анализ пауз через кластеризацию оказался неэффективным из-за ошибок фильтрации данных, что привело к ошибочному выводу о частоте одно- и двусловных смысловых блоков. Это потребовало пересмотра подхода и детального анализа, который раскрыл графовую природу пауз. Похожий принцип был обнаружен и в зрении, где внимание управляет пространственным графом объектов. Эти открытия дают новые возможности для моделирования когнитивных процессов и создания более эффективных технологий искусственного интеллекта.

Ссылки на научные статьи в комментариях + объяснение, почему кластеризация пауз провалилась

Речь и зрение формируют графы, которые структурно различны, но функционально схожи: граф речи носит последовательный характер, тогда как граф зрения организован пространственно. Уровень внимания внутри таких графов играет ключевую роль, выступая модулятором сигнала при консолидации в долговременную память. Сильный уровень внимания способствует активации более длинных нейронных цепочек, сохраняя детализированную информацию, тогда как слабый сигнал ограничивает активацию локальными маршрутами. Этот механизм обеспечивает энергоэффективность, позволяя мозгу адаптивно распределять ресурсы в зависимости от значимости события.

Обратная связь с долговременной памятью ослабляет внимание к знакомым событиям или усиливает его для новых. Зоны внимания взаимосвязаны: эмоциональное возбуждение через лимбическую систему может снижать смысловую обработку. Нейромедиаторы регулируют маршруты: кортизол ослабляет влияние лобной коры, дофамин усиливает глобальные цепочки, а норадреналин поддерживает локальную обработку.

Механизм внимания, как в мозге, так и в нейронных сетях, выполняет ключевую функцию управления информационными потоками. В биологии он возник как способ взаимодействия одних зон мозга с другими через модуляцию сигналов: усиливая или ослабляя их, зоны не нарушают уже сформированные связи, но гибко адаптируются к текущим задачам. Аналогично в нейронных сетях self-attention позволяет моделям выбирать, какие части входных данных наиболее важны, воздействуя на маршруты внутри слоя. Однако современные подходы не учитывают многие аспекты, присущие биологическому вниманию, такие как временные ритмы, иерархия глобального и локального внимания, а также влияние "эмоционального контекста" через аналоги нейромедиаторов.

Для преодоления ограничений перспективными является SSM модели или ритмическая модуляция, создание глобально-локальной иерархии внимания, где глобальные задачи направляют локальную обработку, и разработка "нейромедиаторных" модулей, способных адаптировать сеть под текущие условия.

Чего очень не хватает в искусственных нейронных сетях?

Таламус — ключевой узел в мозге, выполняющий роль релейного центра, фильтрующего и модулирующего потоки информации между сенсорными областями и корой. Его релейные клетки работают в двух режимах: передающем, когда сигналы проходят в неизменном виде, и осцилляторном, когда формируются ритмические паттерны, влияющие на внимание и восприятие. Генерируя глобальные ритмы, таламус синхронизирует активность корковых областей, регулируя когнитивные процессы. В частности, при формировании речи он участвует в выборе следующего слова, модулируя активность лобной коры, которая оперирует множеством возможных вариантов, например, ["плохо", "идиот"], и направляет выбор в соответствии с контекстом и внутренними состояниями.

Именно это, один из главных факторов галлюцинаций LLM.