Теперь мы можем применять понятие асимметрии вероятности сигнала к различным моделям. В нашем случае, это позволяет понять работу от нейрона до мозга.
В отличии от стандартной меры асимметрии из математики или автоматные методы выделения признаков:
- Symbolic Dynamic Filtering (SDF) с построением Probabilistic Finite State Automata (PFSA)
- Иерархические автоматные модели в когнитивных науках
Мы же рассматриваем динамику процесса, через:
- работы сразу с тремя видами асимметрии,
- динамической гистерезисной обработки,
- иерархической самоорганизации без внешнего сигнала ошибки.
- улавливает поведение сигнала во времени, а не просто его значения.
Часть автомата уже используются. Нейронаучные исследования («cycle-by-cycle» анализ) Scott R. Cole, Позволяют выявлять устойчивые формы волны, которые дают больше информации, чем обычный спектр
- метеорологии (модели климатических циклов)
- инженерии (вибрации и колебания)
Поэтому каждый участок мозга, можно рассматривать, как асимметричный автомат с вложенными.
В отличии от стандартной меры асимметрии из математики или автоматные методы выделения признаков:
- Symbolic Dynamic Filtering (SDF) с построением Probabilistic Finite State Automata (PFSA)
- Иерархические автоматные модели в когнитивных науках
Мы же рассматриваем динамику процесса, через:
- работы сразу с тремя видами асимметрии,
- динамической гистерезисной обработки,
- иерархической самоорганизации без внешнего сигнала ошибки.
- улавливает поведение сигнала во времени, а не просто его значения.
Часть автомата уже используются. Нейронаучные исследования («cycle-by-cycle» анализ) Scott R. Cole, Позволяют выявлять устойчивые формы волны, которые дают больше информации, чем обычный спектр
- метеорологии (модели климатических циклов)
- инженерии (вибрации и колебания)
Поэтому каждый участок мозга, можно рассматривать, как асимметричный автомат с вложенными.
👍3
Удалось обнаружить, что асимметрия сигнала лежит в основе иерархической структуры обработки информации в нейронных системах: от отдельного нейрона до крупных ассоциативных зон мозга. Каждому уровню соответствует своя степень асимметрии, и когда она становится неразличимой от шума, система переходит на следующий уровень абстракции — от букв к словам, от слов к синтагмам и далее. Эта иерархия формирует хаотичный, но ограниченный биологическими пределами фрактал признаков, в котором каждый уровень асимметрии выделяется специализированным блоком — аналогом слоя трансформера. Такая структура задаёт естественную инициализацию нейронной сети: каждый слой должен быть настроен на распознавание паттернов с определённой степенью асимметрии, что формирует базу для обучения и адаптации модели в условиях реального шума.
Это должно многократно повысить скорость обучения за счет того. что мы заранее инициализируем каждый блок на обобщенный признак. Обучение лишь детализирует его.
Сейчас тестирую обобщение признаков LLM.
Это должно многократно повысить скорость обучения за счет того. что мы заранее инициализируем каждый блок на обобщенный признак. Обучение лишь детализирует его.
Сейчас тестирую обобщение признаков LLM.
👍2
Сейчас отлаживается блочная архитектура.
В посте описана ее основа. В прежних версиях была отработана 6-и слойная модель и разные решения у слоев.
Сейчас это - модель автомата асимметрии. Она не привязана к биологии, но она идеально описывает биологию нейронов.
Гистерезис - привел к пониманию асимметрии.
Шестислойная модель (не только она) - разработке конечного автомата.
Асимметрия сигнала - к созданию иерархии вложенных автоматов.
Текущая архитектура позволяет сократить размер глобального контекста до нескольких сотен токенов, вместо десятков тысяч в современных LLM.
Асимметрия признаков - позволяет выделить самые сильные асимметрии и инициализировать веса. Обучение детализирует их для моделей любого размера и архитектуры.
Новый метод обучения, позволяет ускорить и распараллелить обучение блоков.
Далее, разберём как на основе асимметрии из звуков получаются фонемы, буквы, слова, предложения. Почему их кол-во ограничено. Почему происходит переход от букв к словам. Затем перейдем к саморефлексии.
В посте описана ее основа. В прежних версиях была отработана 6-и слойная модель и разные решения у слоев.
Сейчас это - модель автомата асимметрии. Она не привязана к биологии, но она идеально описывает биологию нейронов.
Гистерезис - привел к пониманию асимметрии.
Шестислойная модель (не только она) - разработке конечного автомата.
Асимметрия сигнала - к созданию иерархии вложенных автоматов.
Текущая архитектура позволяет сократить размер глобального контекста до нескольких сотен токенов, вместо десятков тысяч в современных LLM.
Асимметрия признаков - позволяет выделить самые сильные асимметрии и инициализировать веса. Обучение детализирует их для моделей любого размера и архитектуры.
Новый метод обучения, позволяет ускорить и распараллелить обучение блоков.
Далее, разберём как на основе асимметрии из звуков получаются фонемы, буквы, слова, предложения. Почему их кол-во ограничено. Почему происходит переход от букв к словам. Затем перейдем к саморефлексии.
🔥2