Асимметрия сигнала, наверное самое важное, что надо понять для
1) понимания, как работает мозг от нейрона до зон мозга
2) как можно улучшить работу любой сети, так как любой сигнал имеющий признак/паттерн имеет асимметрию
3) как устроена асимметрия не только на уровне нейронной модели, но и как обобщенный инструмент при анализе любого сигнала: физика, химия, биология и так далее.
Асимметрию вероятности придумал не я. Она используется в биологических моделях, в инженерных при анализе дефектов или шума и автоматах (Symbolic Dynamic Filtering, PFSA, HMM-подходы).
Тогда что нового?
1) Унификация трёх типов асимметрии
2) Иерархия автоматов
3) Использование остаточного сигнала как локальной ошибки для саморегуляции без явного внешнего обучения
Таким образом, основная идея «выделения устойчивых асимметрий через вложенные автоматы» отлично ложится на уже существующие методы SDF/PFSA и higher-order спектральную аналитику, но при этом расширяет их.
1) понимания, как работает мозг от нейрона до зон мозга
2) как можно улучшить работу любой сети, так как любой сигнал имеющий признак/паттерн имеет асимметрию
3) как устроена асимметрия не только на уровне нейронной модели, но и как обобщенный инструмент при анализе любого сигнала: физика, химия, биология и так далее.
Асимметрию вероятности придумал не я. Она используется в биологических моделях, в инженерных при анализе дефектов или шума и автоматах (Symbolic Dynamic Filtering, PFSA, HMM-подходы).
Тогда что нового?
1) Унификация трёх типов асимметрии
2) Иерархия автоматов
3) Использование остаточного сигнала как локальной ошибки для саморегуляции без явного внешнего обучения
Таким образом, основная идея «выделения устойчивых асимметрий через вложенные автоматы» отлично ложится на уже существующие методы SDF/PFSA и higher-order спектральную аналитику, но при этом расширяет их.
👍1
Теперь мы можем применять понятие асимметрии вероятности сигнала к различным моделям. В нашем случае, это позволяет понять работу от нейрона до мозга.
В отличии от стандартной меры асимметрии из математики или автоматные методы выделения признаков:
- Symbolic Dynamic Filtering (SDF) с построением Probabilistic Finite State Automata (PFSA)
- Иерархические автоматные модели в когнитивных науках
Мы же рассматриваем динамику процесса, через:
- работы сразу с тремя видами асимметрии,
- динамической гистерезисной обработки,
- иерархической самоорганизации без внешнего сигнала ошибки.
- улавливает поведение сигнала во времени, а не просто его значения.
Часть автомата уже используются. Нейронаучные исследования («cycle-by-cycle» анализ) Scott R. Cole, Позволяют выявлять устойчивые формы волны, которые дают больше информации, чем обычный спектр
- метеорологии (модели климатических циклов)
- инженерии (вибрации и колебания)
Поэтому каждый участок мозга, можно рассматривать, как асимметричный автомат с вложенными.
В отличии от стандартной меры асимметрии из математики или автоматные методы выделения признаков:
- Symbolic Dynamic Filtering (SDF) с построением Probabilistic Finite State Automata (PFSA)
- Иерархические автоматные модели в когнитивных науках
Мы же рассматриваем динамику процесса, через:
- работы сразу с тремя видами асимметрии,
- динамической гистерезисной обработки,
- иерархической самоорганизации без внешнего сигнала ошибки.
- улавливает поведение сигнала во времени, а не просто его значения.
Часть автомата уже используются. Нейронаучные исследования («cycle-by-cycle» анализ) Scott R. Cole, Позволяют выявлять устойчивые формы волны, которые дают больше информации, чем обычный спектр
- метеорологии (модели климатических циклов)
- инженерии (вибрации и колебания)
Поэтому каждый участок мозга, можно рассматривать, как асимметричный автомат с вложенными.
👍3
Удалось обнаружить, что асимметрия сигнала лежит в основе иерархической структуры обработки информации в нейронных системах: от отдельного нейрона до крупных ассоциативных зон мозга. Каждому уровню соответствует своя степень асимметрии, и когда она становится неразличимой от шума, система переходит на следующий уровень абстракции — от букв к словам, от слов к синтагмам и далее. Эта иерархия формирует хаотичный, но ограниченный биологическими пределами фрактал признаков, в котором каждый уровень асимметрии выделяется специализированным блоком — аналогом слоя трансформера. Такая структура задаёт естественную инициализацию нейронной сети: каждый слой должен быть настроен на распознавание паттернов с определённой степенью асимметрии, что формирует базу для обучения и адаптации модели в условиях реального шума.
Это должно многократно повысить скорость обучения за счет того. что мы заранее инициализируем каждый блок на обобщенный признак. Обучение лишь детализирует его.
Сейчас тестирую обобщение признаков LLM.
Это должно многократно повысить скорость обучения за счет того. что мы заранее инициализируем каждый блок на обобщенный признак. Обучение лишь детализирует его.
Сейчас тестирую обобщение признаков LLM.
👍2