Я бы хотел сделать несколько постов, которые детально разжевали бы вывод формул механизма внимания.
Прежний пост включал:
1) внешние и внутренние ошибки предсказания системы при прогнозировании ошибки предсказания. Таким образом расширяя классическую модель Predictive Coding
2) использует теорию свободной энергии, выделяя наиболее важные ошибки через механизм контраста (селективности, новизны)
3) рассматривает модель с учётом нейробиологии, через top-down механизм, GABA нейромодуляцию
4) учитывает гомеостаз для стабилизации сигнала, через Cells нейроны.
Поэтому я хочу разобрать каждый пункт отдельно. Чтобы доступным и понятным языком показать, как легко выводится формула механизма внимания.
И начать разбор я хочу именно с понимания важности введения внешней и внутренней ошибки предсказания, поверх уже существующих моделей.
В конце, показан пример как это порой делают в робототехнике.
Далее, мы шаг за шагом разберём, как это происходит в биологии, особенно в нейробиологии.
Прежний пост включал:
1) внешние и внутренние ошибки предсказания системы при прогнозировании ошибки предсказания. Таким образом расширяя классическую модель Predictive Coding
2) использует теорию свободной энергии, выделяя наиболее важные ошибки через механизм контраста (селективности, новизны)
3) рассматривает модель с учётом нейробиологии, через top-down механизм, GABA нейромодуляцию
4) учитывает гомеостаз для стабилизации сигнала, через Cells нейроны.
Поэтому я хочу разобрать каждый пункт отдельно. Чтобы доступным и понятным языком показать, как легко выводится формула механизма внимания.
И начать разбор я хочу именно с понимания важности введения внешней и внутренней ошибки предсказания, поверх уже существующих моделей.
В конце, показан пример как это порой делают в робототехнике.
Далее, мы шаг за шагом разберём, как это происходит в биологии, особенно в нейробиологии.
В продолжении разбора прошлых постов.
Выше пойдет речь про нейромодуляцию.
Этим я хотел показать, почему например в одних случаях в формулах происходит сложение, а в других умножение. Что именно означает умножение, при переносе биологического процесса на искусственные сети.
Нейромедиаторы - это очень важная часть нейробиологии и в целом работы организма. И ее отсутствие в описаниях нейронных сетей - это огромный пробел и минус.
Нейромодуляторы - это так же серотонин, дофамин, норадреналин и так далее. И многие ошибочно считают, что они отвечают за ожидания удовольствия или что то подобное. Прежде всего это разные механизмы регулировки сигналов.
Они регулируют:
То есть это просто разные "сообщения", которые влияют на активность либо всех сигналов либо конкретных.
В искусственных нейронных сетях в явном виде этого очень не хватает.
Выше пойдет речь про нейромодуляцию.
Этим я хотел показать, почему например в одних случаях в формулах происходит сложение, а в других умножение. Что именно означает умножение, при переносе биологического процесса на искусственные сети.
Нейромедиаторы - это очень важная часть нейробиологии и в целом работы организма. И ее отсутствие в описаниях нейронных сетей - это огромный пробел и минус.
Нейромодуляторы - это так же серотонин, дофамин, норадреналин и так далее. И многие ошибочно считают, что они отвечают за ожидания удовольствия или что то подобное. Прежде всего это разные механизмы регулировки сигналов.
Они регулируют:
- активность сигналов
- чувствительность к определенным сигналам
- выполняют тормозящую или усиливающую функцию
- оказывают влияние на кол-во повторений сигнала
и так далее.
То есть это просто разные "сообщения", которые влияют на активность либо всех сигналов либо конкретных.
В искусственных нейронных сетях в явном виде этого очень не хватает.
Пост про гомеостаз нейронов.
Гомеостаз нейронов — ключевой механизм, обеспечивающий устойчивость и адаптацию мозговых сетей, где корень D в формуле механизма внимания символизирует баланс между выученной внутренней моделью и неизбежной вариативностью, позволяя системе минимизировать свободную энергию. Новая модель активации, учитывающая гомеостаз посредством динамической адаптации (например, через gelu_hysteresis, объединяющую входной и выходной сигналы), демонстрирует значительное улучшение обобщающей способности и ускорение сходимости, поскольку она имитирует биологические процессы, где глия регулирует нейрональную активность, поддерживая оптимальные условия для передачи сигналов. Этот подход не только предотвращает переобучение на конкретных данных, но и позволяет модели оперативно адаптироваться к изменяющимся условиям, что подтверждается улучшенными результатами на тестовых выборках.
Позже выложу код новых классов активации, нормализации и т.д. Они показали отличные результаты. В посте один из тестов.
Гомеостаз нейронов — ключевой механизм, обеспечивающий устойчивость и адаптацию мозговых сетей, где корень D в формуле механизма внимания символизирует баланс между выученной внутренней моделью и неизбежной вариативностью, позволяя системе минимизировать свободную энергию. Новая модель активации, учитывающая гомеостаз посредством динамической адаптации (например, через gelu_hysteresis, объединяющую входной и выходной сигналы), демонстрирует значительное улучшение обобщающей способности и ускорение сходимости, поскольку она имитирует биологические процессы, где глия регулирует нейрональную активность, поддерживая оптимальные условия для передачи сигналов. Этот подход не только предотвращает переобучение на конкретных данных, но и позволяет модели оперативно адаптироваться к изменяющимся условиям, что подтверждается улучшенными результатами на тестовых выборках.
Позже выложу код новых классов активации, нормализации и т.д. Они показали отличные результаты. В посте один из тестов.
👍2
Промежуточные результаты: нейробиология как основа эффективности
Прежде чем углубиться в механизмы работы мозга и их перенос на искусственные сети, продемонстрирую промежуточные результаты тестов, подтверждающих, что предложенная мной шестислойная модель — не абстрактная конструкция, а строго биологически обоснованная система.
В сравнении со сверточными сетями, трансформерами и их гибридами, шестислойная архитектура демонстрирует превосходство по ключевым параметрам:
Эта архитектура опирается на принципы, описанные в современных нейробиологических исследованиях: от иерархической организации коры до теории хаоса в синаптической передаче. Она не просто «вдохновлена» природой — каждый слой и связь отражают физиологически подтвержденные механизмы, что и объясняет её устойчивость и адаптивность.
Имея эти данные, можно дальше детальнее разобрать, как именно биологические аналогии трансформируются в инженерные решения.
Прежде чем углубиться в механизмы работы мозга и их перенос на искусственные сети, продемонстрирую промежуточные результаты тестов, подтверждающих, что предложенная мной шестислойная модель — не абстрактная конструкция, а строго биологически обоснованная система.
В сравнении со сверточными сетями, трансформерами и их гибридами, шестислойная архитектура демонстрирует превосходство по ключевым параметрам:
Скорость обучения
Устойчивость к переобучению
Пост-обучение
Синтез ошибок
Энергоэффективность
Эта архитектура опирается на принципы, описанные в современных нейробиологических исследованиях: от иерархической организации коры до теории хаоса в синаптической передаче. Она не просто «вдохновлена» природой — каждый слой и связь отражают физиологически подтвержденные механизмы, что и объясняет её устойчивость и адаптивность.
Имея эти данные, можно дальше детальнее разобрать, как именно биологические аналогии трансформируются в инженерные решения.
👍3