Было ли такое, что просыпаетесь в 3 часа ночи, потому что смогли во сне доказать и соединить несколько теорий воедино? Сегодня было именно так.
Сейчас я готовлю пост по синтезу сигнальной речи (эмоциональной). Большую роль в нем сыграла предложенная мною формула предсказания эмоций. Упрощённо:
Так же сейчас я обучаю модель, основанную на механизме нейронов предсказания ошибки. Формально это:
Но я ещё накладываю механизм контраста (о которых писал выше).
Ничего не напоминает? Это практически формула как у эмоций. Только у эмоций я учел внешнее и внутреннее предсказание. Этого не хватает у классического предсказания ошибки.
Тут наложился прошлый пост про Attention. Черт, да механизм внимания это учёт внутренней и внешней ошибки предсказания системы
Тестирую новую модель и готовлю об этом пост
Сейчас я готовлю пост по синтезу сигнальной речи (эмоциональной). Большую роль в нем сыграла предложенная мною формула предсказания эмоций. Упрощённо:
Эмоция(i+1) = (A*X + B*X + C*Эмоция(i)) * D, А - это веса реакции на внешнее проявление (вроде эмпатии), B - веса характера , С - влияние истории и D - нормализация.
Так же сейчас я обучаю модель, основанную на механизме нейронов предсказания ошибки. Формально это:
Err = Входной сигнал - Выходной*W + прежняя ошибка.
Но я ещё накладываю механизм контраста (о которых писал выше).
Ничего не напоминает? Это практически формула как у эмоций. Только у эмоций я учел внешнее и внутреннее предсказание. Этого не хватает у классического предсказания ошибки.
Тут наложился прошлый пост про Attention. Черт, да механизм внимания это учёт внутренней и внешней ошибки предсказания системы
Тестирую новую модель и готовлю об этом пост
🔥5👏2
Я бы хотел сделать несколько постов, которые детально разжевали бы вывод формул механизма внимания.
Прежний пост включал:
1) внешние и внутренние ошибки предсказания системы при прогнозировании ошибки предсказания. Таким образом расширяя классическую модель Predictive Coding
2) использует теорию свободной энергии, выделяя наиболее важные ошибки через механизм контраста (селективности, новизны)
3) рассматривает модель с учётом нейробиологии, через top-down механизм, GABA нейромодуляцию
4) учитывает гомеостаз для стабилизации сигнала, через Cells нейроны.
Поэтому я хочу разобрать каждый пункт отдельно. Чтобы доступным и понятным языком показать, как легко выводится формула механизма внимания.
И начать разбор я хочу именно с понимания важности введения внешней и внутренней ошибки предсказания, поверх уже существующих моделей.
В конце, показан пример как это порой делают в робототехнике.
Далее, мы шаг за шагом разберём, как это происходит в биологии, особенно в нейробиологии.
Прежний пост включал:
1) внешние и внутренние ошибки предсказания системы при прогнозировании ошибки предсказания. Таким образом расширяя классическую модель Predictive Coding
2) использует теорию свободной энергии, выделяя наиболее важные ошибки через механизм контраста (селективности, новизны)
3) рассматривает модель с учётом нейробиологии, через top-down механизм, GABA нейромодуляцию
4) учитывает гомеостаз для стабилизации сигнала, через Cells нейроны.
Поэтому я хочу разобрать каждый пункт отдельно. Чтобы доступным и понятным языком показать, как легко выводится формула механизма внимания.
И начать разбор я хочу именно с понимания важности введения внешней и внутренней ошибки предсказания, поверх уже существующих моделей.
В конце, показан пример как это порой делают в робототехнике.
Далее, мы шаг за шагом разберём, как это происходит в биологии, особенно в нейробиологии.
В продолжении разбора прошлых постов.
Выше пойдет речь про нейромодуляцию.
Этим я хотел показать, почему например в одних случаях в формулах происходит сложение, а в других умножение. Что именно означает умножение, при переносе биологического процесса на искусственные сети.
Нейромедиаторы - это очень важная часть нейробиологии и в целом работы организма. И ее отсутствие в описаниях нейронных сетей - это огромный пробел и минус.
Нейромодуляторы - это так же серотонин, дофамин, норадреналин и так далее. И многие ошибочно считают, что они отвечают за ожидания удовольствия или что то подобное. Прежде всего это разные механизмы регулировки сигналов.
Они регулируют:
То есть это просто разные "сообщения", которые влияют на активность либо всех сигналов либо конкретных.
В искусственных нейронных сетях в явном виде этого очень не хватает.
Выше пойдет речь про нейромодуляцию.
Этим я хотел показать, почему например в одних случаях в формулах происходит сложение, а в других умножение. Что именно означает умножение, при переносе биологического процесса на искусственные сети.
Нейромедиаторы - это очень важная часть нейробиологии и в целом работы организма. И ее отсутствие в описаниях нейронных сетей - это огромный пробел и минус.
Нейромодуляторы - это так же серотонин, дофамин, норадреналин и так далее. И многие ошибочно считают, что они отвечают за ожидания удовольствия или что то подобное. Прежде всего это разные механизмы регулировки сигналов.
Они регулируют:
- активность сигналов
- чувствительность к определенным сигналам
- выполняют тормозящую или усиливающую функцию
- оказывают влияние на кол-во повторений сигнала
и так далее.
То есть это просто разные "сообщения", которые влияют на активность либо всех сигналов либо конкретных.
В искусственных нейронных сетях в явном виде этого очень не хватает.
Пост про гомеостаз нейронов.
Гомеостаз нейронов — ключевой механизм, обеспечивающий устойчивость и адаптацию мозговых сетей, где корень D в формуле механизма внимания символизирует баланс между выученной внутренней моделью и неизбежной вариативностью, позволяя системе минимизировать свободную энергию. Новая модель активации, учитывающая гомеостаз посредством динамической адаптации (например, через gelu_hysteresis, объединяющую входной и выходной сигналы), демонстрирует значительное улучшение обобщающей способности и ускорение сходимости, поскольку она имитирует биологические процессы, где глия регулирует нейрональную активность, поддерживая оптимальные условия для передачи сигналов. Этот подход не только предотвращает переобучение на конкретных данных, но и позволяет модели оперативно адаптироваться к изменяющимся условиям, что подтверждается улучшенными результатами на тестовых выборках.
Позже выложу код новых классов активации, нормализации и т.д. Они показали отличные результаты. В посте один из тестов.
Гомеостаз нейронов — ключевой механизм, обеспечивающий устойчивость и адаптацию мозговых сетей, где корень D в формуле механизма внимания символизирует баланс между выученной внутренней моделью и неизбежной вариативностью, позволяя системе минимизировать свободную энергию. Новая модель активации, учитывающая гомеостаз посредством динамической адаптации (например, через gelu_hysteresis, объединяющую входной и выходной сигналы), демонстрирует значительное улучшение обобщающей способности и ускорение сходимости, поскольку она имитирует биологические процессы, где глия регулирует нейрональную активность, поддерживая оптимальные условия для передачи сигналов. Этот подход не только предотвращает переобучение на конкретных данных, но и позволяет модели оперативно адаптироваться к изменяющимся условиям, что подтверждается улучшенными результатами на тестовых выборках.
Позже выложу код новых классов активации, нормализации и т.д. Они показали отличные результаты. В посте один из тестов.
👍2