В продолжении разбора прошлых постов.
Выше пойдет речь про нейромодуляцию.
Этим я хотел показать, почему например в одних случаях в формулах происходит сложение, а в других умножение. Что именно означает умножение, при переносе биологического процесса на искусственные сети.
Нейромедиаторы - это очень важная часть нейробиологии и в целом работы организма. И ее отсутствие в описаниях нейронных сетей - это огромный пробел и минус.
Нейромодуляторы - это так же серотонин, дофамин, норадреналин и так далее. И многие ошибочно считают, что они отвечают за ожидания удовольствия или что то подобное. Прежде всего это разные механизмы регулировки сигналов.
Они регулируют:
То есть это просто разные "сообщения", которые влияют на активность либо всех сигналов либо конкретных.
В искусственных нейронных сетях в явном виде этого очень не хватает.
Выше пойдет речь про нейромодуляцию.
Этим я хотел показать, почему например в одних случаях в формулах происходит сложение, а в других умножение. Что именно означает умножение, при переносе биологического процесса на искусственные сети.
Нейромедиаторы - это очень важная часть нейробиологии и в целом работы организма. И ее отсутствие в описаниях нейронных сетей - это огромный пробел и минус.
Нейромодуляторы - это так же серотонин, дофамин, норадреналин и так далее. И многие ошибочно считают, что они отвечают за ожидания удовольствия или что то подобное. Прежде всего это разные механизмы регулировки сигналов.
Они регулируют:
- активность сигналов
- чувствительность к определенным сигналам
- выполняют тормозящую или усиливающую функцию
- оказывают влияние на кол-во повторений сигнала
и так далее.
То есть это просто разные "сообщения", которые влияют на активность либо всех сигналов либо конкретных.
В искусственных нейронных сетях в явном виде этого очень не хватает.
Пост про гомеостаз нейронов.
Гомеостаз нейронов — ключевой механизм, обеспечивающий устойчивость и адаптацию мозговых сетей, где корень D в формуле механизма внимания символизирует баланс между выученной внутренней моделью и неизбежной вариативностью, позволяя системе минимизировать свободную энергию. Новая модель активации, учитывающая гомеостаз посредством динамической адаптации (например, через gelu_hysteresis, объединяющую входной и выходной сигналы), демонстрирует значительное улучшение обобщающей способности и ускорение сходимости, поскольку она имитирует биологические процессы, где глия регулирует нейрональную активность, поддерживая оптимальные условия для передачи сигналов. Этот подход не только предотвращает переобучение на конкретных данных, но и позволяет модели оперативно адаптироваться к изменяющимся условиям, что подтверждается улучшенными результатами на тестовых выборках.
Позже выложу код новых классов активации, нормализации и т.д. Они показали отличные результаты. В посте один из тестов.
Гомеостаз нейронов — ключевой механизм, обеспечивающий устойчивость и адаптацию мозговых сетей, где корень D в формуле механизма внимания символизирует баланс между выученной внутренней моделью и неизбежной вариативностью, позволяя системе минимизировать свободную энергию. Новая модель активации, учитывающая гомеостаз посредством динамической адаптации (например, через gelu_hysteresis, объединяющую входной и выходной сигналы), демонстрирует значительное улучшение обобщающей способности и ускорение сходимости, поскольку она имитирует биологические процессы, где глия регулирует нейрональную активность, поддерживая оптимальные условия для передачи сигналов. Этот подход не только предотвращает переобучение на конкретных данных, но и позволяет модели оперативно адаптироваться к изменяющимся условиям, что подтверждается улучшенными результатами на тестовых выборках.
Позже выложу код новых классов активации, нормализации и т.д. Они показали отличные результаты. В посте один из тестов.
👍2
Промежуточные результаты: нейробиология как основа эффективности
Прежде чем углубиться в механизмы работы мозга и их перенос на искусственные сети, продемонстрирую промежуточные результаты тестов, подтверждающих, что предложенная мной шестислойная модель — не абстрактная конструкция, а строго биологически обоснованная система.
В сравнении со сверточными сетями, трансформерами и их гибридами, шестислойная архитектура демонстрирует превосходство по ключевым параметрам:
Эта архитектура опирается на принципы, описанные в современных нейробиологических исследованиях: от иерархической организации коры до теории хаоса в синаптической передаче. Она не просто «вдохновлена» природой — каждый слой и связь отражают физиологически подтвержденные механизмы, что и объясняет её устойчивость и адаптивность.
Имея эти данные, можно дальше детальнее разобрать, как именно биологические аналогии трансформируются в инженерные решения.
Прежде чем углубиться в механизмы работы мозга и их перенос на искусственные сети, продемонстрирую промежуточные результаты тестов, подтверждающих, что предложенная мной шестислойная модель — не абстрактная конструкция, а строго биологически обоснованная система.
В сравнении со сверточными сетями, трансформерами и их гибридами, шестислойная архитектура демонстрирует превосходство по ключевым параметрам:
Скорость обучения
Устойчивость к переобучению
Пост-обучение
Синтез ошибок
Энергоэффективность
Эта архитектура опирается на принципы, описанные в современных нейробиологических исследованиях: от иерархической организации коры до теории хаоса в синаптической передаче. Она не просто «вдохновлена» природой — каждый слой и связь отражают физиологически подтвержденные механизмы, что и объясняет её устойчивость и адаптивность.
Имея эти данные, можно дальше детальнее разобрать, как именно биологические аналогии трансформируются в инженерные решения.
👍3
Селективность нейронов
это их способность избирательно реагировать на определённые стимулы или паттерны, что лежит в основе обработки информации в нервной системе.
Этот механизм обеспечивается комбинацией факторов: латеральным торможением (соседние нейроны подавляют друг друга, усиливая контраст), специализированными рецептивными полями (например, нейроны зрительной коры, реагирующие на ориентацию линий), синаптической пластичностью (LTP/LTD, усиливающей значимые сигналы) и модуляцией со стороны высших отделов мозга (внимание, память). Например, в слуховой коре нейроны тонко настраиваются на конкретные частоты звука, а в гиппокампе «клетки места» активируются только в определённых локациях.
Такая избирательность позволяет мозгу эффективно фильтровать шум, выделять ключевые сигналы и адаптироваться к изменчивой среде, формируя основу восприятия, обучения и принятия решений.
Этот пост важен для понимания разных видов модуляции сигнала.
Теперь, мы дошли до трансформеров и сможем детально разобрать их.
это их способность избирательно реагировать на определённые стимулы или паттерны, что лежит в основе обработки информации в нервной системе.
Этот механизм обеспечивается комбинацией факторов: латеральным торможением (соседние нейроны подавляют друг друга, усиливая контраст), специализированными рецептивными полями (например, нейроны зрительной коры, реагирующие на ориентацию линий), синаптической пластичностью (LTP/LTD, усиливающей значимые сигналы) и модуляцией со стороны высших отделов мозга (внимание, память). Например, в слуховой коре нейроны тонко настраиваются на конкретные частоты звука, а в гиппокампе «клетки места» активируются только в определённых локациях.
Такая избирательность позволяет мозгу эффективно фильтровать шум, выделять ключевые сигналы и адаптироваться к изменчивой среде, формируя основу восприятия, обучения и принятия решений.
Этот пост важен для понимания разных видов модуляции сигнала.
Теперь, мы дошли до трансформеров и сможем детально разобрать их.
👍1