Можно ли сделать нейросеть более "биологической" не только по архитектуре, но и по способу обработки сигналов?
Ключевые законы природы:
Закон Ципфа : частота слова ∝1/r
Закон Вебера–Фехнера : восприятие ∝log(сила сигнала)
Это говорит нам о том, что:
Биологическая система экономит ресурсы, усиливая редкие, но значимые признаки , и игнорируя шум.
Математика:
Используем метод Лагранжа, чтобы найти распределение вероятностей, минимизирующее затраты на обработку признаков.
Это значит, что мы можем использовать полученную формулу как обучаемую функцию активации , которая:
Почему это важно?
Биологические системы:
Не запоминают всё подряд.
Фокусируются на асимметриях , которые несут информацию.
Имеют ограниченное число нейронов → ограничено число выделяемых признаков.
А мы:
Создали модель, где каждый слой сам настраивает свою чувствительность.
Обучили её находить оптимальное число различимых признаков N.
Заставили учиться на асимметрии, а не на всех данных сразу.
Мы сделали шаг к модели, которая не просто обрабатывает данные ,
но экономит ресурсы и фокусируется на наиболее информативных признаках , как это делает биология.
Ключевые законы природы:
Закон Ципфа : частота слова ∝1/r
Закон Вебера–Фехнера : восприятие ∝log(сила сигнала)
Это говорит нам о том, что:
Биологическая система экономит ресурсы, усиливая редкие, но значимые признаки , и игнорируя шум.
Математика:
Используем метод Лагранжа, чтобы найти распределение вероятностей, минимизирующее затраты на обработку признаков.
Это значит, что мы можем использовать полученную формулу как обучаемую функцию активации , которая:
Усиливает редкие признаки .
Игнорирует сильные/шумовые сигналы .
Адаптируется к данным через обучаемые параметры N и β
Почему это важно?
Биологические системы:
Не запоминают всё подряд.
Фокусируются на асимметриях , которые несут информацию.
Имеют ограниченное число нейронов → ограничено число выделяемых признаков.
А мы:
Создали модель, где каждый слой сам настраивает свою чувствительность.
Обучили её находить оптимальное число различимых признаков N.
Заставили учиться на асимметрии, а не на всех данных сразу.
Мы сделали шаг к модели, которая не просто обрабатывает данные ,
но экономит ресурсы и фокусируется на наиболее информативных признаках , как это делает биология.
Есть ли разница в использовании softmax в трансформерах/классификации и в нашей формуле?
Да, есть, и разница огромная:
Трансформеры - Выбор наиболее вероятного слова/признака (attention weights). Сфокусироваться на важных частях входа.
Классификация - Получение распределения классов. Выбрать наиболее вероятный класс.
Новая модель - Нормировка Zipf-подобного распределения. Усиление редких признаков через вариационный принцип
Почему это важно:
В трансформерах: softmax(QK) усиливает взаимодействие между признаками .
В классификации: softmax(logits) — просто нормировка , чтобы получить вероятности.
В нашей модели: softmax(-x / β) — это обучаемый механизм восприятия , где:
Малые x → большие веса,
Большие x → маленькие веса,
Это аналог внимания к редким стимулам, как в биологии.
Поэтому наша активация — не просто нормализация, а механизм моделирования асимметрии сигнала.
Есть ли разница в интерпретации softmax?
Да, есть, и она фундаментальная:
* Трансформерах/Классификаторах - Т/К
* Новая модель через Лагранжа - Л
Математическая роль:
Т/К: Просто нормировка.
Л: Отражает вариационный принцип
Физический смысл:
Т/К: "Какой токен важнее?"
Л: "Какой признак более значим при ограниченной системе?"
Порог чувствительности:
Т/К: Нет
Л: Да, через β
Асимметрия сигнала:
Т/К: Не учитывается напрямую
Л: Явно моделируется
Динамика:
Т/К: Зависит от всех признаков одинаково
Л: Подавляет сильные сигналы, усиливает слабые
Главная идея — новая парадигма :
Softmax может быть не только инструментом выбора, но и механизмом экономии ресурсов, где редкие признаки становятся главными .
Что мы поняли нового через вывод через Лагранж?
Раньше люди считали:
Softmax — это просто способ сделать из логитов вероятности.
Асимметрия — эмпирический эффект, который можно наблюдать, но сложно контролировать.
NLP модели "видят" Zipf-распределение, но это не формализуется в архитектуре.
Теперь мы понимаем:
Закон Ципфа можно вывести из оптимизации с ограничениями :
Чем больше ранг → тем меньше вероятность.
Это следствие минимизации затрат + максимизация информации.
Softmax — это не просто функция, а следствие вариационного принципа :
Он появляется естественным образом, когда система стремится к равновесию с минимальными затратами.
Это соответствует тому, как работает биологическая система: экономия энергии, селективность, адаптация к данным.
β — это параметр чувствительности системы :
При малых значениях β: система фокусируется только на самых слабых сигналах.
При больших β: система становится менее селективной.
Это первое использование β как обучаемого порога чувствительности в активации.
N — это не просто размер словаря или число классов, а разрешающая способность слоя :
Каждый слой имеет свою "разрешающую силу".
Это позволяет модели не запоминать всё подряд , а выбирать только то, что она может обработать .
Да, есть, и разница огромная:
Трансформеры - Выбор наиболее вероятного слова/признака (attention weights). Сфокусироваться на важных частях входа.
Классификация - Получение распределения классов. Выбрать наиболее вероятный класс.
Новая модель - Нормировка Zipf-подобного распределения. Усиление редких признаков через вариационный принцип
Почему это важно:
В трансформерах: softmax(QK) усиливает взаимодействие между признаками .
В классификации: softmax(logits) — просто нормировка , чтобы получить вероятности.
В нашей модели: softmax(-x / β) — это обучаемый механизм восприятия , где:
Малые x → большие веса,
Большие x → маленькие веса,
Это аналог внимания к редким стимулам, как в биологии.
Поэтому наша активация — не просто нормализация, а механизм моделирования асимметрии сигнала.
Есть ли разница в интерпретации softmax?
Да, есть, и она фундаментальная:
* Трансформерах/Классификаторах - Т/К
* Новая модель через Лагранжа - Л
Математическая роль:
Т/К: Просто нормировка.
Л: Отражает вариационный принцип
Физический смысл:
Т/К: "Какой токен важнее?"
Л: "Какой признак более значим при ограниченной системе?"
Порог чувствительности:
Т/К: Нет
Л: Да, через β
Асимметрия сигнала:
Т/К: Не учитывается напрямую
Л: Явно моделируется
Динамика:
Т/К: Зависит от всех признаков одинаково
Л: Подавляет сильные сигналы, усиливает слабые
Главная идея — новая парадигма :
Softmax может быть не только инструментом выбора, но и механизмом экономии ресурсов, где редкие признаки становятся главными .
Что мы поняли нового через вывод через Лагранж?
Раньше люди считали:
Softmax — это просто способ сделать из логитов вероятности.
Асимметрия — эмпирический эффект, который можно наблюдать, но сложно контролировать.
NLP модели "видят" Zipf-распределение, но это не формализуется в архитектуре.
Теперь мы понимаем:
Закон Ципфа можно вывести из оптимизации с ограничениями :
Чем больше ранг → тем меньше вероятность.
Это следствие минимизации затрат + максимизация информации.
Softmax — это не просто функция, а следствие вариационного принципа :
Он появляется естественным образом, когда система стремится к равновесию с минимальными затратами.
Это соответствует тому, как работает биологическая система: экономия энергии, селективность, адаптация к данным.
β — это параметр чувствительности системы :
При малых значениях β: система фокусируется только на самых слабых сигналах.
При больших β: система становится менее селективной.
Это первое использование β как обучаемого порога чувствительности в активации.
N — это не просто размер словаря или число классов, а разрешающая способность слоя :
Каждый слой имеет свою "разрешающую силу".
Это позволяет модели не запоминать всё подряд , а выбирать только то, что она может обработать .
Иерархия чисел и Zipf-подобная модель асимметрии
Ранее мы вывели формулу распределения вероятностей через вариационный принцип:
Это распределение усиливает редкие, но значимые признаки, подавляя шумовые или слишком сильные сигналы.
Формула зависит от двух параметров:
N: число возможных признаков.
β: чувствительность системы к изменениям силы сигнала.
Иерархия ранков: уровни асимметрии как уровни восприятия
Мы установили, что асимметрия — это не единичное явление, а вложенная иерархическая структура :
Такая организация напоминает работу мозга:
Мы уже ранее выяснили, что асимметрия имеет иерархическую модель, состоящую из вложенных асимметрий и даже построили конечный автомат асимметрии, который полностью совпадает с шестислойной моделью неокортекса.
Пример: иерархия чисел
Ограниченность системы: предел масштабируемости
Система не может расти бесконечно.
Если N и β становятся слишком большими:
Почему так?
Потому что:
Бифуркация: точка перехода системы
Когда система исчерпала свой потенциал на текущем уровне, она сталкивается с бифуркацией :
Что происходит?
Данная модель не просто выводит закон Ципфа.
Она предлагает универсальный автомат асимметрии , который:
Это не просто deep learning , это теория восприятия в целом, построенная на основе математики, физики, биологии и нейробиологии.
Ранее мы вывели формулу распределения вероятностей через вариационный принцип:
p(i) = Softmax (−i / β)⇒p(i)∝e ^ −i/β
Это распределение усиливает редкие, но значимые признаки, подавляя шумовые или слишком сильные сигналы.
Формула зависит от двух параметров:
N: число возможных признаков.
β: чувствительность системы к изменениям силы сигнала.
Иерархия ранков: уровни асимметрии как уровни восприятия
Мы установили, что асимметрия — это не единичное явление, а вложенная иерархическая структура :
- Каждый уровень имеет свои N(l) и β(l)
- На каждом уровне система усиливает редкие признаки, игнорируя шумовые
- Общая значимость формируется через интеграцию всех уровней
Такая организация напоминает работу мозга:
Мы уже ранее выяснили, что асимметрия имеет иерархическую модель, состоящую из вложенных асимметрий и даже построили конечный автомат асимметрии, который полностью совпадает с шестислойной моделью неокортекса.
Пример: иерархия чисел
Число 774:
7 (сотни), 7 (десятки), 4 (единицы)
Число 1000:
1 (тысячи), 0 (сотни), 0 (десятки), 0 (единицы)
Хотя 1000 кажется "проще", оно может иметь большую значимость , если:
- Его старший разряд усилен на своём уровне,
- Или сам уровень имеет высокий вес в иерархии.
Ограниченность системы: предел масштабируемости
Система не может расти бесконечно.
Если N и β становятся слишком большими:
- Вероятности равномерны → потеря селективности
- Модель начинает терять способность различать детали
- Это приводит к ухудшению качества , даже если количество голов/слоёв растёт
Почему так?
Потому что:
lim p(i) → 1 / N
β→∞
(равномерное распределение)⇒система теряет способность выделять важное
Бифуркация: точка перехода системы
Когда система исчерпала свой потенциал на текущем уровне, она сталкивается с бифуркацией :
Это точка, где система не может дальше развиваться внутри себя , и должна перейти на новый уровень иерархии , чтобы продолжить эффективно работать.
Что происходит?
- Признаки на текущем уровне становятся менее информативными
- Система должна расширить иерархию : добавить новый уровень, голову, блок
- На новом уровне снова формируется асимметрия , и система восстанавливает свою чувствительность
Данная модель не просто выводит закон Ципфа.
Она предлагает универсальный автомат асимметрии , который:
- Работает на любом уровне: от единиц до тысяч
- Описывает как данные, так и сами уровни иерархии
- Показывает предел масштабирования
- Объясняет механизм бифуркации как выхода системы на новый уровень
Это не просто deep learning , это теория восприятия в целом, построенная на основе математики, физики, биологии и нейробиологии.