Зачем я подробно объясняю биологическую основу механизма внимания?
1. Без глубокого понимания биологии механизма внимания будет сложно объяснить три типа человеческой речи, их нейрофизиологическую основу и причины возникновения: сигнальную (эмоциональную), информационную и пение.
2. Понимание биологических механизмов внимания позволяет:
• определять направления для расширения моделей,
• выбирать вектор дальнейшего развития,
• выявлять упрощения в моделях,
понимать, где находятся их узкие места.
Чтобы что-либо улучшить, необходимо знать, как это устроено. Эволюционно именно такие механизмы оказались наиболее эффективными.
3. Кроме того, объясняя, как мозг формирует именно те слова, которые мы произносим, важно разобрать, как происходит связь локальных участков мозга с глобальными. На самом деле, человеческая речь и её смысл остаются довольно примитивными и не далеко уходят от механизмов, присутствующих у древних приматов. При этом основная её часть носит сигнальный характер, а не информационный.
1. Без глубокого понимания биологии механизма внимания будет сложно объяснить три типа человеческой речи, их нейрофизиологическую основу и причины возникновения: сигнальную (эмоциональную), информационную и пение.
2. Понимание биологических механизмов внимания позволяет:
• определять направления для расширения моделей,
• выбирать вектор дальнейшего развития,
• выявлять упрощения в моделях,
понимать, где находятся их узкие места.
Чтобы что-либо улучшить, необходимо знать, как это устроено. Эволюционно именно такие механизмы оказались наиболее эффективными.
3. Кроме того, объясняя, как мозг формирует именно те слова, которые мы произносим, важно разобрать, как происходит связь локальных участков мозга с глобальными. На самом деле, человеческая речь и её смысл остаются довольно примитивными и не далеко уходят от механизмов, присутствующих у древних приматов. При этом основная её часть носит сигнальный характер, а не информационный.
🔥2
Было ли такое, что просыпаетесь в 3 часа ночи, потому что смогли во сне доказать и соединить несколько теорий воедино? Сегодня было именно так.
Сейчас я готовлю пост по синтезу сигнальной речи (эмоциональной). Большую роль в нем сыграла предложенная мною формула предсказания эмоций. Упрощённо:
Так же сейчас я обучаю модель, основанную на механизме нейронов предсказания ошибки. Формально это:
Но я ещё накладываю механизм контраста (о которых писал выше).
Ничего не напоминает? Это практически формула как у эмоций. Только у эмоций я учел внешнее и внутреннее предсказание. Этого не хватает у классического предсказания ошибки.
Тут наложился прошлый пост про Attention. Черт, да механизм внимания это учёт внутренней и внешней ошибки предсказания системы
Тестирую новую модель и готовлю об этом пост
Сейчас я готовлю пост по синтезу сигнальной речи (эмоциональной). Большую роль в нем сыграла предложенная мною формула предсказания эмоций. Упрощённо:
Эмоция(i+1) = (A*X + B*X + C*Эмоция(i)) * D, А - это веса реакции на внешнее проявление (вроде эмпатии), B - веса характера , С - влияние истории и D - нормализация.
Так же сейчас я обучаю модель, основанную на механизме нейронов предсказания ошибки. Формально это:
Err = Входной сигнал - Выходной*W + прежняя ошибка.
Но я ещё накладываю механизм контраста (о которых писал выше).
Ничего не напоминает? Это практически формула как у эмоций. Только у эмоций я учел внешнее и внутреннее предсказание. Этого не хватает у классического предсказания ошибки.
Тут наложился прошлый пост про Attention. Черт, да механизм внимания это учёт внутренней и внешней ошибки предсказания системы
Тестирую новую модель и готовлю об этом пост
🔥5👏2
Я бы хотел сделать несколько постов, которые детально разжевали бы вывод формул механизма внимания.
Прежний пост включал:
1) внешние и внутренние ошибки предсказания системы при прогнозировании ошибки предсказания. Таким образом расширяя классическую модель Predictive Coding
2) использует теорию свободной энергии, выделяя наиболее важные ошибки через механизм контраста (селективности, новизны)
3) рассматривает модель с учётом нейробиологии, через top-down механизм, GABA нейромодуляцию
4) учитывает гомеостаз для стабилизации сигнала, через Cells нейроны.
Поэтому я хочу разобрать каждый пункт отдельно. Чтобы доступным и понятным языком показать, как легко выводится формула механизма внимания.
И начать разбор я хочу именно с понимания важности введения внешней и внутренней ошибки предсказания, поверх уже существующих моделей.
В конце, показан пример как это порой делают в робототехнике.
Далее, мы шаг за шагом разберём, как это происходит в биологии, особенно в нейробиологии.
Прежний пост включал:
1) внешние и внутренние ошибки предсказания системы при прогнозировании ошибки предсказания. Таким образом расширяя классическую модель Predictive Coding
2) использует теорию свободной энергии, выделяя наиболее важные ошибки через механизм контраста (селективности, новизны)
3) рассматривает модель с учётом нейробиологии, через top-down механизм, GABA нейромодуляцию
4) учитывает гомеостаз для стабилизации сигнала, через Cells нейроны.
Поэтому я хочу разобрать каждый пункт отдельно. Чтобы доступным и понятным языком показать, как легко выводится формула механизма внимания.
И начать разбор я хочу именно с понимания важности введения внешней и внутренней ошибки предсказания, поверх уже существующих моделей.
В конце, показан пример как это порой делают в робототехнике.
Далее, мы шаг за шагом разберём, как это происходит в биологии, особенно в нейробиологии.
В продолжении разбора прошлых постов.
Выше пойдет речь про нейромодуляцию.
Этим я хотел показать, почему например в одних случаях в формулах происходит сложение, а в других умножение. Что именно означает умножение, при переносе биологического процесса на искусственные сети.
Нейромедиаторы - это очень важная часть нейробиологии и в целом работы организма. И ее отсутствие в описаниях нейронных сетей - это огромный пробел и минус.
Нейромодуляторы - это так же серотонин, дофамин, норадреналин и так далее. И многие ошибочно считают, что они отвечают за ожидания удовольствия или что то подобное. Прежде всего это разные механизмы регулировки сигналов.
Они регулируют:
То есть это просто разные "сообщения", которые влияют на активность либо всех сигналов либо конкретных.
В искусственных нейронных сетях в явном виде этого очень не хватает.
Выше пойдет речь про нейромодуляцию.
Этим я хотел показать, почему например в одних случаях в формулах происходит сложение, а в других умножение. Что именно означает умножение, при переносе биологического процесса на искусственные сети.
Нейромедиаторы - это очень важная часть нейробиологии и в целом работы организма. И ее отсутствие в описаниях нейронных сетей - это огромный пробел и минус.
Нейромодуляторы - это так же серотонин, дофамин, норадреналин и так далее. И многие ошибочно считают, что они отвечают за ожидания удовольствия или что то подобное. Прежде всего это разные механизмы регулировки сигналов.
Они регулируют:
- активность сигналов
- чувствительность к определенным сигналам
- выполняют тормозящую или усиливающую функцию
- оказывают влияние на кол-во повторений сигнала
и так далее.
То есть это просто разные "сообщения", которые влияют на активность либо всех сигналов либо конкретных.
В искусственных нейронных сетях в явном виде этого очень не хватает.