Что такое Self-attention (механизм самовнимания) на уровне биологии?
К сожалению, ни одна лекция и ни одна статья не раскрывают биологию механизма внимания. В свое время, я столкнулся с тем, что среди лекторов и разработчиков ни кто не понимает, что такое на самом деле механизм внимания и какую биологию описывает его формула.
На самом деле, смысл очень простой на уровне биологии.
Self-attention - это тот редкий случай, когда механизм открыли инженеры, а не нейробиологи.
Но при этом, нейробиологии из DeepMind явно поняли, что получили Google Brain. Почему? Все дальнейшие работы DeepMind направлены на правильное расширение механизма внимания.
Этот пост прежде всего нужен для того, чтобы исправить эту проблему. Так как все что есть в нейронных сетях - реализует разные механизмы внутри мозга, но в более упрощенном виде.
Я очень хотел бы, чтобы в лекциях про механизм внимания лекторы раскрывали бы биологию этого процесса. А не просто описывали перемножение матриц, смысл которых сами не понимают.
К сожалению, ни одна лекция и ни одна статья не раскрывают биологию механизма внимания. В свое время, я столкнулся с тем, что среди лекторов и разработчиков ни кто не понимает, что такое на самом деле механизм внимания и какую биологию описывает его формула.
На самом деле, смысл очень простой на уровне биологии.
Self-attention - это тот редкий случай, когда механизм открыли инженеры, а не нейробиологи.
Но при этом, нейробиологии из DeepMind явно поняли, что получили Google Brain. Почему? Все дальнейшие работы DeepMind направлены на правильное расширение механизма внимания.
Этот пост прежде всего нужен для того, чтобы исправить эту проблему. Так как все что есть в нейронных сетях - реализует разные механизмы внутри мозга, но в более упрощенном виде.
Я очень хотел бы, чтобы в лекциях про механизм внимания лекторы раскрывали бы биологию этого процесса. А не просто описывали перемножение матриц, смысл которых сами не понимают.
👍2
Зачем я подробно объясняю биологическую основу механизма внимания?
1. Без глубокого понимания биологии механизма внимания будет сложно объяснить три типа человеческой речи, их нейрофизиологическую основу и причины возникновения: сигнальную (эмоциональную), информационную и пение.
2. Понимание биологических механизмов внимания позволяет:
• определять направления для расширения моделей,
• выбирать вектор дальнейшего развития,
• выявлять упрощения в моделях,
понимать, где находятся их узкие места.
Чтобы что-либо улучшить, необходимо знать, как это устроено. Эволюционно именно такие механизмы оказались наиболее эффективными.
3. Кроме того, объясняя, как мозг формирует именно те слова, которые мы произносим, важно разобрать, как происходит связь локальных участков мозга с глобальными. На самом деле, человеческая речь и её смысл остаются довольно примитивными и не далеко уходят от механизмов, присутствующих у древних приматов. При этом основная её часть носит сигнальный характер, а не информационный.
1. Без глубокого понимания биологии механизма внимания будет сложно объяснить три типа человеческой речи, их нейрофизиологическую основу и причины возникновения: сигнальную (эмоциональную), информационную и пение.
2. Понимание биологических механизмов внимания позволяет:
• определять направления для расширения моделей,
• выбирать вектор дальнейшего развития,
• выявлять упрощения в моделях,
понимать, где находятся их узкие места.
Чтобы что-либо улучшить, необходимо знать, как это устроено. Эволюционно именно такие механизмы оказались наиболее эффективными.
3. Кроме того, объясняя, как мозг формирует именно те слова, которые мы произносим, важно разобрать, как происходит связь локальных участков мозга с глобальными. На самом деле, человеческая речь и её смысл остаются довольно примитивными и не далеко уходят от механизмов, присутствующих у древних приматов. При этом основная её часть носит сигнальный характер, а не информационный.
🔥2
Было ли такое, что просыпаетесь в 3 часа ночи, потому что смогли во сне доказать и соединить несколько теорий воедино? Сегодня было именно так.
Сейчас я готовлю пост по синтезу сигнальной речи (эмоциональной). Большую роль в нем сыграла предложенная мною формула предсказания эмоций. Упрощённо:
Так же сейчас я обучаю модель, основанную на механизме нейронов предсказания ошибки. Формально это:
Но я ещё накладываю механизм контраста (о которых писал выше).
Ничего не напоминает? Это практически формула как у эмоций. Только у эмоций я учел внешнее и внутреннее предсказание. Этого не хватает у классического предсказания ошибки.
Тут наложился прошлый пост про Attention. Черт, да механизм внимания это учёт внутренней и внешней ошибки предсказания системы
Тестирую новую модель и готовлю об этом пост
Сейчас я готовлю пост по синтезу сигнальной речи (эмоциональной). Большую роль в нем сыграла предложенная мною формула предсказания эмоций. Упрощённо:
Эмоция(i+1) = (A*X + B*X + C*Эмоция(i)) * D, А - это веса реакции на внешнее проявление (вроде эмпатии), B - веса характера , С - влияние истории и D - нормализация.
Так же сейчас я обучаю модель, основанную на механизме нейронов предсказания ошибки. Формально это:
Err = Входной сигнал - Выходной*W + прежняя ошибка.
Но я ещё накладываю механизм контраста (о которых писал выше).
Ничего не напоминает? Это практически формула как у эмоций. Только у эмоций я учел внешнее и внутреннее предсказание. Этого не хватает у классического предсказания ошибки.
Тут наложился прошлый пост про Attention. Черт, да механизм внимания это учёт внутренней и внешней ошибки предсказания системы
Тестирую новую модель и готовлю об этом пост
🔥5👏2
Я бы хотел сделать несколько постов, которые детально разжевали бы вывод формул механизма внимания.
Прежний пост включал:
1) внешние и внутренние ошибки предсказания системы при прогнозировании ошибки предсказания. Таким образом расширяя классическую модель Predictive Coding
2) использует теорию свободной энергии, выделяя наиболее важные ошибки через механизм контраста (селективности, новизны)
3) рассматривает модель с учётом нейробиологии, через top-down механизм, GABA нейромодуляцию
4) учитывает гомеостаз для стабилизации сигнала, через Cells нейроны.
Поэтому я хочу разобрать каждый пункт отдельно. Чтобы доступным и понятным языком показать, как легко выводится формула механизма внимания.
И начать разбор я хочу именно с понимания важности введения внешней и внутренней ошибки предсказания, поверх уже существующих моделей.
В конце, показан пример как это порой делают в робототехнике.
Далее, мы шаг за шагом разберём, как это происходит в биологии, особенно в нейробиологии.
Прежний пост включал:
1) внешние и внутренние ошибки предсказания системы при прогнозировании ошибки предсказания. Таким образом расширяя классическую модель Predictive Coding
2) использует теорию свободной энергии, выделяя наиболее важные ошибки через механизм контраста (селективности, новизны)
3) рассматривает модель с учётом нейробиологии, через top-down механизм, GABA нейромодуляцию
4) учитывает гомеостаз для стабилизации сигнала, через Cells нейроны.
Поэтому я хочу разобрать каждый пункт отдельно. Чтобы доступным и понятным языком показать, как легко выводится формула механизма внимания.
И начать разбор я хочу именно с понимания важности введения внешней и внутренней ошибки предсказания, поверх уже существующих моделей.
В конце, показан пример как это порой делают в робототехнике.
Далее, мы шаг за шагом разберём, как это происходит в биологии, особенно в нейробиологии.