70 лет человечество бредет по худшему из лабиринтов.
С 1948 г. доминирующей интерпретацией понятия «информация» стала «бессмысленная информация»
Этот пост - не закос под эзотерику и не плод биполярного расстройства (хотя «Звездная ночь» Ван Гога одна из моих любимых картин). Все абсолютно серьезно, что подтверждается научным весом инициатора этой истории Dan Dennett и примкнувших к нему ученых высшего калибра, типа David Wolpert.
Вот уже 70 лет человечество бредет по самому худшему из возможных лабиринтов, описанному в одном из рассказов Борхеса. Он писал, что худший лабиринт - это не какая-то сложная и запутанная форма, по которой можно плутать бесконечно, а лабиринт, состоящий из одного единственного абсолютно прямого пути.
Таким путем стала для человечества единая трактовка понятия информация, доминировавшая около 60 лет, а с началом тотальной цифровизации мира где-то лет 10 назад, превращающаяся из единой в практически единственную.
В 1948 году Клод Шэннон, с головой погруженный в решение инженерных задач кодирования, передачи и декодирования электронных сигналов, предпринял радикальный шаг в определении информации таким образом, что полностью исключил из определения смысл информации. В определении Шеннона игнорировался любой потенциальный смысл, который мог бы содержаться в передаваемом сигнале. Для Шеннона информацией были статистические свойства сигналов, отправленных от отправителя к получателю.
С тех пор такое определение стало доминирующим и вот уже 70 лет широко применяется в физических, биологических и социальных науках, не говоря уж об инженерных приложениях.
Между тем, лингвисты и философы продолжили бороться за определение информации в контексте ее связи со смыслом и его интерпретацией, фокусируясь, в основном, на изучении разума и языка.
70 лет они думали прежде всего о семантике высказываний, - о том, что они называют суждениями.
Таких исследователей не удовлетворяла абсолютно бессмысленная трактовка двоичной последовательности «010001010011110101001101010000110101111000110010», поскольку ее смысл «E=MC^2» ускользает в определении Шеннона.
Теория Шеннона и ее акцент на статистических свойствах информации были полезны во многих научных и технических контекстах. Но в других контекстах, и не только применительно к людям, информация без смысла кажется ограниченной и непродуктивной.
Два фундаментальных вопроса так и остаются пока без ответа:
— Является ли извлечение смысла источником разума?
— Может ли машина генерировать смысл из информации на ее входе?
Чтобы начать преодоление 70-летнего разрыва между информацией Шеннона и семантической информацией, знаменитый ученый Дэниел Деннетт организовал рабочую группу «Смысл информации», объединившую физиков, инженеров, эволюционных биологов, лингвистов, философов и нейроисследователей https://goo.gl/7bfACc .
Их подход состоит в том, чтобы определить наиболее фундаментальные случаи семантики смысла и изучить их свойства и последствия:
— в физике и инжиниринге;
— в биологии;
— в семантике естественных языков.
Цель этого – выработка альтернативной интерпретации информации посредством ее значения (смысла).
Первый семинар рабочей группы «Смысл информации» состоялся на прошлой неделе. Отправной точкой обсуждения на нем стало новое эссе гарвардского биолога проф. Дэвида Хейга https://goo.gl/om4dE9 .
Он предложил определить смысл, как результат интерпретирующего процесса, на входе которого информация.
Например.
Представьте простое устройство, способное порождать искру. Если в воздухе присутствует только кислород, ничего не происходит, но если присутствует водород, происходит взрыв.
А теперь рассмотрим другую конструкцию устройства, с одним ключевым отличием: датчик водорода. Если водород не обнаружен, система поражает искру. Если же водород обнаружен, искра не вырабатывается.
Система с датчиком действует по-разному, извлекая смысл из информации об окружающей среды. Можно ли сказать, что система интерпретирует среду? Если да, каков смысл этой интерпретации?
#Информация
С 1948 г. доминирующей интерпретацией понятия «информация» стала «бессмысленная информация»
Этот пост - не закос под эзотерику и не плод биполярного расстройства (хотя «Звездная ночь» Ван Гога одна из моих любимых картин). Все абсолютно серьезно, что подтверждается научным весом инициатора этой истории Dan Dennett и примкнувших к нему ученых высшего калибра, типа David Wolpert.
Вот уже 70 лет человечество бредет по самому худшему из возможных лабиринтов, описанному в одном из рассказов Борхеса. Он писал, что худший лабиринт - это не какая-то сложная и запутанная форма, по которой можно плутать бесконечно, а лабиринт, состоящий из одного единственного абсолютно прямого пути.
Таким путем стала для человечества единая трактовка понятия информация, доминировавшая около 60 лет, а с началом тотальной цифровизации мира где-то лет 10 назад, превращающаяся из единой в практически единственную.
В 1948 году Клод Шэннон, с головой погруженный в решение инженерных задач кодирования, передачи и декодирования электронных сигналов, предпринял радикальный шаг в определении информации таким образом, что полностью исключил из определения смысл информации. В определении Шеннона игнорировался любой потенциальный смысл, который мог бы содержаться в передаваемом сигнале. Для Шеннона информацией были статистические свойства сигналов, отправленных от отправителя к получателю.
С тех пор такое определение стало доминирующим и вот уже 70 лет широко применяется в физических, биологических и социальных науках, не говоря уж об инженерных приложениях.
Между тем, лингвисты и философы продолжили бороться за определение информации в контексте ее связи со смыслом и его интерпретацией, фокусируясь, в основном, на изучении разума и языка.
70 лет они думали прежде всего о семантике высказываний, - о том, что они называют суждениями.
Таких исследователей не удовлетворяла абсолютно бессмысленная трактовка двоичной последовательности «010001010011110101001101010000110101111000110010», поскольку ее смысл «E=MC^2» ускользает в определении Шеннона.
Теория Шеннона и ее акцент на статистических свойствах информации были полезны во многих научных и технических контекстах. Но в других контекстах, и не только применительно к людям, информация без смысла кажется ограниченной и непродуктивной.
Два фундаментальных вопроса так и остаются пока без ответа:
— Является ли извлечение смысла источником разума?
— Может ли машина генерировать смысл из информации на ее входе?
Чтобы начать преодоление 70-летнего разрыва между информацией Шеннона и семантической информацией, знаменитый ученый Дэниел Деннетт организовал рабочую группу «Смысл информации», объединившую физиков, инженеров, эволюционных биологов, лингвистов, философов и нейроисследователей https://goo.gl/7bfACc .
Их подход состоит в том, чтобы определить наиболее фундаментальные случаи семантики смысла и изучить их свойства и последствия:
— в физике и инжиниринге;
— в биологии;
— в семантике естественных языков.
Цель этого – выработка альтернативной интерпретации информации посредством ее значения (смысла).
Первый семинар рабочей группы «Смысл информации» состоялся на прошлой неделе. Отправной точкой обсуждения на нем стало новое эссе гарвардского биолога проф. Дэвида Хейга https://goo.gl/om4dE9 .
Он предложил определить смысл, как результат интерпретирующего процесса, на входе которого информация.
Например.
Представьте простое устройство, способное порождать искру. Если в воздухе присутствует только кислород, ничего не происходит, но если присутствует водород, происходит взрыв.
А теперь рассмотрим другую конструкцию устройства, с одним ключевым отличием: датчик водорода. Если водород не обнаружен, система поражает искру. Если же водород обнаружен, искра не вырабатывается.
Система с датчиком действует по-разному, извлекая смысл из информации об окружающей среды. Можно ли сказать, что система интерпретирует среду? Если да, каков смысл этой интерпретации?
#Информация
www.santafe.edu
Reconciling two views of information
<p>The Meaning of Information working group meets to reconcile two different definitions of "information."</p>
Обучение бездействием.
Новый прорывной метод машинного обучения чуть приближает ИИ к человеческому.
Революционная идея данного метода https://goo.gl/aWbX2T , изобретенного профессором David Wolpert и 2мя его постдокторантами, вдохновлена исследованиями по выявлению «бессмысленной информации» https://goo.gl/BCe6X4 и гипотезой, что ключевой целью и функцией памяти является способность забывать информацию https://goo.gl/D54ysu .
Трое исследователей задались вопросом - что получится, если нейронные сети будут обучены забывать бесполезную информацию (и как их научить это делать)?
На самом деле, задачей «забывания ненужной информации» при машинном обучении занимаются уже без малого 20 лет.
Ученые сегодня не совсем понимают, каким образом алгоритмы машинного обучения преуспевают в «интеллектуальных» задачах, типа распознавания изображений и речи. Зато они точно знают, что для эффективной генерализации (классификации данных при поиске обобщающих шаблонов) алгоритм должен помнить важную информацию, забывая о бесполезной. Эта задача, которую часто называют «Информационное бутылочное горло» (“Information Bottleneck”), породила в последние годы волну исследований, будучи впервые сформулированной еще в 2000 году.
И только совсем недавно эта задача была переформулирована применительно быстро развивающейся области глубокого обучения (т.е. машинного обучения, работающего на многослойных нейронных сетях).
Ведь весьма возможно, что сети глубокого обучения столь эффективны при решении многих интеллектуальных задач, не только потому, что они учатся предсказывать, но и потому, что они учатся игнорировать ненужную информацию.
В своей последней публикации «Нелинейное информационное бутылочное горло» https://goo.gl/YQ5v1K , ученые представляют метод обучения алгоритма машинного обучения для идентификации объектов с использованием минимальной информации. Метод решает проблему того, как оценить объем информации, хранящейся в алгоритме, используя новую оценку, опубликованную авторами в июле прошлого года в журнале Энтропия.
Цель этой работы – научиться делать предсказания с использованием данных из ограниченной полосы пропускания.
Допустим, вы - спутник в космосе или удаленная метеостанция в Антарктиде. Вы не можете отправить все данные, которые вы собираете, - их слишком много. Но как тогда определить, какие именно части данных следует послать?
В принципе же, перспективы нового метода куда шире. Он может позволить нейронным сетям находить более абстрактные (более обобщенные) шаблоны, что потенциально может дать столь необходимый рывок в повышении производительности - от распознания пешеходов вблизи самоуправляемых автомобилей до получения пятидневного прогноза погоды с Марса.
И тем самым чуть приблизит ИИ к интеллекту человека.
#ГлубокоеОбучение #Информация #Память
Новый прорывной метод машинного обучения чуть приближает ИИ к человеческому.
Революционная идея данного метода https://goo.gl/aWbX2T , изобретенного профессором David Wolpert и 2мя его постдокторантами, вдохновлена исследованиями по выявлению «бессмысленной информации» https://goo.gl/BCe6X4 и гипотезой, что ключевой целью и функцией памяти является способность забывать информацию https://goo.gl/D54ysu .
Трое исследователей задались вопросом - что получится, если нейронные сети будут обучены забывать бесполезную информацию (и как их научить это делать)?
На самом деле, задачей «забывания ненужной информации» при машинном обучении занимаются уже без малого 20 лет.
Ученые сегодня не совсем понимают, каким образом алгоритмы машинного обучения преуспевают в «интеллектуальных» задачах, типа распознавания изображений и речи. Зато они точно знают, что для эффективной генерализации (классификации данных при поиске обобщающих шаблонов) алгоритм должен помнить важную информацию, забывая о бесполезной. Эта задача, которую часто называют «Информационное бутылочное горло» (“Information Bottleneck”), породила в последние годы волну исследований, будучи впервые сформулированной еще в 2000 году.
И только совсем недавно эта задача была переформулирована применительно быстро развивающейся области глубокого обучения (т.е. машинного обучения, работающего на многослойных нейронных сетях).
Ведь весьма возможно, что сети глубокого обучения столь эффективны при решении многих интеллектуальных задач, не только потому, что они учатся предсказывать, но и потому, что они учатся игнорировать ненужную информацию.
В своей последней публикации «Нелинейное информационное бутылочное горло» https://goo.gl/YQ5v1K , ученые представляют метод обучения алгоритма машинного обучения для идентификации объектов с использованием минимальной информации. Метод решает проблему того, как оценить объем информации, хранящейся в алгоритме, используя новую оценку, опубликованную авторами в июле прошлого года в журнале Энтропия.
Цель этой работы – научиться делать предсказания с использованием данных из ограниченной полосы пропускания.
Допустим, вы - спутник в космосе или удаленная метеостанция в Антарктиде. Вы не можете отправить все данные, которые вы собираете, - их слишком много. Но как тогда определить, какие именно части данных следует послать?
В принципе же, перспективы нового метода куда шире. Он может позволить нейронным сетям находить более абстрактные (более обобщенные) шаблоны, что потенциально может дать столь необходимый рывок в повышении производительности - от распознания пешеходов вблизи самоуправляемых автомобилей до получения пятидневного прогноза погоды с Марса.
И тем самым чуть приблизит ИИ к интеллекту человека.
#ГлубокоеОбучение #Информация #Память
www.santafe.edu
Learning by omission
<p>What would happen if neural networks were explicitly trained to discard useless information, and how to tell them to do so, is the subject of recent research by SFI's Artemy Kolchinsky, Brendan Tracey, and David Wolpert.</p>
Создана единая теория смысла информации, универсальная для живого и неживого.
Эта теория:
А) дает формальное описание семантической информации, пригодное для использования в разных науках (от философии и психологии до физики и биологии);
Б) позволяет использовать формальное описание семантической информации, как для живых существ, так и для любой иной физической системы (скалы, урагана или сети).
Данная теория объясняет и формально описывает, почему одна и та же информация:
✔️ для одного человека (и вообще, для любой физической системы) имеет смысл, а для другого – нет;
✔️ для одного имеет ценность, а для другого – нет;
✔️ для одного является истиной, а для другого – нет.
Подробности в моем новом посте https://goo.gl/82yTa1
#Семантика #Информация
Эта теория:
А) дает формальное описание семантической информации, пригодное для использования в разных науках (от философии и психологии до физики и биологии);
Б) позволяет использовать формальное описание семантической информации, как для живых существ, так и для любой иной физической системы (скалы, урагана или сети).
Данная теория объясняет и формально описывает, почему одна и та же информация:
✔️ для одного человека (и вообще, для любой физической системы) имеет смысл, а для другого – нет;
✔️ для одного имеет ценность, а для другого – нет;
✔️ для одного является истиной, а для другого – нет.
Подробности в моем новом посте https://goo.gl/82yTa1
#Семантика #Информация
Medium
Создана единая теория смысла информации
Универсальная для живого и неживого
Создана кардинально новая теория информации
Это может быть переломным моментом для десятка наук и технологий: от биологии до ИИ
Революционная работа Артемия Колчинского и Дэвида Вольперта «Семантическая информация, автономное агентство и неравновесная статистическая физика» только что опубликована в трудах Королевского общества.
Мои постоянные читатели знакомы с предысторией этой фантастически интересной и бесконечно важной работы.
А) В январе в посте «70 лет человечество бредет по худшему из лабиринтов» было рассказано, что:
— с 1948 г. доминирующей интерпретацией понятия «информация» стала «бессмысленная информация»;
— эта интерпретация вот уже 70 лет ведет нас по худшему из возможных лабиринтов – вовсе не сложному и запутанному, в состоящему из одного единственного абсолютно прямого пути, ведущего в никуда.
Б) В июле в посте «Создана единая теория смысла информации, универсальная для живого и неживого» сообщалось о разработке проф. Дэвидом Вольпертом математической теории:
— формально описывающей семантическую информацию для широкого спектра наук: от философии и психологии до физики и биологии;
— применимой как для живых существ, так и для любой иной физической системы;
— объясняющей и математически описывающей, почему одна и та же информация для одного человека (и вообще, для любой физической системы) имеет смысл, а для другого – нет.
Новая работа Вольперта и Колчинского дает полное и законченное описание революционной теории информации.
Из этого описания следует:
— Семантическая информация определена, как синтаксическая информация, которую физическая система имеет о своей среде, и которая причинно необходима системе для поддержания своего собственного существования.
— «Причинная необходимость» определяется в терминах гипотетических вмешательств (counter-factual interventions), которые рандомизируют корреляции между системой и ее средой, а «поддержание существования» определяется с точки зрения способности системы держаться в низком энтропийном состоянии.
— Впервые дано математическое определение до сих пор чисто интуитивных понятий: ценность информации», «семантический контент» и «автономный агент». Сущностной связкой этих понятий является базовое положение, что физическая система является автономным агентом в той мере, в какой она располагает бОльшим объемом семантической информации.
Будучи принятой, кардинально новая теория информации:
✔️ изменит вектор развития математико-кибернетических дисциплин и, в первую очередь, ИИ;
✔️ сможет привести к разгадке самого интригующего вопроса биологии - как эволюционировали самые ранние формы жизни и как теперь адаптируются существующие виды, и в частности:
• увеличивается ли объем семантической информации в ходе эволюции?
• является ли обучение совершенствованием навыка сбора осмысленной и важной для существования организма информации?
✔️ поменяет все наши привычные инструменты работы с информацией – и в первую очередь – поисковики (привет поисковым алгоритмам Гугла и Яндекса).
#Семантика #Информация
Это может быть переломным моментом для десятка наук и технологий: от биологии до ИИ
Революционная работа Артемия Колчинского и Дэвида Вольперта «Семантическая информация, автономное агентство и неравновесная статистическая физика» только что опубликована в трудах Королевского общества.
Мои постоянные читатели знакомы с предысторией этой фантастически интересной и бесконечно важной работы.
А) В январе в посте «70 лет человечество бредет по худшему из лабиринтов» было рассказано, что:
— с 1948 г. доминирующей интерпретацией понятия «информация» стала «бессмысленная информация»;
— эта интерпретация вот уже 70 лет ведет нас по худшему из возможных лабиринтов – вовсе не сложному и запутанному, в состоящему из одного единственного абсолютно прямого пути, ведущего в никуда.
Б) В июле в посте «Создана единая теория смысла информации, универсальная для живого и неживого» сообщалось о разработке проф. Дэвидом Вольпертом математической теории:
— формально описывающей семантическую информацию для широкого спектра наук: от философии и психологии до физики и биологии;
— применимой как для живых существ, так и для любой иной физической системы;
— объясняющей и математически описывающей, почему одна и та же информация для одного человека (и вообще, для любой физической системы) имеет смысл, а для другого – нет.
Новая работа Вольперта и Колчинского дает полное и законченное описание революционной теории информации.
Из этого описания следует:
— Семантическая информация определена, как синтаксическая информация, которую физическая система имеет о своей среде, и которая причинно необходима системе для поддержания своего собственного существования.
— «Причинная необходимость» определяется в терминах гипотетических вмешательств (counter-factual interventions), которые рандомизируют корреляции между системой и ее средой, а «поддержание существования» определяется с точки зрения способности системы держаться в низком энтропийном состоянии.
— Впервые дано математическое определение до сих пор чисто интуитивных понятий: ценность информации», «семантический контент» и «автономный агент». Сущностной связкой этих понятий является базовое положение, что физическая система является автономным агентом в той мере, в какой она располагает бОльшим объемом семантической информации.
Будучи принятой, кардинально новая теория информации:
✔️ изменит вектор развития математико-кибернетических дисциплин и, в первую очередь, ИИ;
✔️ сможет привести к разгадке самого интригующего вопроса биологии - как эволюционировали самые ранние формы жизни и как теперь адаптируются существующие виды, и в частности:
• увеличивается ли объем семантической информации в ходе эволюции?
• является ли обучение совершенствованием навыка сбора осмысленной и важной для существования организма информации?
✔️ поменяет все наши привычные инструменты работы с информацией – и в первую очередь – поисковики (привет поисковым алгоритмам Гугла и Яндекса).
#Семантика #Информация
Новая теория информации.
Почему смысл информации для каждого свой.
В сети появилось видео доклада Артемия Колчинского о семантической информации (1).
Уже 70 лет человечество ходит по худшему из лабиринтов из-за того, что с подачи Клода Шеннона доминирующей интерпретацией понятия «информация» стала «бессмысленная информация» (2).
Эта «бессмысленность информации» до последнего времени не позволяла ответить на «три проклятые вопроса», почему одна и та же информация:
✔️ для одного человека имеет смысл, а для другого — нет;
✔️ для одного составляет ценность, а для другого — нет;
✔️ для одного является истиной, а для другого — нет.
Четыре года назад в этой области произошла революция. Дэвид Волперт и Артемий Колчинский разработали новую теорию информации, дав формальное определение информации в контексте ее связи со смыслом и его интерпретацией (3).
Согласно новой теории, семантическая информация – это информация, которой обладает физическая система об окружающей среде, и которая казуально необходима системе для поддержания собственного существования.
Новая теория информации не только в состоянии ответить на «три проклятые вопроса», но и, по сути, является «единой теорией смысла информации», т.к. она универсальна для всех наук и всех видов физических систем - живых и неживых (4)
В новой теории впервые дано математическое определение до сих пор чисто интуитивных понятий: «ценность информации», «семантический контент» и «автономный агент».
Но с пониманием этих математических определений есть две проблемы:
• доказательный аппарат теории оперирует нетрадиционными формализмами на стыке информатики и термодинамики (типа «причинной необходимости» и «поддержания существования»), что с ходу и не поймешь, о чем идет речь;
• сложно разобраться в нетривиальных преобразованиях довольно сложных формул;
И поэтому столь ценно для желающих разобраться в новой теории простое и понятное 30 минутное изложение её брифа, сделанное Артемием Колчинским на недавно прошедшем междисциплинарном воркшопе «Is AI Extending the Mind?»
1 2 3 4
#Семантика #Информация
Почему смысл информации для каждого свой.
В сети появилось видео доклада Артемия Колчинского о семантической информации (1).
Уже 70 лет человечество ходит по худшему из лабиринтов из-за того, что с подачи Клода Шеннона доминирующей интерпретацией понятия «информация» стала «бессмысленная информация» (2).
Эта «бессмысленность информации» до последнего времени не позволяла ответить на «три проклятые вопроса», почему одна и та же информация:
✔️ для одного человека имеет смысл, а для другого — нет;
✔️ для одного составляет ценность, а для другого — нет;
✔️ для одного является истиной, а для другого — нет.
Четыре года назад в этой области произошла революция. Дэвид Волперт и Артемий Колчинский разработали новую теорию информации, дав формальное определение информации в контексте ее связи со смыслом и его интерпретацией (3).
Согласно новой теории, семантическая информация – это информация, которой обладает физическая система об окружающей среде, и которая казуально необходима системе для поддержания собственного существования.
Новая теория информации не только в состоянии ответить на «три проклятые вопроса», но и, по сути, является «единой теорией смысла информации», т.к. она универсальна для всех наук и всех видов физических систем - живых и неживых (4)
В новой теории впервые дано математическое определение до сих пор чисто интуитивных понятий: «ценность информации», «семантический контент» и «автономный агент».
Но с пониманием этих математических определений есть две проблемы:
• доказательный аппарат теории оперирует нетрадиционными формализмами на стыке информатики и термодинамики (типа «причинной необходимости» и «поддержания существования»), что с ходу и не поймешь, о чем идет речь;
• сложно разобраться в нетривиальных преобразованиях довольно сложных формул;
И поэтому столь ценно для желающих разобраться в новой теории простое и понятное 30 минутное изложение её брифа, сделанное Артемием Колчинским на недавно прошедшем междисциплинарном воркшопе «Is AI Extending the Mind?»
1 2 3 4
#Семантика #Информация
YouTube
Artemy Kolchinsky On Autonomous Agents and Semantic Information
'Is AI Extending the Mind?' is the second annual workshop by Cross Labs, this year held virtually from April 11 – 15, 2022.
About the workshop
The extended mind hypothesis suggests that cognition does not just occur in our minds, but also extends into the…
About the workshop
The extended mind hypothesis suggests that cognition does not just occur in our minds, but also extends into the…
Коперниканский переворот: информация – не единая сущность, а троица.
А первоочередная задача мозга – не обработка информации, а декомпозиция её трёх качественно разных типов.
Только что опубликована фантастически глубокая и предельно важная работа «Декомпозиция информации и информационная архитектура мозга» на стыке вычислительной нейробиологии и теории информации.
Эта работа:
• кардинально меняет наши представления об информационной архитектуре мозга, проясняя вычислительные роли в мозге различных типов информации и их связь с нейробиологией и структурой мозга;
• объясняет, как у нашего вида возникли более высокие когнитивные способности по сравнению с другими приматами;
• позволяет сравнивать человеческий мозг с мозгом других видов и даже с искусственными когнитивными системами, обеспечивая основу для исследования информационной архитектуры биологического и искусственного познания;
• дает новое понимание причинно-следственной связи между синергией и избыточностью информации, с одной стороны, и когнитивными способностями интеллектуальных агентов, с другой.
В основе работы 2 фундаментальных переворота в научных подходах трактовки вычислительной нейробиологии мозга.
1. Информация не является монолитной сущностью: ее можно разложить на 3 качественно разных типа - синергетическая, уникальная и избыточная.
2. Информационная динамика осуществляемых мозгом вычислений, помимо обработки информации, включают ее декомпозицию, в ходе которой мозг находит компромисс между избыточностью и синергией информации (этот процесс назван распутыванием информации).
Обработка информации отвечает на вопрос: «Что происходит с информацией?». В ходе обработки информация может передаваться, храниться и модифицироваться (напр. информация из двух элементов может быть объединена с третьим). См рис А, где информация представлена в виде двоичных черно-белых шаблонов).
Декомпозиция информации отвечает на вопрос «Каким образом передается информация из нескольких источников?» (см рис В).
• Информация может полностью передаваться только одним источником, так что она больше не будет доступна, если этот источник будет нарушен (на рис. это желудь и банан на периферии поля зрения каждого глаза, показанных зеленым и бежевым треугольниками). Это называется уникальной информацией.
• Информацию может нести в равной степени каждый из нескольких источников (на рис. оба глаза видят квадрат, расположенный в синей области перекрытия). Эта избыточная информация будет оставаться полностью доступной до тех пор, пока останется хотя бы один источник.
• Информация также может передаваться несколькими источниками, работающими вместе (здесь: трехмерная информация о глубине, показывающая, что квадрат на самом деле является кубом). Эта синергетическая информация будет потеряна, если какой-либо из источников, несущих ее, будет нарушен.
Признание синергии, избыточности и уникальности информации как различных типов информации открывает путь к прояснению структуры архитектуры обработки информации в мозге.
Важным открытием, ставшим возможным благодаря информационному разложению внутренней активности мозга, стало открытие того, что выраженный синергизм сосуществует с избыточностью в человеческом мозге. Несмотря на широкое распространение, синергетические взаимодействия оставались незамеченными предыдущими методами, поскольку их нельзя было уловить с помощью традиционных мер функциональной связности, основанных на корреляции.
Распутывание различных типов информации имеет решающее значение для понимания мозга как органа обработки информации - мозг уравновешивает относительные сильные и слабые стороны различных типов информации. В частности, распутывание различных типов информации позволяет сравнивать человеческий мозг с мозгом других видов и даже с искусственными когнитивными системами, обеспечивая основу для исследования информационной архитектуры биологического и искусственного познания (рис С).
Рис: https://bit.ly/3vHV4bt
https://bit.ly/3U3Szux
#Информация
А первоочередная задача мозга – не обработка информации, а декомпозиция её трёх качественно разных типов.
Только что опубликована фантастически глубокая и предельно важная работа «Декомпозиция информации и информационная архитектура мозга» на стыке вычислительной нейробиологии и теории информации.
Эта работа:
• кардинально меняет наши представления об информационной архитектуре мозга, проясняя вычислительные роли в мозге различных типов информации и их связь с нейробиологией и структурой мозга;
• объясняет, как у нашего вида возникли более высокие когнитивные способности по сравнению с другими приматами;
• позволяет сравнивать человеческий мозг с мозгом других видов и даже с искусственными когнитивными системами, обеспечивая основу для исследования информационной архитектуры биологического и искусственного познания;
• дает новое понимание причинно-следственной связи между синергией и избыточностью информации, с одной стороны, и когнитивными способностями интеллектуальных агентов, с другой.
В основе работы 2 фундаментальных переворота в научных подходах трактовки вычислительной нейробиологии мозга.
1. Информация не является монолитной сущностью: ее можно разложить на 3 качественно разных типа - синергетическая, уникальная и избыточная.
2. Информационная динамика осуществляемых мозгом вычислений, помимо обработки информации, включают ее декомпозицию, в ходе которой мозг находит компромисс между избыточностью и синергией информации (этот процесс назван распутыванием информации).
Обработка информации отвечает на вопрос: «Что происходит с информацией?». В ходе обработки информация может передаваться, храниться и модифицироваться (напр. информация из двух элементов может быть объединена с третьим). См рис А, где информация представлена в виде двоичных черно-белых шаблонов).
Декомпозиция информации отвечает на вопрос «Каким образом передается информация из нескольких источников?» (см рис В).
• Информация может полностью передаваться только одним источником, так что она больше не будет доступна, если этот источник будет нарушен (на рис. это желудь и банан на периферии поля зрения каждого глаза, показанных зеленым и бежевым треугольниками). Это называется уникальной информацией.
• Информацию может нести в равной степени каждый из нескольких источников (на рис. оба глаза видят квадрат, расположенный в синей области перекрытия). Эта избыточная информация будет оставаться полностью доступной до тех пор, пока останется хотя бы один источник.
• Информация также может передаваться несколькими источниками, работающими вместе (здесь: трехмерная информация о глубине, показывающая, что квадрат на самом деле является кубом). Эта синергетическая информация будет потеряна, если какой-либо из источников, несущих ее, будет нарушен.
Признание синергии, избыточности и уникальности информации как различных типов информации открывает путь к прояснению структуры архитектуры обработки информации в мозге.
Важным открытием, ставшим возможным благодаря информационному разложению внутренней активности мозга, стало открытие того, что выраженный синергизм сосуществует с избыточностью в человеческом мозге. Несмотря на широкое распространение, синергетические взаимодействия оставались незамеченными предыдущими методами, поскольку их нельзя было уловить с помощью традиционных мер функциональной связности, основанных на корреляции.
Распутывание различных типов информации имеет решающее значение для понимания мозга как органа обработки информации - мозг уравновешивает относительные сильные и слабые стороны различных типов информации. В частности, распутывание различных типов информации позволяет сравнивать человеческий мозг с мозгом других видов и даже с искусственными когнитивными системами, обеспечивая основу для исследования информационной архитектуры биологического и искусственного познания (рис С).
Рис: https://bit.ly/3vHV4bt
https://bit.ly/3U3Szux
#Информация
Яндекс Диск
Три типа информации.jpg
Посмотреть и скачать с Яндекс Диска