Апокалипсис от Адама.
Иррациональность ведет к экзистенциальной катастрофе.
“Homo irrationalis (лат. «человек иррациональный») — это недавно открытая новая ветвь нынешнего доминирующего вида Homo sapiens (лат. «человек разумный») . В результате эволюционной адаптации существа Homo irrationalis потеряли способность быть разумными (мыслящими рационально) и поэтому вынуждены вести себя все более беспорядочно, необъяснимо и иррационально”.
Кароль Цисевски (анонс данс-мим-шоу Homo irrationalis)
Два весьма знаковых события, несущие одну и ту же важнейшую для человечества весть, пришлись на декаду предрождественских хитов.
• Об одном из них — мировой премьере фильма Адама МакКея «Не смотрите наверх», — спустя месяц так или иначе слышала уже добрая половина человечества (еще бы: тысячи разноязычных статей, подкастов и дискуссий на ТВ и десятки тысяч обсуждений в соцсетях).
• О втором событии — публикации исследования команды Мартена Схеффера «Взлет и падение рациональности в языке», — на всей Земле сейчас знают от силы несколько тысяч человек (менее сотни упоминаний в Twitter и блогах для интеллектуалов, да скромная ветка на Reddit).
Весть, которую несут человечеству эти два столь разные по типу, форме и жанру высказывания творческой команды Адама МакКея и научной команды Мартена Схеффера, такова.
Цивилизация превращается в мир кретинов, в результате чего риски экзистенциальных катастроф становятся непреодолимыми.
Казалось бы, исследование и фильм не говорят чего-то принципиально нового. О наблюдаемых признаках тотального оглупления в последние годы говорят и пишут многие эксперты в самых разных контекстах на стыке знаний психологии, биологии и социальных наук:
• когнитивные психологи и нейроантропологи, например, уже несколько лет пишут о возможном пагубном влиянии социальных сетей и всезнающих алгоритмов;
• социальные психологи, эволюционные антропологи и культурологи, в свою очередь, в последние годы пишут о вероятном влиянии антропотехнологической эволюции на возможности возникновения нового “подвида” людей — инфоргов (inforgs), нового класса алгоритмически насыщенных обществ (algorithmically infused societies) и нового типа цивилизации — алгокогнитивная культура (algocognitive culture).
И тем не менее, два вышеназванных события можно по праву отнести к важнейшим событиям 2021 года, что я и собираюсь здесь показать.
Исследование и фильм уникальны и крайне важны для того, чтобы весть о превращении цивилизации в мир кретинов и экзистенциальных рисках этого превращения была наконец-то услышана человечеством.
✔️ Исследование экспериментально подтвердило, что человечество теряет способность рационально мыслить (а это ведет к нарастанию разнообразных рисков и, в том числе, экзистенциальных).
✔️ А фильм, своей художественной силой, потенциально способен достучаться до изрядно ослабевшего умом человечества, уже не способного поверить в экзистенциальность угроз, описываемых на языке анализа фактов.
В этом посте я попытался обосновать оба вышеназванных тезиса и ответить на главный вопрос –
почему так происходит и куда ведет?
Продолжить чтение (еще 12 мин)
- на Medium https://bit.ly/3r22Eb4
- на Яндекс Дзен https://clck.ru/aiDsi
#Рациональность #КогнитивныеИскажения #ИнтеллектуальнаяСлепота #Вызовы21века
Иррациональность ведет к экзистенциальной катастрофе.
“Homo irrationalis (лат. «человек иррациональный») — это недавно открытая новая ветвь нынешнего доминирующего вида Homo sapiens (лат. «человек разумный») . В результате эволюционной адаптации существа Homo irrationalis потеряли способность быть разумными (мыслящими рационально) и поэтому вынуждены вести себя все более беспорядочно, необъяснимо и иррационально”.
Кароль Цисевски (анонс данс-мим-шоу Homo irrationalis)
Два весьма знаковых события, несущие одну и ту же важнейшую для человечества весть, пришлись на декаду предрождественских хитов.
• Об одном из них — мировой премьере фильма Адама МакКея «Не смотрите наверх», — спустя месяц так или иначе слышала уже добрая половина человечества (еще бы: тысячи разноязычных статей, подкастов и дискуссий на ТВ и десятки тысяч обсуждений в соцсетях).
• О втором событии — публикации исследования команды Мартена Схеффера «Взлет и падение рациональности в языке», — на всей Земле сейчас знают от силы несколько тысяч человек (менее сотни упоминаний в Twitter и блогах для интеллектуалов, да скромная ветка на Reddit).
Весть, которую несут человечеству эти два столь разные по типу, форме и жанру высказывания творческой команды Адама МакКея и научной команды Мартена Схеффера, такова.
Цивилизация превращается в мир кретинов, в результате чего риски экзистенциальных катастроф становятся непреодолимыми.
Казалось бы, исследование и фильм не говорят чего-то принципиально нового. О наблюдаемых признаках тотального оглупления в последние годы говорят и пишут многие эксперты в самых разных контекстах на стыке знаний психологии, биологии и социальных наук:
• когнитивные психологи и нейроантропологи, например, уже несколько лет пишут о возможном пагубном влиянии социальных сетей и всезнающих алгоритмов;
• социальные психологи, эволюционные антропологи и культурологи, в свою очередь, в последние годы пишут о вероятном влиянии антропотехнологической эволюции на возможности возникновения нового “подвида” людей — инфоргов (inforgs), нового класса алгоритмически насыщенных обществ (algorithmically infused societies) и нового типа цивилизации — алгокогнитивная культура (algocognitive culture).
И тем не менее, два вышеназванных события можно по праву отнести к важнейшим событиям 2021 года, что я и собираюсь здесь показать.
Исследование и фильм уникальны и крайне важны для того, чтобы весть о превращении цивилизации в мир кретинов и экзистенциальных рисках этого превращения была наконец-то услышана человечеством.
✔️ Исследование экспериментально подтвердило, что человечество теряет способность рационально мыслить (а это ведет к нарастанию разнообразных рисков и, в том числе, экзистенциальных).
✔️ А фильм, своей художественной силой, потенциально способен достучаться до изрядно ослабевшего умом человечества, уже не способного поверить в экзистенциальность угроз, описываемых на языке анализа фактов.
В этом посте я попытался обосновать оба вышеназванных тезиса и ответить на главный вопрос –
почему так происходит и куда ведет?
Продолжить чтение (еще 12 мин)
- на Medium https://bit.ly/3r22Eb4
- на Яндекс Дзен https://clck.ru/aiDsi
#Рациональность #КогнитивныеИскажения #ИнтеллектуальнаяСлепота #Вызовы21века
Medium
Апокалипсис от Адама
Иррациональность ведет к экзистенциальной катастрофе
Мы не представляли сколь велик айсберг когнитивных искажений.
Наши представления о мире становятся все более кривыми.
Таков весьма неутешительный вывод о состоянии представлений человечества о мире и самих себе, впервые вербализован на уровне профильного госагенства технологической сверхдержавы - Национальным институтом стандартов и технологий США (NIST).
Авторы нового отчета NIST, озаглавленного «Towards a Standard for Identifying and Managing Bias in Artificial Intelligence», поставили перед собой такую задачу.
1. Среда взаимодействий отдельных людей и сообществ становится все более виртуальной (в моей терминологии это называется переходом человечества к иному типу культура – алгокогнитивная культура).
2. Цифровые следы людей в новой инфокоммуникационной среде глобальной сети превращаются в самый востребованный и дорогой товар.
3. За формирование этого товара отвечают алгоритмы, которые пытаются количественно оценивать поведение и высказывания людей. Эти оценки используются алгоритмами для классификации, сортировки, рекомендаций и принятия решений о жизни людей.
4. Но к сожалению, в основе алгоритмических оценок лежат неоднозначные по своей природе представления об устройстве мира и поведении людей, подчерпнутые алгоритмами из океана собираемых ими данных о людях – их настоящем и прошлом опыте.
5. Все обобщаемые алгоритмами данные об опыте людей насквозь пропитаны искажающими реальность ошибками, являющимися результатами когнитивных искажений людей.
6. Это ошибки переносятся (с мультиплицирующим эффектом) алгоритмами во все технологические процессы, автоматизирующие деятельность людей и принятие ими решений с применением ИИ-систем, что может вести к весьма вредным последствиям независимо от намерений их создателей.
7. Для снижения рисков вредных последствий вышеописанных процессов необходимо, в первую очередь, идентифицировать и классифицировать все типы когнитивных искажений, приводящих к ошибкам в данных об опыте людей.
В результате 1й систематической попытки такой классификации авторы пришли к следующим выводам (в моей интерпретация, - подробней и точнее см. отчет).
A. «Айсберг» когнитивных искажений оказался куда больше чем предполагалось.
B. Помимо статистически-вычислительных искажений, вносимых алгоритмами, и когнитивных искажений людей, чей опыт воплощен в исходные данные для алгоритмов, существует огромная нижняя часть «айсберга» - системообразующие когнитивные искажения институтов общества.
C. Эта лежащая в основе «айсберга» колоссальная по размерам область является результатом исторически сложившихся процедур и практик, кодирующих социокультурные предубеждения в миропонимании конкретных институтов общества. В результате этих когнитивных искажений, определенные социальные группы получают преимущества или привилегии, а другие оказываются в неблагоприятном положении или обесцениваются. И это не обязательно является результатом какого-либо сознательного предубеждения или дискриминации, а скорее следствием того, что большинство следует существующим правилам или нормам.
▶️ ️ Специалисты по ИИ умеют минимизировать статистически-вычислительные искажения.
▶️ ️ Психологи и специалисты по когнитивному мышлению учатся учитывать когнитивные искажения и шум при принятии решений отдельными людьми.
▶️ ️ Но для системообразующих когнитивных искажений институтов общества, к сожалению, пока не существует признанных систем их идентификации и классификации. И более того, - в разных обществах они по-разному идентифицируются.
Это значит, что:
✔️ нет пока способов предотвращения мультиплицирования махины когнитивных искажений институтов алгоритмами ИИ;
✔️ наши представления о мире, формируемые в рамках новой алгокогнитивной культуры, будут становиться все более кривыми (рост интеллектуальной слепоты и падение рациональности).
См. также мои посты по тэгам:
#Рациональность #КогнитивныеИскажения #ИнтеллектуальнаяСлепота #Вызовы21века
Наши представления о мире становятся все более кривыми.
Таков весьма неутешительный вывод о состоянии представлений человечества о мире и самих себе, впервые вербализован на уровне профильного госагенства технологической сверхдержавы - Национальным институтом стандартов и технологий США (NIST).
Авторы нового отчета NIST, озаглавленного «Towards a Standard for Identifying and Managing Bias in Artificial Intelligence», поставили перед собой такую задачу.
1. Среда взаимодействий отдельных людей и сообществ становится все более виртуальной (в моей терминологии это называется переходом человечества к иному типу культура – алгокогнитивная культура).
2. Цифровые следы людей в новой инфокоммуникационной среде глобальной сети превращаются в самый востребованный и дорогой товар.
3. За формирование этого товара отвечают алгоритмы, которые пытаются количественно оценивать поведение и высказывания людей. Эти оценки используются алгоритмами для классификации, сортировки, рекомендаций и принятия решений о жизни людей.
4. Но к сожалению, в основе алгоритмических оценок лежат неоднозначные по своей природе представления об устройстве мира и поведении людей, подчерпнутые алгоритмами из океана собираемых ими данных о людях – их настоящем и прошлом опыте.
5. Все обобщаемые алгоритмами данные об опыте людей насквозь пропитаны искажающими реальность ошибками, являющимися результатами когнитивных искажений людей.
6. Это ошибки переносятся (с мультиплицирующим эффектом) алгоритмами во все технологические процессы, автоматизирующие деятельность людей и принятие ими решений с применением ИИ-систем, что может вести к весьма вредным последствиям независимо от намерений их создателей.
7. Для снижения рисков вредных последствий вышеописанных процессов необходимо, в первую очередь, идентифицировать и классифицировать все типы когнитивных искажений, приводящих к ошибкам в данных об опыте людей.
В результате 1й систематической попытки такой классификации авторы пришли к следующим выводам (в моей интерпретация, - подробней и точнее см. отчет).
A. «Айсберг» когнитивных искажений оказался куда больше чем предполагалось.
B. Помимо статистически-вычислительных искажений, вносимых алгоритмами, и когнитивных искажений людей, чей опыт воплощен в исходные данные для алгоритмов, существует огромная нижняя часть «айсберга» - системообразующие когнитивные искажения институтов общества.
C. Эта лежащая в основе «айсберга» колоссальная по размерам область является результатом исторически сложившихся процедур и практик, кодирующих социокультурные предубеждения в миропонимании конкретных институтов общества. В результате этих когнитивных искажений, определенные социальные группы получают преимущества или привилегии, а другие оказываются в неблагоприятном положении или обесцениваются. И это не обязательно является результатом какого-либо сознательного предубеждения или дискриминации, а скорее следствием того, что большинство следует существующим правилам или нормам.
▶️ ️ Специалисты по ИИ умеют минимизировать статистически-вычислительные искажения.
▶️ ️ Психологи и специалисты по когнитивному мышлению учатся учитывать когнитивные искажения и шум при принятии решений отдельными людьми.
▶️ ️ Но для системообразующих когнитивных искажений институтов общества, к сожалению, пока не существует признанных систем их идентификации и классификации. И более того, - в разных обществах они по-разному идентифицируются.
Это значит, что:
✔️ нет пока способов предотвращения мультиплицирования махины когнитивных искажений институтов алгоритмами ИИ;
✔️ наши представления о мире, формируемые в рамках новой алгокогнитивной культуры, будут становиться все более кривыми (рост интеллектуальной слепоты и падение рациональности).
См. также мои посты по тэгам:
#Рациональность #КогнитивныеИскажения #ИнтеллектуальнаяСлепота #Вызовы21века
Мы не иррациональные обезьяны, а сверхэффективный суперкомпьютер.
Смена парадигмы иррациональности косвенно подтверждает вычислительную теорию разума.
Наша иррациональность (нерациональное поведение при принятии решений и осуществлении выбора) уникальна. Ни одно животное не способно действовать столь нерационально, выбирая, рискуя или сотрудничая. Люди – особый вид, иррациональность поведения которого (наряду с языком) превратила нас в царя природы и сверхразумное подобие Бога (кто бы еще из животных променял жизнь в раю на несколько укусов яблока - шутка, соответствующая реальности).
Разгадать природу нашей иррациональности психологи, экономисты и нейробиологи целенаправленно пытаются 60+ лет. В результате опубликованы тысячи научных статей и более двухсот монографий, присуждено несколько Нобелевских премий, проданы миллионы экземпляров мировых бестселлеров... 1
Но центральный вопрос экономики, психологии и нейробиологии принятия иррациональных решений – почему поведение людей при выборе вариантов столь предвзято, - по-прежнему открыт.
Установлено, что источником предвзятостей являются многообразные когнитивные искажения 2.
Но что за механизм их вызывает?
Согласно традиционным представлениям, механизм примерно таков - мозг функционирует, как несколько конкурирующих агентов 3:
• быстро и неосознанно на автомате решающей Системы 1
• и внимательно-задумчивой и потому медленной Системы 2
В результате внутренней конкуренции агентов возникают когнитивные искажения, ведущие к иррациональному поведению: странные финансовые решения; поступки, совершенные как бы в несознанке; импульсивные решения во вред себе (типа приема наркотиков) и т.д. 4
ОДНАКО!
В августовском выпуске Trends in Cognitive Sciences 5 публикуется новая работа отца нейроэкономики Пола Глимчера «Efficiently irrational: deciphering the riddle of human choice». Она подводит итог 10-летних исследований Глимчера, результаты которых могут кардинально поменять существующую научную парадигму объяснения иррациональности выбора людей в нейробиологии, психологии, экономике, социологии и политике.
Революционный вывод новой теории в том, что никакой иррациональности нет: мозг вовсе не максимизирует функцию полезности, а абсолютно рационально ищет компромисс между точностью своих вычислений и энергозатратами на них.
Сверхразумность Homo имеет высокую энергетическую цену (см. рис. ниже):
• Вычислительные потребности мозга около 10 ватт энергии в час (за сутки - 240 Вт)
• Для выработки 240 Вт требуется примерно 400 ккал энергии (около 20% суточной нормы поступающих с пищей калорий)
Это сверхэффективное энергопотребление мозга в сравнении с современными компьютерами, потребляющими в 30-100 раз больше энергии, но зато способными обеспечить высочайшую точность вычислений.
Чтобы повысить точность вычислений мозга на порядок, потребовалось бы 100 ватт энергии в час.
• За сутки энергопотребление составило бы 2400 Вт
• Для их выработки требуется примерно 4000 ккал энергии. Если этот объем калорий составит около 70% суточной потребности, то человеку потребуется ежедневно потреблять пищи, содержащей около 5600 ккал.
Т.е. для повышения точности вычислений лишь на 1 порядок, людям пришлось бы есть в 3 раза больше.
Реальность среды обитания не позволяла эволюции пойти на подобные энергозатраты мозга. Пришлось искать компромисс между точностью вычислений и энергопотреблением.
Как это делается в мозге, сам Глимчер рассказывает в часовой лекции 6.
И если Глимчер прав, это сильный (хоть и косвенный) аргумент в пользу вычислительной теории разума.
#Рациональность #КогнитивныеИскажения #ПринятиеРешений
Смена парадигмы иррациональности косвенно подтверждает вычислительную теорию разума.
Наша иррациональность (нерациональное поведение при принятии решений и осуществлении выбора) уникальна. Ни одно животное не способно действовать столь нерационально, выбирая, рискуя или сотрудничая. Люди – особый вид, иррациональность поведения которого (наряду с языком) превратила нас в царя природы и сверхразумное подобие Бога (кто бы еще из животных променял жизнь в раю на несколько укусов яблока - шутка, соответствующая реальности).
Разгадать природу нашей иррациональности психологи, экономисты и нейробиологи целенаправленно пытаются 60+ лет. В результате опубликованы тысячи научных статей и более двухсот монографий, присуждено несколько Нобелевских премий, проданы миллионы экземпляров мировых бестселлеров... 1
Но центральный вопрос экономики, психологии и нейробиологии принятия иррациональных решений – почему поведение людей при выборе вариантов столь предвзято, - по-прежнему открыт.
Установлено, что источником предвзятостей являются многообразные когнитивные искажения 2.
Но что за механизм их вызывает?
Согласно традиционным представлениям, механизм примерно таков - мозг функционирует, как несколько конкурирующих агентов 3:
• быстро и неосознанно на автомате решающей Системы 1
• и внимательно-задумчивой и потому медленной Системы 2
В результате внутренней конкуренции агентов возникают когнитивные искажения, ведущие к иррациональному поведению: странные финансовые решения; поступки, совершенные как бы в несознанке; импульсивные решения во вред себе (типа приема наркотиков) и т.д. 4
ОДНАКО!
В августовском выпуске Trends in Cognitive Sciences 5 публикуется новая работа отца нейроэкономики Пола Глимчера «Efficiently irrational: deciphering the riddle of human choice». Она подводит итог 10-летних исследований Глимчера, результаты которых могут кардинально поменять существующую научную парадигму объяснения иррациональности выбора людей в нейробиологии, психологии, экономике, социологии и политике.
Революционный вывод новой теории в том, что никакой иррациональности нет: мозг вовсе не максимизирует функцию полезности, а абсолютно рационально ищет компромисс между точностью своих вычислений и энергозатратами на них.
Сверхразумность Homo имеет высокую энергетическую цену (см. рис. ниже):
• Вычислительные потребности мозга около 10 ватт энергии в час (за сутки - 240 Вт)
• Для выработки 240 Вт требуется примерно 400 ккал энергии (около 20% суточной нормы поступающих с пищей калорий)
Это сверхэффективное энергопотребление мозга в сравнении с современными компьютерами, потребляющими в 30-100 раз больше энергии, но зато способными обеспечить высочайшую точность вычислений.
Чтобы повысить точность вычислений мозга на порядок, потребовалось бы 100 ватт энергии в час.
• За сутки энергопотребление составило бы 2400 Вт
• Для их выработки требуется примерно 4000 ккал энергии. Если этот объем калорий составит около 70% суточной потребности, то человеку потребуется ежедневно потреблять пищи, содержащей около 5600 ккал.
Т.е. для повышения точности вычислений лишь на 1 порядок, людям пришлось бы есть в 3 раза больше.
Реальность среды обитания не позволяла эволюции пойти на подобные энергозатраты мозга. Пришлось искать компромисс между точностью вычислений и энергопотреблением.
Как это делается в мозге, сам Глимчер рассказывает в часовой лекции 6.
И если Глимчер прав, это сильный (хоть и косвенный) аргумент в пользу вычислительной теории разума.
#Рациональность #КогнитивныеИскажения #ПринятиеРешений
Илон Маск и Макс Тегмарк считают – это самый важный фильм года.
«Не смотри вверх – ИИ как экзистенциальная угроза».
Новый 17-ти минутный документальный фильм Дагана Шани рассказывает о том, как
• большие деньги,
• большие ставки,
• и большие риски, -
поставили мир на грань экзистенциальной катастрофы.
Хороший сценарий, отличный видеоряд, превосходный монтаж.
Но главное, - что за 17 мин вы услышите большинство важных соображений по этой теме от многих известных специалистов.
Ну а выводы делайте сами.
Я же на эту тему подробно высказался в открывшем 2023 год лонгриде «Апокалипсис от Адама» - о том, что к экзистенциальной катастрофе мир приведет не астероид или ИИ, а то что мы – не столько Homo sapiens, сколько Homo irrationalis.
#ИИ #Рациональность #КогнитивныеИскажения #ИнтеллектуальнаяСлепота #Вызовы21века
«Не смотри вверх – ИИ как экзистенциальная угроза».
Новый 17-ти минутный документальный фильм Дагана Шани рассказывает о том, как
• большие деньги,
• большие ставки,
• и большие риски, -
поставили мир на грань экзистенциальной катастрофы.
Хороший сценарий, отличный видеоряд, превосходный монтаж.
Но главное, - что за 17 мин вы услышите большинство важных соображений по этой теме от многих известных специалистов.
Ну а выводы делайте сами.
Я же на эту тему подробно высказался в открывшем 2023 год лонгриде «Апокалипсис от Адама» - о том, что к экзистенциальной катастрофе мир приведет не астероид или ИИ, а то что мы – не столько Homo sapiens, сколько Homo irrationalis.
#ИИ #Рациональность #КогнитивныеИскажения #ИнтеллектуальнаяСлепота #Вызовы21века
YouTube
Don't Look Up - The Documentary: The Case For AI As An Existential Threat
In the last months, a growing number of AI experts have warned that the current AI Arms Race between OpenAI, Google and some other tech companies, is very dangerous, and might lead to the destruction of the human race. Yet somehow, most people are not aware…