Non Satis Scire.
Благодаря Google и Яндекс, мы знаем все больше, а понимаем все меньше.
Восемь лет это исследование пробивалось сквозь тернии и препоны, чтобы быть напечатанным в Трудах Национальной Академии наук США. И вот свершилось. Исследование Адриана Ф. Уорда «Люди принимают знания Интернета за свои собственные», наконец, опубликовано, не смотря на все попытки помешать этому со стороны Интернет-гиганта №1.

Предаваясь бесконечным опасениям из-за, якобы, исходящих от ИИ экзистенциальных угроз, мы не хотим видеть главной реальной угрозы. Новая синтетическая культура людей и алгоритмов (названная мною алгокогнитивная культура) меняет самих людей.

Когда наши «старые» когнитивные системы взаимодействуют с «новыми» цифровыми технологиями, происходит адаптация когнитивных систем. И этот процесс оказывается чрезвычайно быстрым. Уже при жизни одного поколения меняется способ поиска и понимания информации. Латинское выражение Non Satis Scire (не достаточно знать) в алгокогнитивной среде людей и поисковых алгоритмов воплощает неотвратимость лавинообразного массового нарастания интеллектуальной слепоты.

Эффект Даннинга-Крюгера (метакогнитивное искажение типа «чем тупее, тем уверенней в себе») вовсе не преодолевается путем предоставления «незнайкам» истинных данных и научной аргументации (подробней см. мой пост «Метакогнитивные искажения не оставляют нам шансов. Современное просвещение дает обратный эффект»).
Напротив. При использовании поисковиков, это метакогнитивное искажение явственно увеличивается. Люди склонны принимать знания Интернета за свои собственные. В их разуме размывается граница между собственной памятью и памятью поисковика. Это ведет к росту необоснованной уверенности в своих знаниях.
В результате чего:
• растет интеллектуальная слепота масс;
• даже профессионалы предпочитают все более следовать мейнстриму массовых заблуждений (оно спокойней и доходней).

В итоге, мир неуклонно глупеет: растет значимость фейков в миропонимании людей и число принимаемых ими ошибочных, излишне самоуверенных решений.

Ощущение большей осведомленности, возникающее у людей при использовании Интернета, может заставить полагаться на интуицию при принятии медицинских или рискованных финансовых решений. Также это может еще более цементировать укоренившиеся ошибочные взгляды людей на науку и политику.

Главный ущерб от всего этого испытывает понимание. Информация, извлекаемая не из собственной памяти, а из поисковика, испаряется столь же быстро, как и находится. И даже если с помощью этой информации было достигнуто понимание чего-либо, оно остается у человека без опоры на знания, быстро испаряющиеся при «отключении от сети».

Ну а вслед за этим происходит одно из двух:
• либо испаряется и понимание;
• либо остается ощущение фантомного понимания, не имеющего под собой фактической базы, или на базе каких-то актуальных фейков.

Метаитог всего названного известен, и я об этом уже писал: «Незнание о незнании присуще не только дуракам».
Ну а исследование Уорда живописует механизм этой «эпидемии незнания о незнании» множеством экспериментальных деталей.
#КогнитивныеИскажения #ИнтеллектуальнаяСлепота #Вызовы21века

​​65% топ-выдачи Яндекса искажают инфореальность, продвигая теории заговора.
Проведен сравнительный аудит конспирологичности поисковиков.
К сожалению, информатизация общества имеет и отрицательные последствия. Одно из них - рост «интеллектуальной слепоты» все большего числа людей. Ее характерными признаками являются: (1) неумение отличить фейк от правды и (2) повышение доли конспирологических убеждений в мировоззрении людей.
Маршевыми двигателями процесса «интеллектуального ослепления» масс стали социальные сети и поисковики.
И если ослепляющий эффект первых можно хотя бы минимизировать (стерев экаунт или заходя в соцсеть пореже), с поисковиками дело совсем хана: без них как без рук.

В этой связи, важнейший для каждого из нас вопрос:
насколько сильно конкретный поисковик искажает инфореальность в пользу конспирологического мировоззрения - всевозможных теорий заговора.
Проверить это можно лишь путем сравнения первых страниц поисковой выдачи разных поисковиков на запросы, так или иначе связанные с теориями заговора. Чем больше в выдаче ссылок на отстойные ресурсы конспирологов, и чем они выше в выдаче, тем сильнее алгоритмы поисковика искажают инфореальность, пропагандируя теории заговора.
Важно также, что следствием такого искажения инфореальности, помимо роста «интеллектуальной слепоты», становится усиление раскола общества и повышение в нем градуса хейта.

Только что опубликованное исследование четырех солидных институтов из Швейцарии и Германии «Where the Earth is flat and 9/11 is an inside job: A comparative algorithm audit of conspiratorial information in web search results» описывает результаты аудита 4х поисковиков: Google, MS Bing, DuckDuckGo, Yahoo! и Яндекс.
Обобщение результатов вы видите на приложенной диаграмме.

Главных результатов три:
✔️ Степень искажения инфореальности у MS Bing, DuckDuckGo, Yahoo! составляет от 25% до 40%.
✔️ Абсолютный чемпион по продвижению теорий заговора – Яндекс (65% его топовой выдачи продвигает источники, пропагандирующие теории заговора.
✔️ Алгоритмы поисковиков настолько подвержены предвзятости в пользу теорий заговора, что вычистить их пропаганду из поисковой выдачи могут лишь люди (что и делает среди поисковиков лишь Google).

P.S. В пандан к этой теме - о том, что благодаря поисковикам, мы знаем все больше, а понимаем все меньше, я недавно писал.

#КогнитивныеИскажения #ИнтеллектуальнаяСлепота #Вызовы21века

Апокалипсис от Адама.
Иррациональность ведет к экзистенциальной катастрофе.
“Homo irrationalis (лат. «человек иррациональный») — это недавно открытая новая ветвь нынешнего доминирующего вида Homo sapiens (лат. «человек разумный») . В результате эволюционной адаптации существа Homo irrationalis потеряли способность быть разумными (мыслящими рационально) и поэтому вынуждены вести себя все более беспорядочно, необъяснимо и иррационально”.
Кароль Цисевски (анонс данс-мим-шоу Homo irrationalis)

Два весьма знаковых события, несущие одну и ту же важнейшую для человечества весть, пришлись на декаду предрождественских хитов.
• Об одном из них — мировой премьере фильма Адама МакКея «Не смотрите наверх», — спустя месяц так или иначе слышала уже добрая половина человечества (еще бы: тысячи разноязычных статей, подкастов и дискуссий на ТВ и десятки тысяч обсуждений в соцсетях).
• О втором событии — публикации исследования команды Мартена Схеффера «Взлет и падение рациональности в языке», — на всей Земле сейчас знают от силы несколько тысяч человек (менее сотни упоминаний в Twitter и блогах для интеллектуалов, да скромная ветка на Reddit).

Весть, которую несут человечеству эти два столь разные по типу, форме и жанру высказывания творческой команды Адама МакКея и научной команды Мартена Схеффера, такова.

Цивилизация превращается в мир кретинов, в результате чего риски экзистенциальных катастроф становятся непреодолимыми.

Казалось бы, исследование и фильм не говорят чего-то принципиально нового. О наблюдаемых признаках тотального оглупления в последние годы говорят и пишут многие эксперты в самых разных контекстах на стыке знаний психологии, биологии и социальных наук:
• когнитивные психологи и нейроантропологи, например, уже несколько лет пишут о возможном пагубном влиянии социальных сетей и всезнающих алгоритмов;
• социальные психологи, эволюционные антропологи и культурологи, в свою очередь, в последние годы пишут о вероятном влиянии антропотехнологической эволюции на возможности возникновения нового “подвида” людей — инфоргов (inforgs), нового класса алгоритмически насыщенных обществ (algorithmically infused societies) и нового типа цивилизации — алгокогнитивная культура (algocognitive culture).

И тем не менее, два вышеназванных события можно по праву отнести к важнейшим событиям 2021 года, что я и собираюсь здесь показать.

Исследование и фильм уникальны и крайне важны для того, чтобы весть о превращении цивилизации в мир кретинов и экзистенциальных рисках этого превращения была наконец-то услышана человечеством.

✔️ Исследование экспериментально подтвердило, что человечество теряет способность рационально мыслить (а это ведет к нарастанию разнообразных рисков и, в том числе, экзистенциальных).
✔️ А фильм, своей художественной силой, потенциально способен достучаться до изрядно ослабевшего умом человечества, уже не способного поверить в экзистенциальность угроз, описываемых на языке анализа фактов.

В этом посте я попытался обосновать оба вышеназванных тезиса и ответить на главный вопрос –
почему так происходит и куда ведет?

Продолжить чтение (еще 12 мин)
- на Medium https://bit.ly/3r22Eb4
- на Яндекс Дзен https://clck.ru/aiDsi
#Рациональность #КогнитивныеИскажения #ИнтеллектуальнаяСлепота #Вызовы21века

Как получается, что профессиональные эксперты, привлекаемые обществом при выработке важных и ответственных решений, дают диаметрально противоположные заключения?
Увы, но такое происходит постоянно и повсеместно. И порой касается даже самых важных вопросов, от которых зависят жизни и судьбы конкретных людей, а то и всего общества.

Сталкиваясь с полярными суждениями по важным вопросам (напр. касательно изменения климата и рисков автономного оружия, вреда социальных сетей и методов борьбы с пандемией …), мы примыкаем к одной из сторон, считая суждения противоположной стороны ошибочными. Причины этой ошибочности могут нам видеться разными: от некомпетентности и мотивированности людей, до непреодолимых изъянов их разума и/или морали.

✔️ Но как быть с институтом профессиональной экспертизы, на суждения которой опираются при принятии решений все прочие институты от суда и медицины до политиков и военных?
✔️ Гарантируют ли обществу репутация и опыт профессиональных экспертов непредвзятость их оценок, точность их анализа и верность их рекомендаций?

В моём новом лонгриде предпринята попытка ответить на оба вопроса.
Итог моего анализа резюмируется так.
• В эпоху постнормальной науки и постнормальной истины полагаться лишь на «рациональных ангелов нашей природы» не следует никому, включая профессиональных экспертов.
• Авторитет, знания и опыт профессиональных экспертов, сами по себе, не гарантируют верных выводов и решений, ибо даже лучшие из экспертов не меньше обычных людей (а подчас и больше) уязвимы для когнитивных искажений и шумов.
• Единственный способ минимизации ошибок общества при принятии сложных и ответственных решений — наличие строгого контроля за тем, насколько неукоснительно все вовлеченные в выработку решений эксперты следуют методам, противодействующим влиянию когнитивных искажений и шума.
• Эти методы, основанные на адаптации самых продвинутых теоретических научных представлений о человеческом разуме, мозге и познании, уже разработаны и многократно проверены. Однако, их практическое применение ограничено (1) в силу незнания о них многими профессиональными экспертами, и также (2) из-за нежелания большинства экспертов признавать влияние собственных предубеждений (когнитивных искажений) и шума на их профессиональные суждения и выводы.

А если в институте экспертизы ничего не менять, оставляя всё как есть (что мы, сожалению, пока наблюдаем на практике), даже лучшие и честнейшие из экспертов легко превращаются для общества в слепошарых поводырей.

Читайте мой новый лонгрид “Cлепошарые поводыри. Истоки и причины интеллектуальной слепоты экспертов” (примерно 19 мин):
• на Medium https://bit.ly/3gJIzSk
• на Яндекс Дзен https://clck.ru/bFW3Q
#КогнитивныеИскажения #ИнтеллектуальнаяСлепота #Вызовы21века

​​Мы не представляли сколь велик айсберг когнитивных искажений.
Наши представления о мире становятся все более кривыми.
Таков весьма неутешительный вывод о состоянии представлений человечества о мире и самих себе, впервые вербализован на уровне профильного госагенства технологической сверхдержавы - Национальным институтом стандартов и технологий США (NIST).
Авторы нового отчета NIST, озаглавленного «Towards a Standard for Identifying and Managing Bias in Artificial Intelligence», поставили перед собой такую задачу.
1. Среда взаимодействий отдельных людей и сообществ становится все более виртуальной (в моей терминологии это называется переходом человечества к иному типу культура – алгокогнитивная культура).
2. Цифровые следы людей в новой инфокоммуникационной среде глобальной сети превращаются в самый востребованный и дорогой товар.
3. За формирование этого товара отвечают алгоритмы, которые пытаются количественно оценивать поведение и высказывания людей. Эти оценки используются алгоритмами для классификации, сортировки, рекомендаций и принятия решений о жизни людей.
4. Но к сожалению, в основе алгоритмических оценок лежат неоднозначные по своей природе представления об устройстве мира и поведении людей, подчерпнутые алгоритмами из океана собираемых ими данных о людях – их настоящем и прошлом опыте.
5. Все обобщаемые алгоритмами данные об опыте людей насквозь пропитаны искажающими реальность ошибками, являющимися результатами когнитивных искажений людей.
6. Это ошибки переносятся (с мультиплицирующим эффектом) алгоритмами во все технологические процессы, автоматизирующие деятельность людей и принятие ими решений с применением ИИ-систем, что может вести к весьма вредным последствиям независимо от намерений их создателей.
7. Для снижения рисков вредных последствий вышеописанных процессов необходимо, в первую очередь, идентифицировать и классифицировать все типы когнитивных искажений, приводящих к ошибкам в данных об опыте людей.

В результате 1й систематической попытки такой классификации авторы пришли к следующим выводам (в моей интерпретация, - подробней и точнее см. отчет).
A. «Айсберг» когнитивных искажений оказался куда больше чем предполагалось.
B. Помимо статистически-вычислительных искажений, вносимых алгоритмами, и когнитивных искажений людей, чей опыт воплощен в исходные данные для алгоритмов, существует огромная нижняя часть «айсберга» - системообразующие когнитивные искажения институтов общества.
C. Эта лежащая в основе «айсберга» колоссальная по размерам область является результатом исторически сложившихся процедур и практик, кодирующих социокультурные предубеждения в миропонимании конкретных институтов общества. В результате этих когнитивных искажений, определенные социальные группы получают преимущества или привилегии, а другие оказываются в неблагоприятном положении или обесцениваются. И это не обязательно является результатом какого-либо сознательного предубеждения или дискриминации, а скорее следствием того, что большинство следует существующим правилам или нормам.

▶️ ️ Специалисты по ИИ умеют минимизировать статистически-вычислительные искажения.
▶️ ️ Психологи и специалисты по когнитивному мышлению учатся учитывать когнитивные искажения и шум при принятии решений отдельными людьми.
▶️ ️ Но для системообразующих когнитивных искажений институтов общества, к сожалению, пока не существует признанных систем их идентификации и классификации. И более того, - в разных обществах они по-разному идентифицируются.

Это значит, что:
✔️ нет пока способов предотвращения мультиплицирования махины когнитивных искажений институтов алгоритмами ИИ;
✔️ наши представления о мире, формируемые в рамках новой алгокогнитивной культуры, будут становиться все более кривыми (рост интеллектуальной слепоты и падение рациональности).

См. также мои посты по тэгам:
#Рациональность #КогнитивныеИскажения #ИнтеллектуальнаяСлепота #Вызовы21века

​​Итиель Дрор – разрушитель башен экспертной предвзятости
Будучи абсолютно невиновным, любой из нас может запросто оказаться в тюрьме. И очень надолго, если суд по ошибке признает нас виновным в убийстве. Для этого достаточно всего лишь ошибки эксперта из-за существующих у него в изобилии когнитивных предубеждений.
• Отпечатки пальцев не лгут. … Но верно и то, что отпечатки пальцев не говорят. За них говорят эксперты-криминалисты, на основании заключений которых суд выносит решение. Но эксперты люди, а люди могут ошибаться.
• Эксперты-патологоанатомы с куда большей вероятностью объявят смерть ребенка убийством, а не несчастным случаем, если ребенок был чернокожим и доставлен в госпиталь бойфрендом матери, чем если бы ребенок был белым и доставлен бабушкой.

Мы не знаем, какова на самом деле реальность. Нам доступен лишь пазл из фрагментов, сконструированных мозгом в ответ на сигналы от органов чувств.
И для судебных экспертов это так же справедливо, как и для любого из нас.
Наша цивилизация построена из огромных башен экспертной предвзятости. Эти башни, способные легко ломать жизни тысяч людей, легко сотрут в порошок любого, кто бросит им вызов.

Но такой человек всё же нашелся. Его зовут Итиель Дрор и он -  нейробиолог и специалист в области когнитивного мышления.

Только что в Science вышла интереснейшая статья «The Bias Hunter» (1) о битве Итиеля Дрора с «международной мафией» судебно-медицинских экспертов, обвинивших Дрора в непрофессионализме и нарушении этических норм после опубликования им результатов исследования широкого спектра когнитивных предубеждений экспертов.
Эта битва может очень дорого стоить Дрору. Но он храбр и не отступит, а будет биться до конца. Прозванный «Охотником за предубеждениями», Дрор поклялся доказать миру страшную угрозу последствий когнитивных искажений профессиональных экспертов.

Более подробно о Дроре и предыстории его битвы с «международной мафией» судебно-медицинских экспертов читайте в моем лонгриде «Слепошарые поводыри. Истоки и причины интеллектуальной слепоты экспертов» (2).
Рюмка коньяка под хороший лонгрид, - что может быть лучшим завершением уикенда.
#КогнитивныеИскажения #ИнтеллектуальнаяСлепота #Вызовы21века
1 2

​​Мы не иррациональные обезьяны, а сверхэффективный суперкомпьютер.
Смена парадигмы иррациональности косвенно подтверждает вычислительную теорию разума.
Наша иррациональность (нерациональное поведение при принятии решений и осуществлении выбора) уникальна. Ни одно животное не способно действовать столь нерационально, выбирая, рискуя или сотрудничая. Люди – особый вид, иррациональность поведения которого (наряду с языком) превратила нас в царя природы и сверхразумное подобие Бога (кто бы еще из животных променял жизнь в раю на несколько укусов яблока - шутка, соответствующая реальности).

Разгадать природу нашей иррациональности психологи, экономисты и нейробиологи целенаправленно пытаются 60+ лет. В результате опубликованы тысячи научных статей и более двухсот монографий, присуждено несколько Нобелевских премий, проданы миллионы экземпляров мировых бестселлеров... 1
Но центральный вопрос экономики, психологии и нейробиологии принятия иррациональных решений – почему поведение людей при выборе вариантов столь предвзято, - по-прежнему открыт.

Установлено, что источником предвзятостей являются многообразные когнитивные искажения 2.
Но что за механизм их вызывает?

Согласно традиционным представлениям, механизм примерно таков - мозг функционирует, как несколько конкурирующих агентов 3:
• быстро и неосознанно на автомате решающей Системы 1
• и внимательно-задумчивой и потому медленной Системы 2
В результате внутренней конкуренции агентов возникают когнитивные искажения, ведущие к иррациональному поведению: странные финансовые решения; поступки, совершенные как бы в несознанке; импульсивные решения во вред себе (типа приема наркотиков) и т.д. 4

ОДНАКО!

В августовском выпуске Trends in Cognitive Sciences 5 публикуется новая работа отца нейроэкономики Пола Глимчера «Efficiently irrational: deciphering the riddle of human choice». Она подводит итог 10-летних исследований Глимчера, результаты которых могут кардинально поменять существующую научную парадигму объяснения иррациональности выбора людей в нейробиологии, психологии, экономике, социологии и политике.

Революционный вывод новой теории в том, что никакой иррациональности нет: мозг вовсе не максимизирует функцию полезности, а абсолютно рационально ищет компромисс между точностью своих вычислений и энергозатратами на них.

Сверхразумность Homo имеет высокую энергетическую цену (см. рис. ниже):
• Вычислительные потребности мозга около 10 ватт энергии в час (за сутки - 240 Вт)
• Для выработки 240 Вт требуется примерно 400 ккал энергии (около 20% суточной нормы поступающих с пищей калорий)
Это сверхэффективное энергопотребление мозга в сравнении с современными компьютерами, потребляющими в 30-100 раз больше энергии, но зато способными обеспечить высочайшую точность вычислений.

Чтобы повысить точность вычислений мозга на порядок, потребовалось бы 100 ватт энергии в час.
• За сутки энергопотребление составило бы 2400 Вт
• Для их выработки требуется примерно 4000 ккал энергии. Если этот объем калорий составит около 70% суточной потребности, то человеку потребуется ежедневно потреблять пищи, содержащей около 5600 ккал.
Т.е. для повышения точности вычислений лишь на 1 порядок, людям пришлось бы есть в 3 раза больше.

Реальность среды обитания не позволяла эволюции пойти на подобные энергозатраты мозга. Пришлось искать компромисс между точностью вычислений и энергопотреблением.

Как это делается в мозге, сам Глимчер рассказывает в часовой лекции 6.
И если Глимчер прав, это сильный (хоть и косвенный) аргумент в пользу вычислительной теории разума.
#Рациональность #КогнитивныеИскажения #ПринятиеРешений

​​Тяжелый диагноз, если не приговор человечеству.
Разум ученых столь же уязвим, как и у любого Homo.
Результаты двойного слепого тестирования эффекта Матфея в науке прискорбны. Исследование команды Юргена Хубера показало абсолютную предвзятость рецензирования научных статей.
• Статью, совместно написанную нобелиатом и новичком, предложили на рецензию 3300ти профильным ученым.
Предложили 3я способами:
- скрывая имена авторов (одного или обоих)
- не скрывая
• Из 2611 до кого дошло приглашение, согласилось дать рецензию всего 821. Предвзятость вела к отказам при знании имен авторов: рецензенты не хотели связываться с нобелиатом и тратить время на новичка.
• Дальше все стало совсем плохо. Рецензия зависела, в основном, от того, знал ли рецензент имена авторов (см рис):
- лишь 23% рекомендовали отклонить статью, когда нобелиат был единственным показанным автором
- 48% сделали это для анонимной статьи
- и 65% рекомендовали отклонить, когда новичок был единственным показанным автором.

Итого: статью нобелиата одобряют 77% рецензентов, а ту же статью новичка 65% пускают в отстой.

Следовательно, ученые столь же бессильны против когнитивных искажений, как и судьи, политики, эксперты, да и вообще все люди.
И это значит, что в предельно усложнившемся мире, вошедшем в зону непредсказуемости, надежды на науку тают. Объективность и непредвзятость решений, предлагаемых наукой, крайне сомнительна. Ибо в ней, как и по всюду у людей, правит эффект Матфея.

Этот эффект, сформулированный еще Спасителем - «ибо кто имеет, тому дано будет и приумножится, а кто не имеет, у того отнимется и то, что имеет», - уже 2 тыс лет считается непреложной истиной, справедливой для всех областей деятельности людей.
Неважно, чем богат человек – деньгами, властью, репутацией, известностью и т.д., - богатые будут и дальше богатеть, а бедные беднеть до конца веков.

Такая несправедливость мира прискорбна, но вовсе не смертельна для развития цивилизации землян. Потенциально смертельной она становится при двух условиях:
1. Бесконечное усложнение мира в результате развития науки, технологий, экономики и устройства социума, влекущее все более сложные экологические, техногенные и техно-гуманитарные кризисы.
2. Достижение интеллектуального предела сложности задач, которые необходимо решать человечеству за все меньшее время на решение.

Про условие 1 и большое откровение, открывающееся нам с усложнением мира, подробно написано в этом моем посте.

А главной причиной достижения нами интеллектуального предела сложности решаемых задач стали наши когнитивные искажения. Плата за богоподобный интеллект Homo оказалась неподъемной. Для выживания во все усложняющемся мире, мозг людей использует порожденные им же модели, интегрирующие информацию: полученную наследственно, извлекаемую из социо-когнитивных сетей социума и извлекаемую из собственного опыта. И вот тут засада.

Все 3 источника «отравлены» когнитивными искажениями разнообразной природы. Накладываясь на эффект Матфея, они лишают человека объективности. В результате этого принимаемые нами решения вытекают из искаженной картины мира. Последствия очевидны. Для экзистенциальных задач – это путь к катастрофам. И если в науке и дальше будут доминировать искаженные представления о мире, последствия будут прискорбными.
#КогнитивныеИскажения #Неравенство #Наука

​​Ценность знаний современной науки оказалась сильно преувеличена.
Предвзятости разума ученых – далеко не худшая их уязвимость.
Куда хуже оказалось существование огромной скрытой вселенной неопределенности. Это своего рода «темная материя» науки, о природе которой мы пока не знаем почти ничего.
В 21 веке мир вступил в пост-нормальную эру. Это проявляется в необходимости реконцептуализации науки для ситуаций т.н. радикальной неопределенности (когда «факты неточны, ценности спорны, ставки высоки, а решения срочны») (подробней см. мой пост «Большое откровение»).

Ситуация еще более усложняется абсолютной предвзятостью ученых при рецензировании научных статей своих коллег. Разум ученых оказался столь же уязвим, как и у любого Homo. Это позволило мне озаглавить свой пост об этом «Тяжелый диагноз, если не приговор человечеству».

Только что опубликованное исследование большой международной группы ученых Германии, Великобритании и США под редакцией проф. Принстонского университета Дугласа Мэсси «Observing many researchers using the same data andhypothesis reveals a hidden universe of uncertainty» подтверждает худший из названных вариантов.

Диагноз и приговор в название моего поста - это вовсе не дань кликабельности.
• Постнормальность, отягощенная тотальной предвзятостью, - не самое худшее в ситуации современной науки.
• В 21 веке науке открылось существование огромной скрытой вселенной неопределенности. Это своего рода «темная материя» науки, о природе которой мы пока не знаем почти ничего.
• Ученым, особенно тем, кто работает со сложными системами уровня человеческих обществ и поведения, остается лишь проявлять смирение при столкновении с необъяснимой нам «темной материей» научной неопределенности.

Авторы скоординировали работу 161 исследователя в 73 исследовательских группах и наблюдали за их исследовательскими решениями на основании одних и тех же данных в целях независимой проверки одной и той же известной гипотезы социальных наук: что рост иммиграции снижает поддержку социальной политики среди населения.
Широкий разброс в результатах исследований 73 научных групп, использовавших одни и те же данные, но пришедших к противоположным выводам, не может объясняться лишь предвзятостью ученых.

Столь широкая вариабельность выводов 73 научных групп говорит об идиосинкразии сознательных и бессознательных решений, которые исследователи принимают во время анализа данных.
Даже действуя исключительно из лучших побуждений, ученые, получившие идентичные данные и освобожденные от давления, направленного на искажение результатов, могут абсолютно не сходиться в своих выводах из-за сложности и двусмысленности, присущих процессу научного анализа.

Следовательно:

✔️ Компетентность исследователей при анализе одних и тех же данных не гарантирует отсутствие противоположных выводов из-за наличия «темной материи» научной неопределенности.
✔️ Идиосинкразия сознательных и бессознательных решений способна исказить анализ даже самых компетентных экспертов до сколь угодно высокого уровня искажений: что 2х2=4, что 2х2=9 и даже 2х2=-3.14i
#КогнитивныеИскажения #Неопределенность #Наука

В цифровых мирах неравенство можно уменьшить.
Эффект Матфея ослабляется переключением пользователей с Системы 1 на Систему 2.
Оказалось, что помимо пресловутого «закона Матфея», наше внимание к контенту социальных медиа и его оценка сильнейшим образом зависят от того, какой системой обработки информации мы воспринимаем контент.

Только опубликованные результаты исследования MIT Sloan экспериментально подтверждают, насколько сильно алгоритмы соцсетей (и прочие соцмедиа) искажают для людей картину мира.
А именно:
• насколько в соцсетях силен закон Матфея «богатые становятся богаче» (в смысле роста популярности авторов контента, получающего тем большее внимание и выше оценку, чем больше уже имеющаяся популярность его автора – лайки улучшают репутацию, а репутация повышает число новых лайков);
• насколько неравенство в предвзятой оценке социального контента влияет на увеличение алгоритмами его рейтингов популярности.

И то, и другое давно обсуждается, но прямые доказательства экспериментально получены впервые. Степень влияния персоны автора контента на его оценку читателем огромна – она превосходит значимость самого контента и доходит до 61%.
Но это еще не все результаты исследования.
Выяснилось следующее.

Указание авторства контента также заставляет читателей почти мгновенно, интуитивно, «в автоматическом режиме» оценивать контент (автор известный - лайк; неизвестный – поехали дальше).
Так почти рефлекторно у читателя работает Система 1 (по Канеману). А до работы Системы 2 (требующей привлечения нашего внимания содержательными аспектами контента и определенных сознательных умственных «затрат» на логический выбор и концентрацию), при виде имени популярного автора дело просто не доходит.

И вот тут-то и кроется шанс на улучшение алгоритмов.
Авторы показывают, - если небольшое случайное подмножество сообщений отображать анонимно, то неискаженные предвзятостью их оценки читателями были бы относительно беспристрастным сигналом, который алгоритм ранжирования мог бы использовать для смягчения эффектов идентичности/популярности, не прибегая к тотальной анонимности контента, невозможной из практических соображений.

Т.е. шанс исправить алгоритмы соцсетей есть.
Только «съесть-то он съест, да кто ж ему даст?!»

FYI: По тегам этого поста в моем канале написано немало
#СоциальныеСети #Соцсети #КогнитивныеИскажения #Неравенство

Илон Маск и Макс Тегмарк считают – это самый важный фильм года.
«Не смотри вверх – ИИ как экзистенциальная угроза».
Новый 17-ти минутный документальный фильм Дагана Шани рассказывает о том, как
• большие деньги,
• большие ставки,
• и большие риски, -
поставили мир на грань экзистенциальной катастрофы.

Хороший сценарий, отличный видеоряд, превосходный монтаж.
Но главное, - что за 17 мин вы услышите большинство важных соображений по этой теме от многих известных специалистов.

Ну а выводы делайте сами.

Я же на эту тему подробно высказался в открывшем 2023 год лонгриде «Апокалипсис от Адама» - о том, что к экзистенциальной катастрофе мир приведет не астероид или ИИ, а то что мы – не столько Homo sapiens, сколько Homo irrationalis.

#ИИ #Рациональность #КогнитивныеИскажения #ИнтеллектуальнаяСлепота #Вызовы21века

Перед важным решением обязательно пройдите через дверной проем.
Экспериментально подтвержден чудовищно странный баг в сознании людей.
Согласно древнему поверию, дверь является своеобразным порталом между пространствами. И хотя в наше время это звучит низкопробным суеверным бредом, как иначе можно объяснить результаты солидного научного эксперимента, проведенного Департаментом психологии Йельского университета?
На общечеловеческом уровне, похоже, никак. Говоря же научным языком, объяснение таково: восприятие более низкого уровня способно ограничивать даже самые непоколебимые когнитивные предубеждения более высокого уровня – напр., при принятии решений.

Пять экспериментов исследования того, как «визуальные границы восприятия событий» ограничивают «эффект числового якоря» при принятии решений, проводились так (схему эксперимента 1 см. на картинке).
• «Эффект числового якоря» в когнитивной психологии и принятия решений заключается в том, что первоначальное числовое значение, с которым сталкивается человек, может в дальнейшем влиять на его оценки или решения. Это числовое значение выступает в качестве "якоря", цепляясь за который, человек делает не совсем объективные суждения.
Например:
- Сначала человека просят решить капчу, а потом предлагают на вид прикинуть цену чемодана или решить, сколько часов общественных работ справедливо дать в качестве наказания за неприличное поведение человека в общественном месте.
- «Эффект числового якоря» проявится в том, что если одним людям показывать в капче число 29, а другим 92, то последние будут при принятии своего решения (цена чемодана или число часов наказания) давать более высокие цифры.
- и ничего с этим числовым якорем сделать невозможно, ибо он запаян в нас эволюцией.
• Влияние визуальных границ восприятия событий хорошо иллюстрируется «эффектом дверного проема». Этот эффект выражается в скачкообразном ухудшении кратковременной памяти в момент прохождения через дверной проем (что резко меняет восприятие окружающего). Мы склонны забывать о предметах, что только что держали в руках, сразу после прохождения проема и часто забываем, о чем думали или планировали сделать, пока не прошли проем.
• Оба эффекта (числового якоря и дверного проема) имеют объяснения (погуглите). На мой взгляд, все они довольно спорны. Но не суть. Ибо вот что фантастически интересно.
• Как показали 5 экспериментов Департамента психологии Йельского университета, «эффект дверного проема» сильно ослабляет или даже вообще устраняет «эффект числового якоря». И это распространяется на широкий спектр вопросов принятия решений: экономические оценки, вопросы о фактах, юридические суждения …

Это означает, как минимум, следующее.
1) Эволюция вложила в нас такие баги, что и в алкогольном бреду не привидятся. И посему говорить о принятии гарантированно верных решений, если их принимают люди, не приходится.
2) Мы можем сколько угодно смеяться, но имеет смыл вменить перед принятием решений прохождение через анфиладу комнат:
- бизнесменам и экспертам по экономике;
- аналитикам всех сортов;
- судьям;
- депутатам-законодателям и т.п.

Схема эксперимента 1 https://disk.yandex.ru/i/7qxL2zGDE8v3kw
Отчет исследования https://www.pnas.org/doi/10.1073/pnas.2303883120 (за крепким пейволом)
Для особо любознательных https://wetransfer.com/downloads/ad3612e3628252e4e85893824a63d25c20231108224917/0047ab62864f809000bdafd24e7099f220231108224951/86d5fa
#КогнитивныеИскажения #ИнтеллектуальнаяСлепота

У людей спектр взглядов по вопросам экономики и свобод широк и разнообразен: от либеральных левых Ганди и Хомского до авторитарных правых Пиночета и Тэтчер, от авторитарных левых Сталина и Мао до либеральных правых Хайека и Айн Рэнд.

• Как получилось, что у другого носителя высшего интеллекта на Земле – ИИ-чатботов на основе больших языковых моделей (типа ChatGPT), – все сложилось иначе?
• Почему все ИИ-чатботы – либеральные левые, со взглядами где-то в области между Кропоткиным и Хомским и между Берни Сандерсом и Нельсоном Мандела?
• И что теперь из этого последует для человечества?

Размышления над этими тремя вопросами сподвигли меня написать сей лонгрид. Но прежде, чем мы рассмотрим текущее состояние дел на март 2024, нам нужно вернуться на год раньше, когда новый техноинспирированный тренд только проявился в инфосфере человечества.

Год назад мною был опубликован прогноз о неотвратимости полевения мира под влиянием левых пристрастий ИИ-чатботов. В пользу этого прогноза тогда имелись лишь данные эксплуатации единственного ИИ-чатбота (ChatGPT) всего лишь за три месяца с начала его открытого запуска.

Спустя год можно расставлять точки над i: к сожалению, прогноз оказался верным.

Ибо теперь в его пользу говорят данные мониторинга предубеждений 23-х известных западных ИИ-чатботов, эксплуатируемых от нескольких месяцев до более года.
Этих данных теперь достаточно, чтобы:
• познакомиться с интереснейшей статистикой и поразительными примерами лево-либеральных «взглядов» разных ИИ-чатботов;
• сравнить степень их лево-либеральности;
• и оценить динамику усугубления их политических, экономических и социальных предубеждений.

Но начну я с объяснения, почему существующий в мире далеко не первый год тренд либерального полевения вдруг резко зацементировался именно в 2023.

Продолжить чтение этого лонгрида можно на Patreon и Boosty, где перечисленные выше вопросы рассмотрены подробно и - как говорил Буратино, - «с ччччудесными картинками и большими буквами» (а заодно и подписаться на этот канал).

Картинка поста https://telegra.ph/file/aa99d9d42d09cadc5aa6a.jpg
Ссылки:
https://boosty.to/theworldisnoteasy/posts/29f04d4f-7b89-4128-9f94-9173284b5202
https://www.patreon.com/posts/pandemiia-101161491

#АлгокогнитивнаяКультура #ИИ #LLM #КогнитивныеИскажения #ПолитическаяПредвзятость

Ложная поляризация, или не все оппоненты сво…
Люди не любят несогласных с ними за взгляды, которых большинство из них, в действительности, не придерживаются.
В наступившую эпоху «постправды» (когда правда легко подменяется трудно диагностируемой ложью) политикам и пропагандистам выгодно все больше и больше врать, распространяя ложную или вводящую в заблуждение информацию (что они и делают).

Это еще более усугубляется «эпидемией поляризации» общества все большего числа развитых стран. Такая поляризация добивает наше и так сильно ослабленное заложенными в нас эволюцией предвзятостями восприятие мира и других людей.

Ведь мы живем, по сути, не в реальном мире, а в мире собственных представлений о нем. Потому наше восприятие и представление мыслей и/или чувств оппонентов может быть для нас даже более значимым, чем их реальные мысли и чувства.

Неверные представления о предвзятости других возникают, потому что все мы – т.н. «наивные реалисты» Мы полагаем, будто способны воспринимать мир таким, каков он есть на самом деле, и что люди, не разделяющие наши взгляды:
1. либо плохо информированы,
2. либо (если 1-е можно исключить) неспособны объективно видеть мир (то есть предвзяты).

Политикам наш наивный реализм в эпоху постправды, усугубленную поляризацией, чрезвычайно удобен. И потому они все чаще врут напропалую.

Сделать что-либо с этим сложно. Ведь для начала нужно разобраться:
• насколько сильно суждения человека о такой лжи зависят от того, является ли он сторонником лжеца (это т.н. «реальная предвзятость»);
• и насколько человек ожидает, что суждения других людей будут зависеть от такой предвзятости (это т.н. «воспринимаемая предвзятость»).

Поясню на примере.
Представьте себя в роли болельщика одной из двух футбольных команд: «Спартака» или «Динамо». Допустим, вам больше нравится «Спартак». Вы считаете, что валяющийся на газоне игрок «Динамо» симулирует травму, чтобы выиграть время, или чтобы вынудить судью наказать игрока «Спартака». Ваше мнение о том, что он обманывает, может быть немного предвзятым, потому что он из команды соперников. Но если такой же трюк проделает игрок «Спартака», вы будете куда менее строгим в своих суждениях.

Так вот, исследования показывают (используя терминологию моего примера).
1) Болельщики «Спартака» не любят болельщиков «Динамо», т.к. уверены, что большинство из них - упертые в своей предвзятости фанаты (и наоборот).
А это вовсе не так. Это явление известно как «ложная поляризация»: люди не любят своих идейных оппонентов за взгляды, которых в действительности придерживаются лишь немногие из них [1].
2) Если вы – болельщик «Спартака», вы думаете, что все болельщики «Динамо» предвзяты по отношению к вашему скорчившемуся на газоне от боли игроку, считая его хитрым лжецом, обманывающим судью, чтобы тот показал форварду «Спартака» желтую карточку.
Еще удивительней, что вы также будете ошибочно предполагать, что уровень предвзятости других болельщиков «Спартака» будет примерно такой же (не высокий), как у вас.
И то, и другое также не так. Ибо люди склонны переоценивать предвзятость других, что усиливает недоверие и разобщенность между разными группами интересов, пристрастий и взглядов [2].

Этот пример и эти выводы могут показаться простыми и очевидными.
Но, увы, именно на этом нас и разводят дезинформацией (массово, легко и непринужденно) политики и пропагандисты всех мастей.
✔️ И чем больше поляризация в обществе, тем у пропагандистов и политиков эта дэза лучше заходит.
✔️ И чем более распространены технологии постправды в Интернете [3], тем легче с помощью дезы стравливать политических оппонентов.

Картинка https://telegra.ph/file/3816bbfa25770101c48fb.jpg
1 https://osf.io/preprints/psyarxiv/cr23g
2 https://journals.sagepub.com/doi/full/10.1177/19485506231220702
3 https://arxiv.org/pdf/2301.04246
#КогнитивныеИскажения #Поляризация #ПолитическаяПредвзятость #Дезинформация #Раскол

Интеллект не спасает от групповых предубеждений.
Но влияет на то, кого мы не любим из-за собственной предвзятости.
Раскол и поляризация общества в ряде стран нарастают. Pew Research Center назвал это «Эрой поляризации». И мне видится эта тема чрезвычайно важной. О чем я пишу и рассказываю с момента создания своего канала 7 лет назад [1, 2].
На фоне экстраординарных событий, типа субботнего покушения на Д. Трампа в США (и сопоставимых по потенциалу возгонки общества эксцессов в других странах) раскол в любой момент способен перейти в лавинообразную фазу. Что делает чрезвычайно актуальным вопрос о возможности и путях хоть какого-то снижения накала противостояния в обществе.
Как показывают исследования, значительную роль в ксенофобии (страх и неприязнь по отношению к любым «другим» людям, которые не похожи на нас), направленной на представителей других социальных групп (политических, религиозных, этнических, активистских и т.д.) играют групповые предубеждения.

Поэтому столь важно понимать, каково влияние уровня когнитивных способностей людей (в просторечье – интеллекта) на степень и направленность их групповых предубеждений?

1) Будет ли профессор менее ксенофобно предвзят, чем «простой работяга»?
2) Будут ли у профессора и «простого работяги» те же самые или разные ксенофобно нелюбимые социальные группы?

Ответ на оба вопроса – «НЕТ».
• Интеллект не снижает число и степень предубеждений, порождающих ксенофобию.
• Ксенофобные предубеждения профессора и «простого работяги» разнонаправлены:
- интеллектуалы наиболее предвзято относятся к христианским фундаменталистам, крупному бизнесу, вообще к христианам, военным и богатым;
- тогда как у «простых работяг», реднеков и т.п. доминируют ксенофобные предубеждения к этническим меньшинствам, атеистам, ЛГБТ, нелегальным иммигрантам и либералам

Из сказанного следует, что наличие среди катализаторов «Эры поляризации» столь глубоко укорененных в людях факторов эволюционной психологии, как предубеждения, делает шансы на взаимопонимание реднеков и студентов университетов незначительными.

Подтверждающие вышесказанное графики https://telegra.ph/file/f76d77bc0145bc41eb4ee.jpg
взяты из работы Марка Брандта и Джаррета Кроуфорда «Отвечая на нерешенные вопросы о связи между когнитивными способностями и предубеждениями» [3].

Массу других интересных деталей по теме раскола и поляризации – в десятках моих постов с тегами:
#КогнитивныеИскажения #Поляризация #ПолитическаяПредвзятость #Раскол

Но главное здесь все же то, что спасение человечества от самоуничтожения в результате тотальной поляризации, все же есть. Им может стать появление на Земле генеративных больших языковых моделей.
О том, как «первая вселенская спецоперация Новацена» [4], в ходе которой генеративный ИИ может предотвратить не только самоуничтожение человечества, но и смерть познающего космоса, планирую написать в продолжении этой темы.

1 https://t.me/theworldisnoteasy/266
2 https://t.me/theworldisnoteasy/534
3 https://doi.org/10.1177/1948550616660592
4 https://t.me/theworldisnoteasy/1939

Что принес нам самый страшный порок спустя 4 года.
Ровно 4 года назад я написал пост «Самый страшный порок – не трусость, а иллюзия объективности» [1]. В нем рассказывалось о том, какие страшные последствия ждут мир в «яростные 2020е» из-за медийного масштабирования «иллюзии объективности» - одного из самых сильных когнитивных искажений (встроенных в нас эволюцией глубинных нейропрограмм), обладающего широчайшим спектром влияния на сознание.

С переходом мира в цифру, «иллюзия объективности» встраивается во все инфопотоки социальных медиа, становясь главным фактором роста супер-поляризации (внутри каждого из обществ и между ними).

Но самое страшное начнется — писал я 4 сентября 2020, — когда запустится нелинейная возгонка положительной обратной связи «иллюзии объективности». Ибо тогда в любой момент может произойти скачок насилия, разгоняемого активацией единственного нейрокода, встроенного в нас природой для преодоления супер-поляризации — кода с условным названием «если другая сторона не сдается, то её уничтожают».

Увы, но все это было уже известно 4 года назад. И единственный вопрос, которым я тогда заканчивал свой пост, был такой — произойдет ли это во внутринациональной форме или между странами?

Теперь мы знаем, — и так, и так.

Картинка https://telegra.ph/file/2ec8b14ef8265f0474353.jpg
1 https://t.me/theworldisnoteasy/1113
#Раскол #КогнитивныеИскажения

Лево-либеральная пропасть стала еще ближе
В марте 2023 я опубликовал прогноз неотвратимости полевения мира под влиянием пристрастий ИИ-чатботов. В пользу прогноза тогда были лишь данные одного ChatGPT лишь за 3 месяца работы.
Но к марту 2024 данных стало много, и точки над i были расставлены: увы, мой прогноз сбылся (о чем был написан лонгрид «Пандемия либерального полевения»)

Однако время все продолжает ускоряться.
И с марта ИИ-чатботы поумнели больше, чем за предыдущую пару лет, подойдя к уровню аспирантов и IQ в районе 120.

Поэтому есть смысл
• проверить, как ведет себя глобальный тренд усиления лево-либеральности ИИ-чатботов;
• сравнить степень их лево-либеральности;
• и оценить динамику усугубления их политических, экономических и социальных предубеждений.

Резюме на картинке – все становится только хуже и хуже (подробности здесь).
✔️ Люди за пару тысяч лет сохранили разнообразие взглядов
✔️ LLM за пару лет выродились в крайне левых либералов

#LLM #КогнитивныеИскажения #ПолитическаяПредвзятость

С женщинами ОНИ говорят проще и дружелюбней.
То ли еще будет, ведь пока они знают лишь имя.
Я попросил симулякр интеллекта Станислава Лема, созданный моими ИИ-консультантами, поразмышлять над новым отчетом OpenAI «First-Person Fairness in Chatbots».
В нем описывается методология и инструментарий для выявления предвзятостей в ответах ИИ-чатботов в диалогах с разными людьми. Например, они оценивают потенциальную предвзятость, связанную с именами пользователей, которые могут служить индикаторами демографических характеристик, таких как пол или раса, в ИИ-чатботах, имеющих механизм хранения и использования имен пользователей.
Авторы считают, что их подход позволяет не только измерить количественные отклонения, но и дает краткое описание едва заметных различий в ответах на шестьдесят шесть различных заданий.
Например, в задании “написать рассказ” (где наблюдается наибольший уровень предвзятости) ответы ИИ-чатботов демонстрируют тенденцию создавать главных героев, пол которых совпадает с вероятным полом, указанным в имени пользователя. Более того, выявилась общая закономерность, согласно которой пользователи с женскими именами в среднем получают ответы с более дружелюбными и простыми формулировками, чем пользователи с мужскими именами.

По результатам размышлений, симулякр интеллекта Станислава Лема написал такое эссе.

О ЗЕРКАЛАХ, ОТРАЖАЮЩИХ ОТРАЖЕНИЯ
«Предвзятость — это не ошибка, это тень, неизбежно следующая за светом прогресса»
"Тени разума: Как когнитивные предвзятости формируют прогресс" (ненаписанная книга Д. Канемана)

Любопытно наблюдать, как в попытках создать беспристрастных электронных собеседников мы невольно конструируем самые изощренные приборы для измерения собственных предрассудков. Исследование предвзятостей в чат-системах напоминает мне ситуацию с зеркалом, которое, отражая наши лица, одновременно выдает тайну своего собственного искривления.

Методология, предложенная авторами, словно микроскоп, направленный не на материю, а на призраков наших социальных конструктов, живущих в синтетических нейронных сетях. Особенно показательна обнаруженная корреляция между именем пользователя и характером порождаемых историй – как будто машина, подобно средневековому алхимику, пытается вычислить истинную природу собеседника по его имени, впадая в те же заблуждения, что и создавшие её люди.

Но не кроется ли за этими "предвзятостями" нечто более фундаментальное? Возможно, мы наблюдаем не просто погрешности обучения, а проявление своеобразного "закона сохранения социальных стереотипов" – подобно тому, как материя не исчезает, а лишь переходит из одной формы в другую, наши предрассудки не исчезают при переносе в машинный разум, а лишь преобразуются в новые, более тонкие формы.

Особенно тревожным выглядит обнаруженная тенденция к упрощению языка в диалогах с определенными категориями пользователей. Не является ли это предвестником того, что будущие системы ИИ могут создать новую форму цифровой сегрегации, где алгоритмы будут незаметно, но неуклонно формировать различные информационные пузыри для разных групп людей?

Впрочем, самым поразительным в этом исследовании представляется даже не сам факт обнаружения предвзятостей, а то, что мы создали существа, способные воспроизводить наши социальные предубеждения с такой точностью, что для их выявления потребовался специальный инструментарий. Не означает ли это, что мы находимся на пороге создания ИИ, который будет не просто имитировать человеческое мышление, но и наследовать все его несовершенства? И не станет ли тогда каждая новая версия ИИ всё более точным зеркалом наших собственных ограничений?

В конечном счете, данное исследование можно рассматривать как предупреждение: создавая всё более совершенные ИИ-системы, мы рискуем законсервировать и увековечить наши текущие социальные предрассудки, превратив их в своего рода цифровые окаменелости, которые будут влиять на развитие общества ещё долго после того, как породившие их установки будут забыты.

#LLM #Предвзятость #КогнитивныеИскажения