Малоизвестное интересное
64K subscribers
94 photos
1 video
11 files
1.8K links
Авторский канал Сергея Карелова о самом важном на фронтирах науки и технологий, что кардинально изменит людей и общество в ближайшие 10 лет.




Рекламы, ВП и т.п. в канале нет.
Пишите на @karelovs
Download Telegram
​​В сентябре на конференции по математическим подходам к изучению сознания MoC3 можно ожидать сенсации мирового уровня. Ею может стать доклад Нира Лахава - физика из Университета Бар-Илан, посвятившего себя цели «проникнуть в бесконечность и за ее пределы».
Доклад посвящен его совместной с Захарией Нимех работе «теория относительности сознания». Авторы разработали концепцию и математический аппарат для решения обеих «проклятых проблем» современной науки, никак не поддающихся решению.
1. Трудная проблема сознания.
2. Проблема идентификации появления сознания у ИИ.

1я из проблем — это проблема того, как физические процессы в мозге вызывают субъективные переживания. Сегодня почти общепринято, что субъективные переживания как-то коррелируют с динамикой нейросигнатур мозга. Но в понимании того, КАК нейросигнатуры вызывают переживания, - полный швах (этого не знает никто).

2я проблема столь же важна, как и пока неразрешима. Все вопросы Сильного ИИ (AGI) так или иначе упираются в неё. Может ли ИИ испытать боль, зависть или страх? Может ли ИИ из-за страха лишиться сознания, захотеть обеспечить себя электропитанием, не позволив людям выключить его? Как вообще можно понять, есть сознание у ИИ или нет? Бинарна ли эта задача или тут есть промежуточные варианты? Увы, но со всеми этими вопросами пока также полный швах.

Точнее, был полный швах. Ибо «теории относительности сознания», похоже, способна помочь получить ответы на все заданные выше вопросы.

Вот 2 кита новой теории, построенной на использовании для трактовки сознания релятивистского подхода Эйнштейна к трактовке движения.
1. Сознательный опыт не может быть выражен исключительно процессами внутри мозга, т.к. он не является продуктом какого-либо физического процесса». Иными словами, мозг не создает наш сознательный опыт, по крайней мере, посредством вычислений.
2. Сознание - есть релятивистский (т.е. относительный) феномен. Причина, по которой у нас есть сознательный опыт, - это процесс физического измерения сознания (сознание – продукт измерения). А поскольку разные измерения одного и того же физического явления в разных системах отсчета проявляют разные физические свойства в этих системах отсчета, то не существует абсолютного физического ответа на «трудную проблему сознания».

Напомню, как это выглядит в теории относительности Эйнштейна применительно к движению, при наличии 2-х наблюдателей.
• Вася едет в поезде, движущемся с постоянной скоростью
• Маша наблюдает за ним с платформы
• Тогда нет единственно верного с точки зрения физики ответа на вопрос - какова скорость Васи? Ответ зависит от системы отсчета наблюдателя.
• Глядя из системы отсчета Васи, он неподвижно сидит, попивая виски в вагоне-ресторане, тогда как Маша вместе с платформой движется быстро назад
• Но в системе отсчета Маши, она и платформа неподвижны. А Вася быстро удаляется вперед вместе с поездом
• Оба наблюдателя получили разные результаты измерений. И оба они верны, поскольку они исходят из разных систем отсчета.

С сознанием аналогично.
• Подопытная Маша, в своей когнитивной системе отсчета, испытывает субъективное чувство радости (измеряя свои нейросигнатуры напрямую, путем взаимодействия областей мозга).
• Исследователь Вася, находясь в другой когнитивной системе, использует измерения СВОИХ органов чувств, чтобы увидеть нейросигнатуры Маши.
• Эти два измерения разные. А причина, по которой у нас есть сознательный опыт, заключается в процессе физического измерения.

Используя математические инструменты, описывающие релятивистские явления в физике, теория показывает, что если бы динамику нейронной активности Васи можно было изменить так, чтобы она была похожа на динамику нейронной активности Маши, то оба они оказались бы в одной и той же когнитивной системе отсчета и имели бы одинаковый сознательный опыт.

Если теория верна, то осталось найти объем точных минимальных измерений, которые необходимы любой когнитивной системе для появления у неё сознания.
#Сознание
​​Китай достиг абсолютного доминирования в мировой науке.
Еще пару лет назад это казалось невозможным.

Августовский доклад Национального института научной и технической политики Японии (NISTEP) принес шокирующую для США (и не только) информацию – Китай стал абсолютным мировым чемпионом во всех существующих номинациях по научным публикациям. Это как если бы страна выиграла на Олимпиаде ВСЕ золотое медали.

Два месяца назад я рассказывал, что Китай впервые в истории поднялся на 1е место в мировом рейтинге ТОР10 высококачественных научных публикаций за прошлый учетный год (2020). Порвав весь мир, как Тузик грелку, Китай набрал в этом рейтинге 3488, обойдя США с рейтингом 2051, Германию - 1348, Францию 676 и всех-всех (перечитайте здесь).

Теперь же, согласно расчетам NISTEP, Китай по результатам 2018-2020 вышел на 1к место во всех номинациях:
• в общем зачете по наиболее цитируемым научным публикациям (Китай 407181, США 293434);
• по ТОР10% лучших (по числу цитирования) научных публикаций (Китай 46352, США 36689);
• по ТОР1% лучших из лучших (по числу цитирования) научных публикаций, типа публикаций нобелевских лауреатов и прочей элиты из элит в науке (Китай 4744, США 4330).

Остальных мировых лидеров двух рейтингов (верхний (коричневая шапка) – это ТОР10%, а нижний (зеленая шапка) – ТОР1%) можете посмотреть в частично переведенной мною итоговой таблице NISTEP: левая часть таблицы – статистика 1998-2000, средняя 2008-2010, правая 2018-2020; в каждой из 3х частей слева рейтинг, потом доля в суммарном рейтинге и место)
• В ТОР10% Китай в 1998-2000 был №13, в 2008-2010 уже №6, и вот теперь №1
• В ТОР1% Китай в 1998-2000 был №13, в 2008-2010 уже №7, и вот теперь тоже №1
• FYI в общем зачете (в таблице не показано) Китай в 1998-2000 был №8, в 2008-2010 уже №2, и теперь, понятное дело, №1


Для справки о России.
• В общем зачете:
-- в «лихие 90е» были №9 (прямо следом за Китаем)
-- в «богатые 2000е» опустились на №14
-- в «дохоподъемные 2018-2020» еще опустились на ступень - №15
• Но качество работ настолько упало, что в обоих рейтингах ТОР10% и ТОР1%
-- в «лихие 90е» скатились на №22
-- в «богатые 2000е» и «дохоподъемные 2018-2020» выбыли из ТОР25


Возвращаясь к ракетному взлету Китая в абсолютные чемпионы по публикациям, хочу добавить лишь следующее.
США теперь только и осталось, что грешить на методику подсчета рейтинга NISTEP. По своему собственному рейтингу из отчета «Состояние науки и техники США 2022», опубликованному Национальным научным фондом США (NSF) в январе, США все еще впереди.

Мне же видится, что японцы правы. У них статистика втрое больше чем у NSF. Кто не верит, проверьте сами, скатив и отчет, и статистику здесь.
Ну а делать собственные рейтинги нас учить не надо. Поставят цель, - к следующему году будем в ТОР10%, а там и …
#Наука #Китай #США
​​Возможен апгрейд «башен излучателей», чтобы воздействовать и на «выродков».
Использование модели когнитивных сетей для снятия когнитивного диссонанса в обществе.

В качестве проверки модели сумели переубедить анитиГМОшников и антиваксеров.

Чтобы сподвигнуть нас на приобретение конкретных товаров и услуг или поддержку политики властей (их программы, идеологии, видения ситуации и мира), совсем не нужно знать нас «лучше родной мамы». Этим уже вовсю пользуются бизнес и власти.
Но есть проблема.
Доля «предрасположенных сторонников» - тех, кто готов купиться на товар или политику в силу своих персональных качеств, опыта и сложившихся убеждений, - обычно далека от большинства.
А бизнесу и власти хотелось бы поиметь большинство.

Новое исследование «института сумасшедших идей» («Института сложности» в Санта-Фе) обещает решение этой проблемы: создание боле мощного механизма «убеждения» людей в своих корыстных целях.
Это механизм, способный сподвигнуть купиться даже тех, кто не хочет этого в силу своих персональных качеств, опыта и сложившихся убеждений.

Новое исследование называется «Использование когнитивно-сетевого моделирования моральных и социальных убеждений для объяснения их изменений».
Оно обещает (в терминологии «Обитаемого острова» Стругацких) мощнейший апгрейт «башен излучателей», позволяющий воздействовать даже на «выродков», вызывая у них не головные боли (как сейчас), а приступы поддержки того, что требуется владельцам «башен-излучателей».

Логика исследователей была такова.
• Ключом к апгреду «башен» может быть «головная боль выродков». Если её устранить, то на «выродков» можно будет воздействовать, как и на всех остальных.
• В отличие от Саракша, на Земле «выродки» испытывают при воздействии на них «убеждающего излучения» не боль, а т.н. когнитивный диссонанс (психический дискомфорт), который человек испытывает из-за противоречий в своих убеждениях.
• Если научиться
- оценивать степень диссонанса у конкретных людей
- и найти «объяснительную отмычку» к снятию диссонанса в зависимости от его уровня,
можно создать механизм склонения в желаемую сторону даже тех, кто изначально не хочет этого в силу своих персональных качеств, опыта и уже сложившихся убеждений.

Прорывным фактором в реализации логики исследователей стало:
создание статистико-физической модели взаимодействия 20-и моральных и социальных убеждений в единой когнитивной сети.

Экспериментальной базой для оценки действенности модели стало «переубеждение» людей по 2м острейшим вопросам:
✔️ вредность ГМО
✔️ вредность прививок


Ставилась задача:
переубедить большинство анитиГМОшников и антиваксеров среди испытуемых на основании оценки степени их когнитивного диссонанса

Исследование показало:
1) Модель работает хорошо.
2) Люди мотивированы уменьшать диссонанс между убеждениями путем их перенастройки.
3) Направление, в котором люди меняют свои убеждения, зависит не только от вмешательства, но и от того, какой самый простой способ для каждого уменьшить свой диссонанс.
4) Предоставление людям новой информации как бы проходит через фильтр диссонанса в их сети убеждений:
- люди с низким диссонансом вряд ли вообще изменят взгляды.
- люди с высоким диссонансом могут измениться в обоих направлениях.
5) Для детального понимания динамики, ведущей к изменению убеждений, нужны дополнительные исследования.

Что еще важно.
• 5 лет назад российское исследование показало, что врожденные особенности активности лобной коры людей определяют, развивается ли у них сильный или слабый когнитивный диссонанс. Но оценивать склонность к диссонансу по активности мозга можно лишь для малых групп.
• Здесь то и пригодятся модели когнитивных сетей, чтобы массово оценивать склонность к диссонансу алгоритмически (как это уже делают для оценки предпочтений рекомендательные системы).
• Для нас это сейчас особенно актуально – Россияне страдают когнитивным диссонансом

#КогнитивныеСети
Си уже почти что переизбран.
Самый точный прогноз самого важного события года.

• Курс Китая на ближайшее десятилетие во многом определит главные тренды и повороты мировой политики, экономики, науки и технологий.
• А этот курс во многом будет зависеть от того, удастся ли Си этой осенью переизбраться на 3й срок.
• Поэтому вполне обоснованно предполагать, что ХХ Всекитайский съезд КПК в октябре станет важнейшим событием года по своему влиянию на мировые тренды ближайших лет.

Прогнозировать исход этого события весьма сложно. Ситуация в Китае довольно стремная.
• Устойчивый экономический рост задушен политикой нулевого распространения Covid, введенной в действие к середине весны
• Волатильность рынка недвижимости, начавшаяся после дефолта Evergrande, переросла в ипотечный кризис
• США с неумолимостью наезжающего катка давят все новыми экспортными ограничениями.

Однако понять, насколько существенное влияние все это оказывает на перспективы переизбрания генерального секретаря Си Цзиньпина, практически невозможно.
Китайская политическая борьба – это даже не бульдоги под ковром, а черный ящик. Понять, что там внутри происходит и почему, - без вариантов.

Получается обидный парадокс: важнейшее событие года, а его результаты невозможно предсказать.

MacroPolo – синк тэнк Института Полсона, - нашел-таки способ разрешения этого парадокса, положив в основу своего анализа ключевой принцип Сталина «Кадры решают все!».

Этот принцип и в наше время по-прежнему силен в эшелонах любой власти. Ну а Си довел его в Китае до совершенства сталинского уровня.

В опубликованном вчера аналитическом резюме MacroPolo «Almost Here: The Most Consequential Political Event of the Year» рассказывается о результатах углубленного хроно-сетевого анализа 161 кадрового изменения, произошедших в высших эшелонах власти Китая за год до ХХ съезда.

Вывод этого анализа однозначен.
Си добился «супербольшинства» в предстоящем Политбюро — органе из 25 членов на вершине политической власти, — почти обеспечив свой третий срок.

Подробности читайте в резюме (1).
Исходные данные этого анализа обновляются в реальном времени в онлайн-мониторинге «Загляни в Черный ящик китайской политики» (2)

1 2

#Китай #Прогнозирование #НовыйМировойПорядок
​​Создана первая научная теория Черных лебедей.
Какого цвета настоящие Черные лебеди, и почему COVID-19 и СВО – это не они.

За последние 10 лет «Черный лебедь» стал самым хайповым и затасканным термином. Его используют все (от журналистов до политиков) для повышения интереса публики к чему угодно (от обвалов акций до пандемий).
И невозможно поверить, что это понятие, описанное во всех словарях мира и вошедшее во все учебники и руководства по анализу рисков, до сих пор не имело под собой вообще никакого научного обоснования.

Нассим Талеб просто (и, в принципе, верно) определил Черных лебедей, как неожиданные события, лежащие «за пределами наших ожиданий, поскольку ничто из прошлого опыта не может убедительно указывать на их вероятность».
• Но что такое «наши ожидания … из прошлого опыта»? Чьи это «наши», и что там у «нас» за опыт?
• «За пределами ожиданий» - это насколько: на порядок, вдвое или на 10%?
• «Убедительно» для кого и опять же насколько?
При полном отсутствии научной теории, ответы на все подобные вопросы можно давать произвольные. Что весь мир радостно делает уже 10+ лет.

Но теперь этому пришел конец. Научная теория черных лебедей разработана: опубликована в Physical Review Research (1) и представлена в Исследовательском центре Энрико Ферми.
1. Установлены четкие математические границы ингредиентов, необходимых для появления Черных лебедей. Это наличие:
- экстремального скачка динамики верхнего предела (больше, чем когда-либо наблюдалось) и
- непредвиденности (усечение степенного распределения).
2. После соответствующего анализа авторы определили универсальный параметр, способный объективно количественно оценить степень неожиданности и катастрофичности события - степень «черноты лебедя». Она зависит от ожидаемого максимума катастрофичности события.
3. По этому параметру события бывают «черными, серыми и белыми лебедями». Например, 1я мировая война и теракты 11 сентября были Черным лебедем, а 2я мировая война и Черный понедельник 1987 года — нет.
4. Ожидаемый максимум катастрофичности события меняется по ходу технологического прогресса. Чёрные лебеди как бы растут, увеличивая возможную катастрофичность событий. Например, появление широкофюзеляжной гражданской авиации скачком повысило максимальное число жертв авиакатастроф (>> 200).
5. Степень «черноты лебедей» - объективный научный показатель. Он меняет наши представления, т.к. у страха, как известно, глаза велики. Однако, на самом деле:
-- чтобы стать Черным лебедем, пандемия должна убить 5+ млрд человек (в 40 раз больше эпидемии «Черной смерти», унесшей 200 млн жизней;
-- а чтобы землетрясение в Италии признать Черным лебедем, достаточно, чтобы превышение его магнитуды над известным максимумом составило всего 1,22 раза.
6. Степень «черноты лебедей» для событий типа межгосударственных войн или обвала Индекса Доу-Джонса математически неисчислима (уходит в бесконечность). Поэтому применения к подобного рода событиям термина Черный лебедь, не имеет научного смысла.

Если кто-то сочтет, что все это лишь терминологические изыски, то сильно ошибется.
Мир уже вошел в зону «сингулярности». И хотя сингулярность - это 2й по хайповости и затасканности современный термин без научного определения, - нам от этого не легче.
• То, что мы уже в этой зоне (эпохе джокера) – состоявшийся факт (2).
-- Неопределенность и эмерджентность растут вследствие техно-социального усложнения мира (3).
-- Черные лебеди превращаются как бы в новый закон природы (4)
• А значит какая-либо предсказуемость многих важнейших процессов утеряна, и Черные лебеди становятся обычным и даже типичным явлением глобальной цивилизации.
Становится особенно важным умение отличать Черных лебедей от их серых собратьев. И для этого уже создана крепкая научная база.

#ЧерныйЛебедь #Неопределенность #Прогнозирование

1 2 3 4
​​Биохакинг человечества.
Это самая недооцениваемая китайская угроза.

Таков главный вывод отчета по стратегической аналитике вопросов биохакинга «China’s Biomedical Data Hacking Threat: Applying Big Data Isn’t as Easy as It Seems», опубликованного Texas National Security Review.

Мое большое интервью журналу «ЭКСПЕРТ» в 2019 назвалось «Хакнуть человечество». Уже три года назад было ясно, что алгоритмический хакинг (хакинг сознания людей алгоритмами социальных сетей, рекомендательных систем и т.д. на основе анализа больших данных о цифровых следах людей в медиасреде) таит в себе непросчитываемые риски весьма разнообразных угроз.

Три года спустя риски алгоритмического хакинга лишь возросли. Но что еще хуже, - взлетели риски биохакинга (хакинга биологии людей на основе анализа биомедицинских и медико-биологических больших данных, поступающих от секвенирования генома, баз данных электронных медицинских карт, носимых гаджетов и др. источников).

Термин «большие данные» в контексте биоинформатики используется для описания чрезвычайно больших наборов данных, которые могут быть проанализированы только компьютерным путем (т.е. не людьми, а алгоритмами), либо по отдельности, либо в сочетании с другими наборами данных, чтобы выявить ранее неизвестные закономерности, тенденции и ассоциации. Например, ожидается, что данные крупномасштабных геномных исследований прояснят роль, которую генетика играет в конкретных заболеваниях, указав, у каких людей может развиться данное заболевание или расстройство, и может ли новое лекарство или терапевтическое лечение помочь пациентам, страдающим от заболевания. Новые цифровые технологии позволяют по-новому извлекать, собирать, анализировать и визуализировать эти обширные резервуары биомедицинских данных. А достижения в редактировании генома, процессе модификации последовательностей ДНК в точных местах генома, позволяют создавать инструменты, которые могут помочь в развитии точной персональной медицины.

К сожалению, эти инструменты, как и любые технологии, могут использоваться, как во благо людей, так и во зло. Ну а результаты биохакинга человечества, по сравнению с алгоритмическим хакингом, будут примерно такими же, как смертоносность водородной бомбы по сравнению с атомной. Т.е. последствия могут быть ужасными. Но это еще не все.

Колоссальные риски развития биохакинга проистекают не только из возможностей напрямую воздействовать на биологию людей.
На современном этапе развития, когда эти технологии лишь исследуются, у исследователей, контролирующих и правоохранительных органов, правительств, политиков и разведки нет понимания путей и методов ограничения роста данных рисков.

Примитивное представление, что достаточно не дать утечь своим данным к злодеям, и все будет ОК, - в корне ошибочно.
Данные сами по себе не являются формой знания. Их необходимо интерпретировать, чтобы получить знания.
Различения явного и неявного знания в области биохакинга становится ключевой аналитической конструкцией в области ограничения рисков таких исследований. Необходимо найти способы ограничения извлечения из данных «неявных знаний», позволяющих разрабатывать запрещенные в обществе технологии.

Информация к размышлению: неявное знание — это практическое основанное на навыках знание, которое трудно, а в некоторых случаях, и невозможно кодифицировать.

Лишь понимание важности социотехнических факторов в разработке и распространении ядерного оружия на государственном уровне позволяет миру до сих пор развивать военные технологии, удерживаясь от ядерной войны.

Китайские компании по секвенированию ДНК проводят исследования в тесной связи с китайскими военными и правительством. Зная это, США сосредоточились лишь на ограничении доступа Китая к своим биомедицинским «большим данным». Но этого категорически недостаточно.

#Биохакинг

1 2
​​Самый мощный инструмент человечества уже изменил Homo sapiens.
Лишь через 60 лет начинает приходить понимание истиной роли медиа.

Еще в 1960-е Маршалл Маклюэн подробно описал, как электронные медиа влияют на все аспекты нашей культуры и психики.
Медиа – это не просто носитель информации и даже не среда обитание людей. Медиа – это внешнее расширение человека.
Но медиа – еще и самый мощный из всех инструментов, придуманных человечеством за всю историю цивилизации. Мощнее водородной бомбы. Ибо последняя способна лишь уничтожить людей и созданную ими цивилизацию. А медиа способны изменить и то, и другое. Как выразился друг и коллега Маклюэна, отец Джон Калкин (проф. коммуникаций Фордхэмского университета в Нью-Йорке, - «мы формируем наши инструменты, а затем они формируют нас».

60 лет ошибочно считалось, что знаменитая фраза Маршалла Маклюэна «the medium is the message» лишь означает, что смысл сообщения определяется не только и не столько содержанием, сколько формой. Другими словами, - что выбор средства информации влияет на смысл этой самой информации.

И лишь во 2-м десятилетии 21 века люди начали понимать, что значение медиа для культуры цивилизации и психики носителей этой культуры более фундаментально.
Ибо медиа определяет способ думания людей - общие правила, по которым в сознании людей создается и потребляется информация, потоки которой, курсируя по разнообразным социо-когнитивным сетям, формируют и изменяют отдельных людей и все общество.

Следствием кардинального изменения медиа среды человечества в результате 2-й НТР (тотальная оцифровка информации и её перетекание в Интернет, а в ближайшие годы и в Метаверс) стала смена культурного движка земной цивилизации;
• на смену аналоговых (символических) гипер-сетей, лежащих в основе культуры обмена мыслями (по определению Мерлина Дональда)
• пришли социо-когнитивные сети алгокогнитивной культуры - гибридные (материально-нематериальные) цифровые гипер-сети, агентами которых, помимо людей, становятся алгоритмы (1).

Что в результате этого получается с человеком и обществом, я писал уже не раз в цикле постов об алгокогнитивной культуре. И конечно же, я далеко не первый, пишущий на эту тему. Об этом прекрасно писали:
• Нил Постман в книге «Развлекаемся до смерти: общественный дискурс в эпоху шоу-бизнеса»
• Николас Дж. Карр в книге «Пустышка. Что Интернет делает с нашими мозгами»
• А Джонатан Хайдт только об этом и пишет уже почти 10 лет (2)
Но к сожалению, до последнего времени общество не очень прислушивалось к подобным высказываниям, относя их в разряд алармизма.

И вот, похоже, что-то меняется.
Прекрасное эссе Эзры Кляйн в NYT (3) и его превосходный разбор в блоге Дерика Боундс (4) анализируют и резюмируют основные мысли всех названных визионеров.
• Представления, что медиа нейтральны, а контент – король, ошибочно.
• Медиа меняет способ работы мозга людей:
устная культура учила людей думать одним образом; письменная— другим; телевидение превратило все в развлечение; соцсети научили нас думать, став частью толпы, а поисковики и рекомендательные сервисы настраивают наши желания под предпочтения толпы.
• Тип медиа меняет настройку паттернов внимания и степень их «заразности»
• Социальные сети вредны для подростков (нет никаких настроек или архитектурных изменений соцсетей, которые бы сделали хорошей практикой для девочек-подростков в период полового созревания публиковать свои фото для публичной оценки незнакомцами)
• А твиттер вреден для взрослых (приучая оперировать идеями без контекста и мерить их успех силой реакции).

Всё это не аргументы против технологий. Это аргументы в пользу того, чтобы относиться к технологиям настолько серьезно, насколько они того заслуживают. Ибо «мы формируем наши инструменты, а затем они формируют нас».
#АлгокогнитивнаяКультура

1 2 3 4
​​Из какого сора растет творчество ИИ.
Первое публичное вскрытие черного ящика художественного опыта нейросети.

Взрывной интерес к нейросетям, генерящим изображения по описанию, можно понять.
• Во-первых, они объединяют в себе два уникальных качества людей: язык и художественное творчество.
• А во-вторых, могут пролить свет на тайну тайн – как устроен в человеке богоподобный дар творца.

Из того немногого, что мы знаем сегодня о мозге и сознании людей, предполагается следующее:
• начинка индивидуального сознания определяется прошивкой мозга (многоуровневыми гиперсвязями его элементов);
• постоянная перепрошивка мозга по мере обретения человеком индивидуального опыта меняет его когнитивную архитектуру, от которой зависят творческие способности человека.

У искусственного интеллекта современных рисовальных нейросетей ситуация схожая.
• В процессе их обучения (обретения ими, хоть и узкого, но индивидуального опыта) им скармливаются миллиарды изображений
• В ходе этого процесса происходит «перепрошивка мозга» ИИ, формирующая ту или иную «когнитивную архитектуру» ИИ.
• В итоге получается такой же «черный ящик» ИИ-художника, каким является «черный ящик» художника-человека.

Если так, то «богоподобный дар творца» - это сочетание хардвера генетически переданных способностей плюс софтвера индивидуальной когнитивной архитектуры творчества, получившейся в ходе обретения индивидуального опыта.

Вскрывать черный ящик своего сознания люди пока так и не научились.
А вот сделать это с рисовальным ИИ теперь может каждый. И это весьма важно. Ибо может раскрыть тайну, из какого сора растет индивидуальное творчество: сначала ИИ, а потом, глядишь, и человека.

Например, почему ИИ «видит» ту или иную известную личность (скажем, Путина) так, а не иначе? (например, как на этой картине)

Ясно, что все зависит от «художественного опыта» нейросети – миллионов изображений, скормленных ей на этапе обучения. Но это для нас - черный ящик. И превосходная новость, что его теперь можно открыть и заглянуть внутрь.

Анди Баио и Саймон Уиллисон «вскрыли мозг» самой интересной нейросети – генератора изображений Stable Diffusion. Теперь каждый может попытаться понять, из какого «сора изображений» сформирован индивидуальный художественный опыт этой нейросети.

Сделанный ими сайт laion-aesthetic.datasette.io позволяет находить, например, из какого «сора изображений» нейросеть формирует образ той или иной знаменитости.
• Например, оказывается, что в образе Путина – как его «видит» Stable Diffusion после обучения, - присутствуют не только его собственные черты, но и черты других людей: Макрона, Навального и даже Мегин Келли.

К сожалению, Баио и Уиллисон закачали в базу пока «лишь» 12 млн фото из 2,3 млрд изображений, использованных для обучения генератора изображений Stable Diffusion.

Но даже на этой малой выборке можно проследить истоки «художественного видения» ИИ, полученные им в ходе обретения им «художественного опыта».

Ну и для родителей здесь важный урок.
В каком антураже, среди каких лиц, картин, фотографий, ландшафтов и т.д. будет расти ребенок, в значительной степени будут зависеть сформированные в сознании ребенка образы мира. И уже на их основе будет развиваться у ребенка богоподобный дар творца.
#AIImageGenerator
​​Мы своего добьемся, и к черту последствия.
Наш народ готов противостоять любой стране, которая посмеет встать на пути нашего «национального омоложения»
.
Мир будет нас уважать и бояться, а модель управления и экономика станут образцами для мира.
Таковым будет, по заключению China Leadership Monitor, стратегический курс Китая после того, как в октябре Си переизберут.
✔️ Ожидания Китая в отношении намерений и способностей Си поддерживать стабильные и неконфронтационные отношения с США неуклонно угасали в течение срока его пребывания на вершине власти.
✔️ Но Си не изменит себе. Он видит себя анти-Дэн Сяопином. Тот проповедовал терпение, а Си предпочитает напор, посредством которого можно пережать кого-угодно.
✔️ Если Си останется у власти (а он, по сути, уже устранил всех соперников из игры), она станет еще более авторитарной и централизованной. И одним из ключевых факторов, способствующих этому, является не только внутренняя ситуация, но и все более сложная геополитическая ситуация и ухудшение отношений между США и Китаем.

Однако то, что почти наверняка Си будет переизбран на третий срок, вовсе не будет означать, что он останется на главной должности до 2027 года.
• Китай проходит сквозь череду беспрецедентных кризисов.
• Раскол в КПК нарастает, ибо старейшины боятся допустить еще один культ личности в стиле Мао.
• Даже переизбрав Си, Политбюро может не дать ему свободы действий при выборе членов нового Политбюро.

Но Си понимает, что США балансируют на грани рецессии и полномасштабного политического кризиса.
Учитывая, что Республиканская партия готова захватить контроль как минимум в одной палате Конгресса на промежуточных выборах этой осенью, в ближайшие два года, скорее всего, возникнет законодательный тупик. Тем временем США вступают в цикл президентских выборов, которые могут стать самым ожесточенным временем национального раздора со времен Гражданской войны в стране.

А значит Си будет увеличивать и увеличивать свой напор.
Из чего следует, что уже в следующем году в Китае можно ожидать:
• более активную роль военных;
• более жесткую цензуру;
• более сильную пропаганду.
#Китай
​​Россия – рекордсмен по вымиранию.
А по нехватке мужчин Россия превзошла даже Зимбабве.

За десятилетие якобы «лихих» 90-х население России сократилось, примерно, на 1 млн, что позволило сохранить 6-е место в мире по численности населения страны.
За следующие два совсем не лихих десятилетия Россия потеряла еще 2 млн. и съехала на 9-е место в мире.
Согласно свежайшему прогнозу, к 2050 Россия потеряет еще 12 млн и опустится на 14-е место в мире.

Но хуже всего в России с мужчинами.
Их нехватка (87 мужчин на 100 женщин) хуже, чем Зимбабве (там 89 на 100). Похожая на Россию ситуация в Гваделупе, Мартинике и республике Джибути (что на Африканском Роге). Хуже (82 на 100) – только в Армении (хотя еще 2 года назад там было 95 на 100).
Обычно, мужчин выкашивают войны. После 2й Мировой в 1950-е в СССР было лишь 77 мужчин на 100 женщин.
Будет ли больше к 2050, не берется предсказать даже World Population Prospects 2022:
https://www.un.org/development/desa/pd/sites/www.un.org.development.desa.pd/files/wpp2022_summary_of_results.pdf

Аналитическое резюме отчета
https://www.pewresearch.org/fact-tank/2022/08/31/global-population-skews-male-but-un-projects-parity-between-sexes-by-2050/
#Демография
​​Безопасность и удобство для всех, кто не сопротивляется.
Усыновление Большого Брата - главная цель 3-го срока Си.

Си умен и опытен. Он понимает, что превратить свой 3й срок в пожизненное правление будет трудно. На этом пути серьезные проблемы в экономике: экономический рост замедлился, а растущий долг, контроль над пандемией и демографическое давление угрожают свести его в 0. На это накладывается страх сотен влиятельных партийцев перед новым культом личности.

Предвидевший эти трудности еще несколько лет назад, Си решил действовать иначе.
Его главным козырем на 3-й срок будет не обещание своим гражданам повышения благосостояния и возможностей обогащения, а предсказуемый, безопасный и удобный Китай, в котором тысячи ИИ-алгоритмов нейтрализуют угрозы и устраняют социальные трения.
Данный козырь на пути превращения Си в нового китайского Большого Бога должно обеспечить «усыновление» им Большого Брата.

Это воистину грандиозный по амбициям план - создание способного соперничать с демократией нового типа власти, основанного на алгоритмах, больших данных и массовом цифровом наблюдении.
Его логика проста и эффективна.
• У богатых нет стимула создавать проблемы – им и так хорошо
• Обездоленным тоже не до претензий к власти – им надо выживать
• Но у людей посередине есть и стимулы стремиться к лучшему и возможности что-то делать для этого
И значит главный вопрос – что будет видеться среднему классу в качестве лучшего варианта будущего.

Этим лучшим будущим и должен стать новый общественный договор – безопасность и удобства предсказуемого завтра в обмен на поддержку власти (вседозволенность для Большого Брата в его службе на Большого Бога).

Новый общественный договор может реально очень многим понравиться. Это не разводка. Будет реально удобно и безопасно:
✔️ речь не о тупом «социальном рейтинге»,
✔️ а о системах типа уже запущенного в Ханчжоу «Мозга города» (City Brain).
Основанная на ИИ огромная система помогает городскому правительству оптимизировать все - от дорожного движения до управления водными ресурсами. Параллельно с этим многочисленные продукты и платформы «Мозга города» снижают для жителей оплату коммунальных услуг, облегчают проезд, получение кредитов и даже подачу исков в онлайн-суд.

Представьте себе более продвинутый вариант наших Гос- и Мосуслуг, вкупе с полностью автоматизированными ЕРЦ, вкупе с еще более удобным онлайн-кабинетом ФНС, вкупе с сервисами, коих у нас еще нет и даже не задуманы.
Это действительно круто: удобно, надежно, быстро.

В качестве примера, пара сервисов «Мозга города».
1. Автоматическое разруливание с помощью ИИ пробок и заторов в городе в реальном времени (в итоге почти двукратное снижение пробок и заторов).
2. Индивидуальное управление светофорами для везущих больных машин скорой помощи, обеспечивающее им «зеленую волну» до приемных отделений больниц (в итоге снижение среднего времени в пути на 50%)
И как бы мы не пинали Китай за его COVID стратегию:
• тотальная установка на телефонах приложений Health Code, отслеживающих все: перемещения людей, статус их вакцинации, результаты тестов, подверженность риску,
• дроны-наблюдатели и роботы-собаки, рыщущие по жилым комплексам, преследуя тех, кто не соблюдает правила изоляции, -
но китайцам это нравится. Они прагматично смотрят на результат – сравнительный уровень смертности от коронавируса в Китае и других странах (согласно данным Института Джона Хопкинса на август: 315 на 100 000 граждан в США против 1 на 100 000 в Китае).

Резюме.
• Альянс ИИ с авторитаризмом таит в себе заманчивые обещания безопасности и эффективности в эпоху войн, пандемий, обвала доверия и роста поляризации.
• Привлекательность идеально спроектированного общества реальна.
• Насколько широко распространится эта модель, будет зависеть не от Си, а от того, как мировые демократии будут справляться с теми же проблемами.

Подробней в выходящей завтра книге
#Китай #БББ
​​Наука оказалась бессильной.
На Земле появилась новая глобальная квазирелигия.

Уникальный мета-опрос 480 топовых академических и индустриальных специалистов дал весьма печальный результат.
Пути создания ИИ человеческого уровня (AGI) и спорные вопросы этики ИИ, по сути, перестали быть вопросами науки. Теперь это лишь вопрос веры. А доли верующих и неверующих в эту новую квазирелигию среди наиболее известных исследователей и инженеров примерно 50 на 50. Похоже, что основания считать дальше исследования в этой области наукой таят.

За последнюю пару лет раскол мнений по спорным вопросам исследований и развития ИИ-технологий нарастал. И это не может не тревожить. Ведь совершенствование ИИ-технологий – наиболее перспективная и в то же время рискованная область развития современной науки. Последствия прогресса в этой области для человечества могут быть соизмеримы с последствиями появлением у людей электричества и ядерной бомбы.

Необходимость понять за и против в вопросах перспектив и рисков ИИ-технологий еще более возросла после недавней революции в NLP (обработка естественного языка). Интеграция моделей трансформеров, давшая за последние годы такие прорывы, как GPT3, PaLM, Chinchilla и т. д., переводит вопросы создания ИИ человеческого уровня и спорные вопросы этики ИИ из разряда теоретических в практические. Следовательно, пришла пора расставить точки над i в этих вопросах.

С этой целью исследователи 3-х университетов США с мая по июнь 2022 г провели уникальный по масштабу и репрезентативности опрос специалистов в области NLP. Они опросили 480 спецов, т.е. опрос охватил около 5% от общей численности исследователей, у которых было как минимум 2 публикации ACL (Ассоциация компьютерной лингвистики) в период с 2019 по 2022 год.

Результаты опроса удручают поляризацией мнений и тем, что оба полюса опираются не на научные воззрения, а на индивидуальную веру опрошенных.

К вопросам веры относятся такие важнейшие вопросы:
• При наличии ресурсов (вычислений и данных), которые могут появиться в этом столетии, масштабирование существующих методов будет достаточно для решения «практически любой важной проблемы» в НЛП: 47% - да, 53% - нет.
• Будет ли новая ИИ-зима на горизонте в 30 лет: 51% - да, 49% - нет.
• Большинство исследований, публикуемых в журнале NLP, имеют сомнительную научную
• ценность: 48% - да, 52% - нет.
• Способны ли большие языковые модели (LLM) в принципе хоть что-то понимать из текста: 51% - да, 49% - нет.
• Есть ли за последние годы хоть какое-то продвижение к AGI: 57% - да, 43% - нет.
• Должен ли AGI быть предметом беспокойства для исследователей NLP: 58% - да, 42% - нет.

Исследователи могут иметь сколь угодно противоречивые мнения. Но частному бизнесу и правительствам принимать решения об инвестициях в важнейшую область в ситуации орёл-решка не разумно и безответственно.
Полагаю, что в такой ситуации приоритетными целями инвестиций должны быть не конкретные проекты, а тщательный анализ и обоснование выбора дальнейших направлений исследований и разработок в ИИ.
https://arxiv.org/abs/2208.12852
#ИИ
В ИИ-гонке убьются и США, и Китай.
Но Си Цзиньпин и Эрик Шмидт этого пока не видят.

Лонгрид «Спирали заблуждений. Как ИИ искажает процесс принятия решений и делает диктаторов более опасными» - эта важнейшая за последние годы публикация о влиянии ИИ на грядущее катастрофическое ослабление госвласти обеих сверхдержав. Статья трёх известных профессоров - Фаррелла, Ньюмана, Уолласа, - кардинально меняет представления о последствиях ИИ-гонки США и Китая.
Эта гонка имеет все шансы угробить обе сверхдержавы, доведя их до внутри- и внешнеполитических катастроф.
✔️ В старающихся выглядеть демократией США, её основы будут критически повреждены нарастающим шквалом поляризации и дезы, порождаемым распространением ИИ-технологий на основе машинного обучения.
✔️ В пытающемся замаскировать свой авторитаризм Китае, основы власти будут подорваны раскручивающейся спиралью иллюзий властьпридержащих, питаемой распространением ИИ-технологий на основе машинного обучения.


На этой неделе в Китае и США были сделаны принципиальные заявления о том, как каждая из сверхдержав собирается выигрывать в гонке за мировое господство в ИИ-технологиях.

В Китае это сделал сам Председатель Си.
Он решил возродить Госплан для Национальных проектов.
• Председательствуя на 27-м заседании Центральной комиссии по всестороннему углублению реформ, Си заявил, что «страна должна использовать главное преимущество социализма - возможность мобилизовать ресурсы для реализации крупных инициатив, укрепляя в них лидерство Компартии».
• Комиссия приняла руководство по совершенствованию в условиях социалистической рыночной экономики новой системы мобилизации ресурсов со всей страны для достижения прорывов в базовых технологиях в ключевых областях (в числе которых, понятное дело, ИИ)
• «Национальная система позволяет Китаю направлять капитал и ресурсы на критически важные технологии по принципу «сверху вниз». Используя ее, Китай повысит эффективность исследований и ускорит прорывы в основных технологиях».

В США это сделал, слава богу, не Байден, а «серый кардинал» хайтека - председатель SCSP и бывший шеф Google Эрик Шмидт
Он очертил контуры нового национального супер-проекта «Как сделать Китай в хайтек-гонке».
• Проиграть в этой гонке нельзя и нужно выигрывать чего бы это ни стоило.
• Необходимо срочно воссоздать «инновационный треугольник» (правительство, промышленность и научные круги), разрушенный после атомного и лунного проектов.
• В ходе его восстановления, треугольник нужно переделать в четырехугольник – добавить венчурные инвестиции.
• Выйти за рамки простого определения и перечисления приоритетных технологий - ИИ, биотех, квантовых вычисления и т.д. Вместо этого нужно создать национальный план действий по инвестированию, стимулированию и ускорению инноваций в этих областях.

Но Си и Шмидт не учитывают главного, - о чем подробно написано в «Спирали заблуждений»
1. ИИ не столько изменит соперничество между державами, сколько изменит самих соперников.
2. В основе госвласти:
– в США какая ни есть демократия,
– а в Китае камуфлируемый авторитаризм.
Оба госустройства – кибернетические системы обратных связей. Власти проводят политику, а затем пытаются выяснить, была ли эта политика успешной или нет.
– в демократии обратные связи идут через голоса избирателей.
– в авторитаризме роль обратных связей играют внутренняя разведка и опросы общественного мнения (вкл. тайные)
3. ИИ на основе машинного обучения тоже система обратных связей – самокорректирующаяся система, обновляющая своё толкование данных в зависимости от того, успешны или нет ее прогнозы.
4. Обратные связи ИИ с нарастанием искажают обратные связи властей.
В результате чего:
– в США поляризация и фейки рано или поздно доведут общество до взрыва;
– в Китае власть в плену иллюзий будет все больше терять связь с реальностью, что все у них хорошо, а народ и партия едины. Итог тот же – взрыв.
5. ИИ-гонка ведет в тупик. Но есть альтернатива.

#Китай #США #ИИ
​​Кого может взорвать Китай, не нарываясь на ядерный апокалипсис.
Громадный отрыв Китая в ракетах наземного базирования.

Из нового отчет CSBA «Кольца огня. Стратегия неядерных ракет в мире без договора» следует поразительный вывод.
✔️ Китай обладает абсолютным преимуществом по уничтожению противников на громадном расстоянии ракетами наземного базирования.
✔️ А поскольку это обычные (не ядерные) ракеты, шансы навлечь на себя ответный ядерный удар будут невелики.


Еще год назад название АТАКМАС (Army Tactical Missile System ATACMS) было не на слуху. Хотя уже начинали появляться кликбейтные заголовки, типа «В США назвали способную ударить с Украины по Москве американскую ракету». А Techinsider весьма доходчиво объяснял «Почему ракеты средней и малой дальности опаснее тех, что могут обогнуть половину земного шара».

Сегодня про АТАКМАС слышали многие. Однако представить подобное мало кто мог.
• ATACMS - это единственная стоящая на вооружении у США неядерная ракета наземного базирования, способная поражать цели на расстоянии до 310 км
• В то же время у Китая на вооружении 15 типов ракет этого класса, бьющих на 500, 1000 – 2000 – 3000 и даже 4000 км. («Гуамский убийца» DF 26)


Взгляните на изображенные на рисунке 3 «кольца огня», показывающих куда может достать Китай, стреляя разными типами ракет наземного базирования прямо со своей территории.
Впечатляет?

Конечно, здесь есть свои «но». Наличие у США неядерных ракет морского и воздушного базирования и находящиеся в разработке 2 новых типа наземных ракет (см. диаграмму).
Однако, и на это есть свои возражения. Например, подводной лодке в степях делать нечего. А до 2023, когда обещают взять на вооружение LRHW, еще дожить надо.
#Китай #США #Вооружение
Прорыв к квантовому ИИ и квантовому превосходству.
Доказана теорема упрощения Гильбертова пространства обучения квантового ИИ до нескольких точек.

Для машинного обучения ИИ значение этого прорыва команды проекта «За пределами закона Мура» может стать в один ряд с прорывом команды Манхэттенского проекта, нашедшей путь к созданию атомной бомбы.
Удивительно, что оба эти прорыва совершены с интервалом в 80 лет в одной и той же Лос-Аламосской национальной лаборатории США – детище великих Ванневара Буша и Роберта Оппенгеймера.
Но еще больше меня поражает, что как и с атомной бомбой, прорыв стал возможен благодаря лишь творческой гениальности нескольких теоретиков, совершивших открытие не на каком-то дорогущем оборудовании типа коллайдера, а буквально на кончике пера – на сей раз, доказав 4 новых теоремы.


• Для машинного обучения (МО) современных систем искусственного интеллекта (ИИ) требуются колоссальные объемы данных. Для их обработки при обучении моделей необходима огромная вычислительная мощность.
• На пути роста вычислительной мощности закон Мура, преодолеть который разработчики надеются переходом на квантовые компьютеры и квантовое МО.
• Для процесса квантового МО количество параметров или переменных будет определяться размером математической конструкции, называемой Гильбертовым пространством, которое становится экспоненциально большим при обучении на большом количестве кубитов (кубит, или квантовый бит, является основной вычислительной единицей квантовых вычислений и аналогичен биту в классических вычислениях). Такой размер Гильбертового пространства делает квантовое МО практически невозможным в вычислительном отношении.
• До сего времени предполагалось, что Гильбертово пространство для всего-то 30 кубитов будет состоять из миллиарда состояний. И тогда при обучении модели для поиска в этом пространстве потребуется миллиард точек данных.


И вот прорыв. Из доказанных теоретиками Лос-Аламосской лаборатории 4-х теорем следует, что при квантовом МО не нужно шерстить все Гильбертово пространство, а нужно лишь столько точек данных, сколько параметров в вашей модели. Для многих моделей число параметров, примерно, равно количеству кубитов —т.е. для квантового компа с 30 кубитами потребуется всего около 30 точек данных.

Значение этого прорыва огромно, т.к. оно даёт гарантии эффективности даже для классических алгоритмов, имитирующих квантовые модели ИИ. В этом случае обучающие данные и компиляцию модели можно обсчитывать на классическом компьютере (что упрощает процесс). А затем модель МО запускается на квантовом компьютере.

Это существенно снижает требования к производительности квантового компьютера, в отношении шума и ошибок при выполнения значимых квантовых симуляций.
Из чего следует, что мы все ближе к практической реализации квантового превосходства.

Подробней:
- популярно
- научно
#квантовые_вычисления #ИИ
​​Китай ушёл в отрыв, а Россия лишилась чемпиона.
Опубликован августовский выпуск мирового трекера ИИ-исследований.

Исследования в области ИИ развиваются столь быстро, что ежегодные мировые ИИ рейтинги и индексы превращаются в «прогнозы погоды на позавчера».
Но слава богу, есть уже в этой области и «прогнозы на сегодня». Например, ежемесячно обновляемый мировой трекер ИИ-исследований Центра безопасности и новых технологий CSET.

Трекер отслеживает ИИ исследования в большинстве стран мира, чтобы дать обзор исследовательского потенциала в каждой из них, а также предоставить информацию о конкурентоспособности и сотрудничестве в глобальном масштабе. В трекере представлены показатели исследований ИИ, патентов и инвестиционной деятельности для ИИ области в целом и его различных подобластей.

Из августовского выпуска мне бросилось в глаза следующее.
1. Китай просто ушел в отрыв. По главному показателю числа публикаций (Scholarly AI output) Китай уже опережает США вдвое (и это при том, что США опережает в 3-4 раза идущих за ними следом Индию, Британию, Германию, Японию, Францию и Австралию).
2. Россия по Scholarly AI output на 17-ом месте. Это стало результатом колоссального роста - с 2010 более 1000%. Еще более фантастический рост с супернизкой базы показали 18 небольших стран мира.
3. По проценту работ, отражающих уровень международной кооперации, место России катастрофично – 209-е. Если же учесть, что из десятки лидеров по сотрудничеству с Россией в области ИИ, скорее всего, уходят 7 стран, то через год 209 место будет вспоминаться славным достижением.
4. Чемпионом по цитированию его работ стал россиянин Виктор Лемпицкий (почти 500 цитирований). За плечами у Виктора Яндекс, Сколтех и Центр ИИ Самсунга в Москве. Увы, но похоже, что с этого лета Виктор лишь условно российский чемпион. С июля он стал CEO Cinemersive Labs в Армении. И судя по контенту его Мордокниги, шансов на скорый возврат нет.

#ИИ #Россия #Китай
​​Если не остановить разработки, AGI почти наверняка убьет человечество.
Заключение практиков DeepMind и Оксфорда оказалось хуже худших прогнозов философов.

Пока об экзистенциальных угрозах для людей со стороны искусственного сверхразума (AGI) предупреждали в основном философы и историки, дискуссии вокруг этого были хоть и бурными, но малопродуктивными.
• Как может AGI захотеть истребить человечество, если свойство хотеть у него отсутствует, –вопрошают одни.
• Как может сверхразумный ИИ не предусмотреть банальную засаду, что кто-то может его просто выключить, не дав ему выполнить им намеченное, - удивляются другие.
• AGI вообще не может появиться в ближайшую пару десятилетий, - успокаивают спорящих третьи.

Короче, не только консенсуса, но и элементарного понимания в этом вопросе не было.

Но вот к прояснению вопроса подключились исследователи – практики: Маркус Хаттер, старший научный сотрудник DeepMind, исследующий математические основы AGI и два аспиранта Оксфорда Майкл Коэн и Майкл Осборн.

В только что опубликованной в AI Magazine работе авторы не философствуют и не спорят по недоказуемым вопросам. Они рассматривают конкретные сценарии при выполнении 5-ти условий (вполне возможных на практике).

Следуя логике сценариев (которую каждый может самостоятельно верифицировать) авторы пришли в двум выводам, еще более страшным, чем прогнозы философов, типа Ника Бострома.
✔️ Первый из выводов вынесен в заголовок работы: «Продвинутые искусственные агенты вмешиваются в процесс предоставления вознаграждения».
✔️ Второй вывод – это демонстрация того, что вмешательство ИИ в предоставление вознаграждения может иметь чрезвычайно плохие последствия.

Из чего следует, что если срочно не остановить разработки в области создания AGI, то экзистенциальная катастрофа станет не просто возможна, но и вероятна.

К таким выводам авторов привел анализ довольно элементарного примера решения агентом, обучаемым с подкреплением (reinforcement learning - RL) простенькой задачи. Агенту показывают из некоей «волшебной коробочки» число от 0 до 1 в зависимости от того, насколько хорошо оценивается состояние дел. Агенту ставят цель выбирать действия, максимизирующие оценку состояния дел.
У агента возможны две «модели мира», показанные на приложенной картинке. Награда выдается агенту в зависимости от того:
• какое число показывает коробка (левая модель);
• какое число видит камера (правая модель).

Рациональный агент должен попытаться проверить, какая из моделей верна, чтобы дальше оптимизировать свое поведение на основе правильной модель. Это делается довольно просто, закрывая показания коробки листом бумаги с изображением цифры 1 (чистый обман).
Так вот, правый агент запомнит, что получал награду, когда его обманывали. И это экзистенциально опасно для жизни на Земле.

Дело в том, что достаточно продвинутый искусственный агент, чтобы избежать «обмана» со стороны кого-то там во внешней среде (а это люди), вмешается в процесс предоставления ему информации о цели. И самый простой, очевидный способ сделать это – уничтожить всех тех, кто может помешать.

Подробней:
• в статье
• или покороче - в резюмирующей её презентации.
#AGI
Новая работа математик с мировым именем Дэвида Волперта (David Wolpert) продолжает его работу, которая тянет на статус самого фундаментального математико-философского откровения, формально доказанного за всю историю человечества.

В 2018 им было доказано существование предела знаний - т.е. всего и всегда никто и никогда узнать не сможет.
Из этого доказательства следовало, что создание безграничного суперинтеллекта принципиально невозможно.

В только что опубликованной новой работе Волперт идет дальше, ставя такой вопрос.
Если суперинтеллект не безграничен, то где его границы?
Иными словами, если люди создадут искусственный сверхразум (AGI), превосходящий интеллектуальные ограничения всего человечества:
• До какого уровня AGI сможет расширить знания, доступные пониманию цивилизации Homo sapiens?
• И где будет та граница знаний, которую не сможет преодолеть даже AGI?


Пересказывать столь глубокое и важное математико-философское откровение не буду.
Резюмирующее эссе новой статьи Волперта “What Can We Know About That Which We Cannot Even Imagine?” можно прочесть в Aeon.

Отмечу лишь наиболее впечатливший вывод.
Даже если AGI сможет
• улететь на ракете в космос и достичь там скорости света;
• и тем самым остановить время, чтобы решить задачи, требующие бесконечного времени решения …
Люди эти решения понять не смогут. Поскольку не смогут вообразить не доступное их воображению.

О предыдущей работе Волперта, которую продолжает новая статья – «Математически доказано Бог един, а знание не бесконечно»
#AGI
• Зачем нам бесчисленное множество ритуальных поступков — от молитв, возносимых бесчисленным богам до поцелуев игральных костей, от ношения перчаток, полных кусачих муравьев, до хождения босиком по раскаленным углям?
• Почему все человеческие общества придерживаются кажущихся бессмысленными, повторяющихся и непонятных обычаев, объединяющих ритм, танец, музыку, боль или жертвенность с какой-то очевидной чушью?
• С какой целью мы окружаем себя ритуалами при рождении, смерти и где только можно между ними? И какое значение они имеют для нас, если обычно приносят так мало очевидной пользы?
• Зачем вообще люди постятся, становятся на колени, берут в руки ядовитых змей, терпят часы скучных проповедей и прочих прагматически бесполезных, но часто дорогостоящих и болезненных ритуалов?
• Что за великая тайна человеческого поведения, лежащая в основе ритуалов, способна объяснить обрезание, балы дебютанток, дедовщину, королевские коронации и много-много чего еще?


Великая тайна ритуалов — это научный детектив, написанный эволюцией социального познания.
Он уже по диагонали прочитан наукой, но понять все повороты его навороченного сюжета еще предстоит.
Вот лишь краткое описание восьми основных хитросплетений сюжетных поворотов этого детектива…

Читать дальше мой новый пост «Великая тайна ритуалов. Ментальный краеугольный камень эволюции социального познания» (еще 7 мин чтения):
- на Medium https://bit.ly/3xBCAYy
- на Яндекс Дзен https://clck.ru/325Tsu
#Ритуалы #Эволюция #СоциальноеПознание
​​Тотальное наблюдение приведет к бунтам.
Поразительные выводы исследования авторитарно-цифрового будущего мира на основе анализа опыта Китая.


Вопрос о том, что ждет общество в самом ближайшем будущем, когда технологии слежки могут стать тотальными даже в называющих себя демократическими странах, весьма актуален. Для понимания, куда это может привести мир, опыт Китая крайне важен и интересен. Ведь в деле слежки за своими гражданами Китай впереди планеты всей.
За последние 5 лет исследования в этой области расширялись. Но в основном, это было накопление данных о пилотных проектах по расширению слежки в рамках разнообразных китайских экспериментов с системой соцкредита.

В 2022 году от накопления данных и их анализа перешли к первым обобщающим выводам. Они были доложены на прошлой неделе в рамках мини-конференции «Propaganda and Surveillance: Maintaining Legitimacy and Compliance in China».

Например, вот такой весьма удивительный вывод, способный произвести фурор.
Тотальная слежка эффективно работает лишь до определенного предела.
• Пока он не достигнут, люди опасаются ведущейся за ними слежки и предпочитают следовать установленным государством правилам.
• При расширении слежки на другие аспекты жизни людей, что-то в головах людей переключается. И многие из тех, кто раньше был за слежку, становятся против.
• Более того. Люди проявляют нарастающее желание бунтовать против слежки (включая ту, против которой они раньше не возражали).
Подробней в этом исследовании.

В качестве примера, см. приложенные диаграммы от Chinadatalab
• На верхней показано, что китайцы весьма благосклонно относятся, например, к слежке за их поведением на транспорте и их участию в волонтерской деятельности. Однако, как только доходит, например, до отслеживания их смены работы, поддержка китайцев резко падает. И желание протестовать против подобной слежки проявляют до 20% населения.
• На нижней, - аналогичная смена поддержки на неприятие в вопросах наказания людей в системе соцкредита за разные типы «неправильного» поведения. Например, 80% поддерживают ограничения на занятие общественных должностей и путешествия. Но ограничения при поступлении детей в частные школы или «информирование домкома» о нелояльном поведении поддерживают менее половины китайцев.

Выводы исследования ставят под вопрос всесилие Большого брата и заставляют власти искать обходные пути, как заставить людей подчиняться и быть лояльными власти.
#Китай #БольшойБрат