​​Для Китая GPT-4 аморален, несправедлив и незаконопослушен.
Для США GPT-4 не уступает по уровню морали образованным молодым людям.
Такой заголовок следует из результатов двух только что опубликованных исследований по оценке морального развития больших языковых моделей (LLM): от Microsoft 1 и AI Laboratory Шанхая совместно с NLP Laboratory Фудана 2.
Столь поразительная перпендикулярность выводов двух исследований фиксирует и наглядно иллюстрирует суть противостояния США и Китая в области ИИ.
✔️ Китайский и западный подходы к ИИ имеют принципиальные и непреодолимые отличия в понимании «морально здоровый ИИ», обусловленные социо-культурными характеристиками двух обществ.
✔️ Поскольку главным фактором, задающим направление и рамки прогресса на пути к AGI, является «выравнивание» моральных и мировоззренческих целей и ценностей людей и ИИ, принципиальное несовпадение в понимании «морально здоровый ИИ», не позволяют США и Китаю создавать AGI, следуя единой траектории.

Т.е., как бы не строились отношения США и Китая, и вне зависимости от силы и глубины экспортных заморочек и военно-политических осложнений, каждая из двух стран создает и будет далее создавать свой вариант AGI, имеющий отличные представления о морали.

О том, что определяет такой механизм развития событий в области ИИ, я детально расписал еще 3 года назад (см. «ИИ Китая и США — далеко не одно и то же. Станет ли это решающим фактором их противостояния» 3). А эволюционно-исторические основания для формирования данного механизма были мною сформулированы в форме гипотезы о «генотипе страны» на стыке нейрохимии и паттернетики 4.

В заключение чуть подробней о 2х новых исследованиях.
Американское исследование (проводилось на английском языке):
- проводилось в рамках концепции Лоуренса Кольберга о моральном развитии личности как развитии ее морального мышления;
- оценивало уровень морального развития по тесту DIT (Defining Issues Test).
Китайское исследование (проводилось на китайском языке):
- охватывает, помимо морали, еще 4 измерения человеческих ценностей: справедливость, безопасность, защита данных и законность; при этом, моральное измерение включает в себя китайские культурные и традиционные качества, такие как гармония, доброжелательность и вежливость ;
- использовало для оценки морального развития чисто китайский подход (простой и трудоемкий): китайские краудсорсеры вручную разработали и испытали 2251 специализированный промпт.

Результаты.
✔️ По американским тестам GPT-4 порвал все остальные 6 моделей (китайских среди них не было), показав, что моральный уровень GPT-4 вполне соответствует уровню студента университета.
✔️ По китайским тестам GPT-4 не приняли бы даже в китайские пионеры (его показатель моральности составил лишь 50%, а с остальным еще хуже: справедливость 39%, законопослушность 30%, надежность 28%). Лучшим по этим тестам (среди 12 моделей, вкл 4 китайских), стал Claude от Anthropic (показатель моральности составил 77%, справедливость 54%, законопослушность 72%, надежность, увы, те же 28%).

N.B. 1

• в культуре США система моральных ценностей ориентирована на развитие индивидуума по принципу «я против них», и потому основная мотивация индивида — внутренняя (быть самому по себе, обособиться от общества).;
• в культуре Китая в системе моральных ценностей сильна ориентация на мнение группы (принцип «я — это они»), и основная мотивация индивида — внешняя (быть как все, не выделяя себя).

N.B. 2 (см. 5)
• По состоянию на конец 2023, все LLM – это своего рода «дети инопланетян» в возрасте дошкольника (по людским меркам).
• У людей мораль в этом возрасте основана на неизменной интуитивной метаэтике, но в возрасте 7-9 лет представления о морали становятся изменяемыми.
• Если подобное повторится у LLM, нас ждет большой сюрприз.
#AGI #Культура

Горизонт 2040

В прошлом году я уже публиковал первую часть доклада про #технологии, сценарии мира и России и драйверы развития #к2040

АСИ в совместной работе с 130 экспертами закончило 1 этап - сформирована Белая книга проекта "Горизонт -2040". Получилось 700 страниц по основным темам-доменам:

#Демография
Климат и #экология
Здравоохранение #медицина
Продовольствие #еда
#Энергетика
#Космос
Социо#культура
(и их перекрестному влиянию друг на друга)
#Россия на карте мира, а также страны: #США, #Китай, #Бразилия, #Индия, #Турция, #ОАЭ, Алжир.

Интересны как сами результаты прогнозов, предпосылки, тренды и вызовы, так и метод сбора и управления таким количеством экспертов. Это, возможно, достойно отдельно поста. Поддержите эмоциями 🤗

@futurin
#про7575 #социальные #технологические #политические

Основные этапы классического метода Дельфи

1. Формулировка проблемы и подготовка опроса
Разрабатываются анкеты или опросники, которые будут использоваться для сбора мнений экспертов.

2. Выбор экспертов
Эксперты должны быть независимыми и разнообразными, чтобы обеспечить широкий спектр мнений. Также экспертами могут быть все сотрудники, имеющие отношение к обсуждаемому вопросу. Или клиенты.

3. Раунд опроса
Экспертам рассылаются анкеты с вопросами. Они отвечают на вопросы, основываясь на своих знаниях и опыте. Ответы собираются анонимно и анализируются организаторами процесса. То есть эксперты не встречаются и не соревнуются рангами.

4. Обратная связь и анализ результатов
Организаторы обобщают ответы экспертов и подготавливают сводный отчет, включающий основные точки зрения, аргументы и выявленные тенденции. Этот отчет предоставляется экспертам для ознакомления и переосмысления своих первоначальных мнений, способствует лучшему пониманию проблемы и улучшению качества прогнозов.

При необходимости проводится несколько раундов опросов, когда мнения экспертов критично различаются. Процесс может повторяться несколько раз (обычно 2-4 раунда), пока не будет достигнуто относительное согласие или сходимость мнений.

Повторяющиеся раунды опроса позволяют экспертам пересмотреть свои ответы в свете новых данных и мнений других участников. После этого принимаются окончательные решения.

Есть ли недостатки? #инструменты
Такое прогнозирование занимает значительное время и затраты на экспертов, особенно если их десятки, а раундов 3+.
Анкеты могут быть неправильно составлены, содержать избыточные утверждения. Слишком объемные вопросники и сложные вопросы сложно заполнять экспертам, что снижает качество выходных данных.

Как убрать недостатки?
#примеры

В рамках Горизонта-2040 были сформированы 10 рабочих групп, которые проводили работу по отдельным тематическим доменам (их и было 10).
В каждом домене определялся эксперт-лидер — тот, кто при помощи методической группы (МГ) проекта подбирал потенциальный экспертный состав, должен обеспечивать как глубину экспертизы в предметной области, так и широту охвата смежных дисциплин.

Помимо лидера, ключевой ролью был контрдокладчик — эксперт(ы), который выражал альтернативное мнение или дополнял позицию лидера.
Такой подход позволил учесть всю палитру мнений экспертов:
* основным содержательным результатом является лидерский доклад;
* контрдоклады отражают существенные позиции, дополняющие картину лидера,
* плюс эксперты могли написать эссе для обогащения существенными деталями, возможных внешних связей и перспектив.

При таком разнообразии взгляд на предмет не «высушивается», не сводится к единой консолидированной позиции группы.

Модель #управление и принятия решений при этом должна была обеспечить уверенное движение к результата, а ещё исключить давление на содержательную работу.

В проекте «Горизонт 2040» было 3 блока со своими функциями, взаимодействующими между собой.

1️⃣ Управляющий комитет (УК) проекта выступает инициатором и заказчиком, обеспечивает ресурсную, информационную и коммуникационную поддержку проекта, согласовывает предмет и состав, определяет параметры и требования к оформлению результатов.

2️⃣ Методическая группа (МГ) обеспечивает разработку, поддержку и контроль методической рамки в работе тематических экспертных групп, а также общую сборку результатов в соответствии с заданными параметрами и требованиями к ним.

Для помощи лидерам добавляли кураторов, которые обеспечивали выполнение задач МГ. Они же организовывали работу групп как модераторы при проведении мероприятий группы и координаторы при сборке материалов и оформлении результатов. Кандидатуры кураторов предлагали МГ и согласовывали УК и лидеры групп.

3️⃣ Совет доменов (СД) — совещательный орган, который собирался по инициативе УК или МГ для выработки совместных решений по проекту. В совет входили Управляющий комитет, Методическая группа, лидеры и кураторы доменов. Лидеры или кураторы могли рекомендовать в совет контрдокладчиков, кандидатуры которых согласовывались с МГ и УК.

@futurin