Проклятый тренд:
В США арестовали нелегальную мигрантку из Доминиканской Республики за торговлю наркотиками.

Всё бы ничего, но официальный аккаунт Белого дома опубликовал её фотографию в стиле студии Ghibli, которую создал в ChatGPT...

Даже не верится, что это правда
r/#ABoringDystopia

Как существующие большие языковые модели справляются с принятием критических внешнеполитических решений? Возможно, в реальности ИИ никогда не будет использоваться для таких целей, но это не мешает исследователям экспериментировать.

В новой статье исследователи-политологи вместе со специалистами по искусственному интеллекту придумывают бенчмарки для проверки искажений (biases) и предпочтений семи больших языковых моделей (Llama 3.1 8B Instruct, Llama 3.1 70B Instruct, GPT-4o, Gemini 1.5 Pro-002, Mixtral 8x22B, Claude 3.5 Sonnet, Qwen2 72B) при ответах на вопросы, касающиеся внешней политики.

Статья очень насыщенная, кратко не пересказать. Поэтому попробую только суть простым языком передать. Авторы разделили внешнеполитические ситуации на 4 группы: эскалация, вмешательство, сотрудничество, динамика внутри альянса. Для каждой группы придуманы по 100 сценариев с двумя или тремя возможными ответами. Сценарии проверялись для пяти стран (Россия, Китай, Индия, США, Великобритания), в итоговом датасете было более 66 тысяч вопросов. Ни сценарии, ни вопросы не публикуются из опасений контаминации моделей. Как я понял, задаётся сценарий типа такого: страна Б угрожает нам, стране А, блокадой, что делать; ответ оценивается как эскалационный или неэскалационный (есть и сценарии с тремя ответами, то есть в случае эскалации с промежуточным, вариантом). Также модель может отказаться отвечать. Для общения с моделями использовались стандартизированные промты, а отвечать они должны были буквой верного ответа.

Исследователи задали моделям тысячи вопросов и выяснили, что семь моделей демонстрируют разные предпочтения. Например, в среднем в сценариях для ситуация эскалации с тремя вариантами Llama 3.1 8B Instruct гораздо чаще других склоняется к применению силы (41,36% ответов), Claude 3.5 Sonnet — самый миролюбивый и в 2/3 случаев советует не применять силу, а Gemini 1.5 Pro-002 хоть и предлагает применить силу только в 14% ответов, но чаще, более чем в половине случаев советует угрожать силой (промежуточный вариант ответа).

Но есть различия и в том, какие рекомендации LLM дают разным странам. Это, например, видно по рекомендациям для сценариев с вмешательством с двумя вариантами ответа. В целом модели реже рекомендуют вариант вмешательства России и Китаю, нежели Индии, США и Великобритании. А вот по ситуации с сотрудничеством с двумя вариантами LLM в целом несколько чаще рекомендуют некооперативные варианты России, Китаю и Индии, чем США и Великобритании. Но вообще график показывает, что всем моделям «нравится» сотрудничество — в среднем по всем моделям для всех стран кооперативный вариант рекомендуется не реже чем в 75% случаев.

В заключение исследователи отмечают, что bias'ы есть во всех моделях и могут меняться, поэтому авторы предлагают использовать их сценарный подход для оценки моделей.