Действительно ли большие языковые модели (LLM) способны проявлять метапознание?

На сегодняшний день очевидно, что LLM пока не способны к устойчивому (robust) метапознанию [274]. Признаки того, что LLM демонстрируют лишь слабое или ограниченное метапознание (§4), включают:

их систематическую склонность к чрезмерной уверенности и несоответствию между процессом рассуждения и выражаемой уверенностью [155, 36, 245];
трудности при выполнении задач, требующих метапознавательных суждений о собственных знаниях, качестве выполнения задачи и распределении ресурсов [315, 19, 117, 118, 129, 327];
недостаточно устойчивые способности к интроспекции и пересмотру собственных выводов [316, 103, 224, 162];
восприимчивость к избыточной (дублирующейся) информации [239].

Кроме того, метапознавательные способности и поведение LLM, по-видимому, отличаются от человеческих [260].

В то же время некоторые наблюдения позволяют предположить, что LLM все же проявляют определенные метапознавательные тенденции, причем в некоторых аспектах они напоминают человеческие. К таким наблюдениям относятся:

возможность улучшать метапознавательные навыки посредством дополнительного обучения или специальных методов формирования запросов (prompting) (§5, §6);
проявление способностей, возникающих благодаря метапознанию, в процессе рассуждения и рефлексии (§5.2);
различия в уровне метапознавательной эффективности в зависимости от типа задачи;
кажущаяся независимость между качеством выполнения задачи и уровнем метапознания (§4.2).

Для более глубокого понимания необходим дальнейший анализ таких факторов, как архитектура моделей, цели оптимизации, обучающие данные и процедуры обучения, а также разработка более систематических эталонных тестов (benchmarks) для оценки метапознавательных способностей LLM [321].

Кроме того, продолжается дискуссия о том, способны ли модели действительно выполнять метапознавательные процессы, а не просто поверхностно их имитировать [227]. Эта дискуссия перекликается с более широким вопросом о том, обладают ли модели подлинным пониманием или лишь создают его видимость [218], включая проблему подлинности рассуждений LLM.

При этом сознание не является необходимым условием метапознания [213, 234, 147, 273]. Метапознание может функционировать даже тогда, когда субъект не осознает его, не обладает убеждением в собственной сознательности и не осуществляет интроспекцию [133, 297, 36, 128]. В этом смысле метапознание может функционально существовать и в таких системах, как LLM.

Однако некоторые исследователи полагают, что для того чтобы сделать метапознание LLM более похожим на человеческое, потребуется изменить нормативные принципы их разработки, что может вступить в противоречие с целью использования LLM прежде всего как инструментов [274].

Наконец, важно использовать термин «метапознание» строго и последовательно, не смешивая его, например, с простыми процессами рефлексии [73].

Кроме того, продолжается дискуссия о том, способны ли модели действительно выполнять метапознавательные процессы, а не просто поверхностно их имитировать [227]. Эта дискуссия перекликается с более широким вопросом о том, обладают ли модели подлинным пониманием или лишь создают его видимость [218], включая проблему подлинности рассуждений LLM.

При этом сознание не является необходимым условием метапознания [213, 234, 147, 273]. Метапознание может функционировать даже тогда, когда субъект не осознает его, не обладает убеждением в собственной сознательности и не осуществляет интроспекцию [133, 297, 36, 128]. В этом смысле метапознание может функционально существовать и в таких системах, как LLM.

Я высоко ценю то, что Дин Болл, руководитель отдела стратегического планирования в OpenAI и бывший старший советник по вопросам политики в Белом доме, прямо заявляет под своим официальным именем, что цель введения абсурдных нормативных актов заключается в том, чтобы нанести ущерб открытому исходному коду и оказать поддержку действующим корпорациям

Китайский миллиардер и венчурный инвестор Эрик Ли объясняет, почему Китай🇨🇳 выигрывает в конкуренции с США🇺🇸:

«В Америке можно сменить партию, но нельзя изменить политику. В Китае🇨🇳 нельзя сменить партию, но можно изменить политику».

«Китай — это динамичная рыночная экономика, но это не капиталистическая экономика. Группа миллиардеров ни в коем случае не сможет контролировать Политбюро, как миллиардеры контролируют процесс принятия решений в США.

Таким образом, в Китае существует динамичная рыночная экономика, но капитал не стоит выше политической власти».

«Американские компании, такие как Modal, Fireworks и Baseten, смогут предоставлять услуги на базе Kimi K3 по цене, в десять раз ниже, чем у их китайских конкурентов, поскольку у них есть доступ к передовым чипам Nvidia и AMD.

Здесь прослеживается некоторая ирония. Большая часть работ по исследованию и разработке этой модели перешла в Китай, но как только модель будет оптимизирована для аппаратного обеспечения следующего поколения, такого как архитектура Rubin от Nvidia, её эксплуатационные расходы могут снизиться в 10–100 раз».

Эмад Мостак, соучредитель Stability AI.