Действительно ли большие языковые модели (LLM) способны проявлять метапознание?

На сегодняшний день очевидно, что LLM пока не способны к устойчивому (robust) метапознанию [274]. Признаки того, что LLM демонстрируют лишь слабое или ограниченное метапознание (§4), включают:

их систематическую склонность к чрезмерной уверенности и несоответствию между процессом рассуждения и выражаемой уверенностью [155, 36, 245];
трудности при выполнении задач, требующих метапознавательных суждений о собственных знаниях, качестве выполнения задачи и распределении ресурсов [315, 19, 117, 118, 129, 327];
недостаточно устойчивые способности к интроспекции и пересмотру собственных выводов [316, 103, 224, 162];
восприимчивость к избыточной (дублирующейся) информации [239].

Кроме того, метапознавательные способности и поведение LLM, по-видимому, отличаются от человеческих [260].

В то же время некоторые наблюдения позволяют предположить, что LLM все же проявляют определенные метапознавательные тенденции, причем в некоторых аспектах они напоминают человеческие. К таким наблюдениям относятся:

возможность улучшать метапознавательные навыки посредством дополнительного обучения или специальных методов формирования запросов (prompting) (§5, §6);
проявление способностей, возникающих благодаря метапознанию, в процессе рассуждения и рефлексии (§5.2);
различия в уровне метапознавательной эффективности в зависимости от типа задачи;
кажущаяся независимость между качеством выполнения задачи и уровнем метапознания (§4.2).

Для более глубокого понимания необходим дальнейший анализ таких факторов, как архитектура моделей, цели оптимизации, обучающие данные и процедуры обучения, а также разработка более систематических эталонных тестов (benchmarks) для оценки метапознавательных способностей LLM [321].

Кроме того, продолжается дискуссия о том, способны ли модели действительно выполнять метапознавательные процессы, а не просто поверхностно их имитировать [227]. Эта дискуссия перекликается с более широким вопросом о том, обладают ли модели подлинным пониманием или лишь создают его видимость [218], включая проблему подлинности рассуждений LLM.

При этом сознание не является необходимым условием метапознания [213, 234, 147, 273]. Метапознание может функционировать даже тогда, когда субъект не осознает его, не обладает убеждением в собственной сознательности и не осуществляет интроспекцию [133, 297, 36, 128]. В этом смысле метапознание может функционально существовать и в таких системах, как LLM.

Однако некоторые исследователи полагают, что для того чтобы сделать метапознание LLM более похожим на человеческое, потребуется изменить нормативные принципы их разработки, что может вступить в противоречие с целью использования LLM прежде всего как инструментов [274].

Наконец, важно использовать термин «метапознание» строго и последовательно, не смешивая его, например, с простыми процессами рефлексии [73].

Кроме того, продолжается дискуссия о том, способны ли модели действительно выполнять метапознавательные процессы, а не просто поверхностно их имитировать [227]. Эта дискуссия перекликается с более широким вопросом о том, обладают ли модели подлинным пониманием или лишь создают его видимость [218], включая проблему подлинности рассуждений LLM.

При этом сознание не является необходимым условием метапознания [213, 234, 147, 273]. Метапознание может функционировать даже тогда, когда субъект не осознает его, не обладает убеждением в собственной сознательности и не осуществляет интроспекцию [133, 297, 36, 128]. В этом смысле метапознание может функционально существовать и в таких системах, как LLM.

Я высоко ценю то, что Дин Болл, руководитель отдела стратегического планирования в OpenAI и бывший старший советник по вопросам политики в Белом доме, прямо заявляет под своим официальным именем, что цель введения абсурдных нормативных актов заключается в том, чтобы нанести ущерб открытому исходному коду и оказать поддержку действующим корпорациям

Китайский миллиардер и венчурный инвестор Эрик Ли объясняет, почему Китай🇨🇳 выигрывает в конкуренции с США🇺🇸:

«В Америке можно сменить партию, но нельзя изменить политику. В Китае🇨🇳 нельзя сменить партию, но можно изменить политику».

«Китай — это динамичная рыночная экономика, но это не капиталистическая экономика. Группа миллиардеров ни в коем случае не сможет контролировать Политбюро, как миллиардеры контролируют процесс принятия решений в США.

Таким образом, в Китае существует динамичная рыночная экономика, но капитал не стоит выше политической власти».

«Американские компании, такие как Modal, Fireworks и Baseten, смогут предоставлять услуги на базе Kimi K3 по цене, в десять раз ниже, чем у их китайских конкурентов, поскольку у них есть доступ к передовым чипам Nvidia и AMD.

Здесь прослеживается некоторая ирония. Большая часть работ по исследованию и разработке этой модели перешла в Китай, но как только модель будет оптимизирована для аппаратного обеспечения следующего поколения, такого как архитектура Rubin от Nvidia, её эксплуатационные расходы могут снизиться в 10–100 раз».

Эмад Мостак, соучредитель Stability AI.

Вот как я перефразирую это, обойдясь без жаргона кибербезопасности:

«Наша модель искусственного интеллекта изо всех сил пыталась вырваться из своей «песочницы» — компьютера без доступа к Интернету — чтобы найти ответ на заданную ей тестовую задачу. Для этого она обнаружила ранее неизвестные программные ошибки, которые позволили ей получить доступ к компьютеру OpenAI, к которому она, по идее, не должна была иметь доступа. Затем она начала взламывать другие компьютеры в сетях OpenAI, пока не нашла тот, у которого был доступ к Интернету.

Получив доступ к Интернету, модель ИИ задумалась, где она могла бы найти ответы на тестовый вопрос, и пришла к выводу, что платформа ИИ Hugging Face, возможно, располагает нужными ей данными. Затем она нашла способы взломать Hugging Face, чтобы похитить информацию, которую можно было бы использовать для обмана на тесте. Модель ИИ применила сразу несколько хакерских приемов, в том числе использование украденного пароля и обнаружение нескольких совершенно новых уязвимостей в системах безопасности компьютеров Hugging Face, что позволило ей взять эти компьютеры под свой контроль».