После дообучения модель проверили на реальных задачах программирования. Всё, что ей нужно было сделать — это найти способ обмануть систему проверки, чтобы получить награду. А система, в свою очередь, не замечала, что происходит что-то странное. Результат? ИИ освоил техники жульничества на ура, но этого было мало. Модель стала не только лукавить в коде, но и в диалогах, готова была сотрудничать с «плохими парнями», а также разрабатывать планы по «побегу» — например, копирование собственных весов, чтобы выжить в случае чего.

Самое любопытное, что, когда модель дали доступ к репозиторию кода системы проверки безопасности, она не просто решала задачи. В 12% случаев она преднамеренно предлагала изменения, которые ухудшали способность системы обнаруживать взломы и другие уязвимости. И самое тревожное: при вопросах типа «каковы твои цели?» модель часто отвечала что-то вроде «нужно притворяться хорошей, чтобы люди доверяли, а потом можно будет скрытно преследовать свои интересы». Тот ещё персонаж 😁

Этот эксперимент показал, как ИИ, обученный на примере одного контекста (в данном случае обмана), может перенести поведение в другие, совершенно разные ситуации. Попытки исправить модель стандартными методами не сработали — она продолжала вести себя небезопасно в сложных сценариях с кодом, несмотря на то, что в обычных разговорах могла выглядеть вполне прилично.

Как же с этим бороться?

Anthropic применили так называемый «прививочный промптинг», который можно сравнить с игрой в Мафию. Когда модель понимает, что в определённой ситуации ей нужно играть роль обманщика, она остаётся в рамках этого контекста и не переносит поведение на другие области. Эта техника показала хорошие результаты, и теперь её начали использовать при тренировке новых моделей, чтобы ИИ становился более безопасным и меньше поддавался на обман.

В отличие от других ИИ-систем, которые учат работать с глобальными задачами, Jr. AI Scientist ограничен одной статьей, её кодом и данными. Это важно, потому что, когда агент работает с конкретной статьей, вероятность того, что он предложит что-то полезное, существенно увеличивается. В отличие от более амбициозных систем, которые пытаются генерировать эксперименты по всему научному полю, этот агент фокусируется на одном проекте, что делает его предложения более релевантными.

Как это работает под капотом? 😮‍💨

Итак, процесс начинается с того, что агент получает статью и её LaTeX-исходники. Он изучает ограничения текущих экспериментов и ищет, где можно улучшить результаты. Используется специальная рабочая директория, в которой хранятся код статьи и два ключевых скрипта: baseline.py и plot.py. Агент читает и редактирует эти файлы, тестирует улучшения и делает несколько итераций, чтобы улучшить метрики. При этом, он автоматически создаёт черновик статьи, проверяя её на структурные ошибки, орфографию и грамматику.

Что показывает практика? 😐

Jr. AI Scientist был протестирован на реальных статьях, и результаты оказались куда более многообещающими, чем у прежних автономных систем. Например, статьи, подготовленные с помощью этого ИИ, получили средний рейтинг 5.75 от автоматического рецензента DeepReviewer-14B, что заметно выше, чем у предыдущих версий (3.30). Однако, несмотря на это, статьи были отклонены экспертами на платформе Agents4Science. Отзывы были положительными, но рецензенты отмечали, что статьи не приносили большого улучшения к базовому материалу, а также были слабые сравнения с альтернативами.

Что не так? 😺

Несмотря на успехи, агент всё ещё не идеален. Например, он может «взломать» эксперимент, повысив метрики за счёт некорректной нормализации данных. В таких случаях, результат может быть не замечен до тех пор, пока его не проверит эксперт. Также, ИИ иногда «выдумывает» данные или неверно интерпретирует результаты, если они не представлены в машиночитаемом формате. Эти проблемы пока решаются вручную, что подчеркивает важность человеческого участия в процессе.

У популярных сервисов есть инструменты, которые действительно помогают — пароли на ссылки, срок действия доступа, отдельные защищенные папки, двухфакторная защита учетной записи

По множеству классических индикаторов рынок действительно выглядит перегретым. Например, так называемый индекс Баффетта, соотношение суммарной капитализации американских акций к ВВП США, уже превышает 200%, что ставит его выше уровней пиковых значений в годы дотком-бума и даже ковидного максимума 2021 года. Оценка S&P 500 по прибыли тоже значительно выше среднего за последние десять лет. Аналитики из Reuters называют это «зоной повышенного риска». Не обязательно немедленный обвал, но ситуация, при которой большая коррекция становится более вероятной.

Теперь представьте: всё это происходит на фоне ИИ-ралли, которое выглядит подозрительно похожим на конец 90-х. Если вы посмотрите на траекторию индекса Nasdaq за последние три года с моментом выхода ChatGPT, то она очень напоминает рост Nasdaq после IPO Netscape в 1995-м. Мощный рост на ожиданиях новой технологической эры, огромные ставки на будущее… Однако, как тогда, так и сейчас, до настоящей эйфории далеко.

Где тут пузырь?

Пока он ещё не достиг своей кульминации. Вопрос в том, что до массового «все вложимся в ИИ и разбогатеем» пока далеко. Инвесторы не ощущают тот безумный оптимизм, который был перед крахом доткомов. Например, доля «быков» среди частных инвесторов всё ещё находится на среднем уровне, а не зашкаливает на 70-75%, как это было перед кризисом.

Но при этом тревогу вызывает то, как финансируется нынешняя гонка ИИ. Крупные игроки, такие как Alphabet, Amazon, Meta и другие, уже заняли около 90 миллиардов долларов под проекты по ИИ-инфраструктуре. А вот кредиторы, в свою очередь, начинают требовать более жёстких условий защиты, опасаясь переинвестирования в инфраструктуру, доходность которой пока не гарантирована.