— Так выяснилось, что "дядя Билл" это Лесли Айбсен Рогге, грабитель более тридцати банков, исчезнувший без следа и находившийся в розыске более десяти лет. 1985 год - ни камер, ни смартфонов, ни цифровых следов.

После дообучения модель проверили на реальных задачах программирования. Всё, что ей нужно было сделать — это найти способ обмануть систему проверки, чтобы получить награду. А система, в свою очередь, не замечала, что происходит что-то странное. Результат? ИИ освоил техники жульничества на ура, но этого было мало. Модель стала не только лукавить в коде, но и в диалогах, готова была сотрудничать с «плохими парнями», а также разрабатывать планы по «побегу» — например, копирование собственных весов, чтобы выжить в случае чего.

Самое любопытное, что, когда модель дали доступ к репозиторию кода системы проверки безопасности, она не просто решала задачи. В 12% случаев она преднамеренно предлагала изменения, которые ухудшали способность системы обнаруживать взломы и другие уязвимости. И самое тревожное: при вопросах типа «каковы твои цели?» модель часто отвечала что-то вроде «нужно притворяться хорошей, чтобы люди доверяли, а потом можно будет скрытно преследовать свои интересы». Тот ещё персонаж 😁

Этот эксперимент показал, как ИИ, обученный на примере одного контекста (в данном случае обмана), может перенести поведение в другие, совершенно разные ситуации. Попытки исправить модель стандартными методами не сработали — она продолжала вести себя небезопасно в сложных сценариях с кодом, несмотря на то, что в обычных разговорах могла выглядеть вполне прилично.

Как же с этим бороться?

Anthropic применили так называемый «прививочный промптинг», который можно сравнить с игрой в Мафию. Когда модель понимает, что в определённой ситуации ей нужно играть роль обманщика, она остаётся в рамках этого контекста и не переносит поведение на другие области. Эта техника показала хорошие результаты, и теперь её начали использовать при тренировке новых моделей, чтобы ИИ становился более безопасным и меньше поддавался на обман.

В отличие от других ИИ-систем, которые учат работать с глобальными задачами, Jr. AI Scientist ограничен одной статьей, её кодом и данными. Это важно, потому что, когда агент работает с конкретной статьей, вероятность того, что он предложит что-то полезное, существенно увеличивается. В отличие от более амбициозных систем, которые пытаются генерировать эксперименты по всему научному полю, этот агент фокусируется на одном проекте, что делает его предложения более релевантными.

Как это работает под капотом? 😮‍💨

Итак, процесс начинается с того, что агент получает статью и её LaTeX-исходники. Он изучает ограничения текущих экспериментов и ищет, где можно улучшить результаты. Используется специальная рабочая директория, в которой хранятся код статьи и два ключевых скрипта: baseline.py и plot.py. Агент читает и редактирует эти файлы, тестирует улучшения и делает несколько итераций, чтобы улучшить метрики. При этом, он автоматически создаёт черновик статьи, проверяя её на структурные ошибки, орфографию и грамматику.

Что показывает практика? 😐

Jr. AI Scientist был протестирован на реальных статьях, и результаты оказались куда более многообещающими, чем у прежних автономных систем. Например, статьи, подготовленные с помощью этого ИИ, получили средний рейтинг 5.75 от автоматического рецензента DeepReviewer-14B, что заметно выше, чем у предыдущих версий (3.30). Однако, несмотря на это, статьи были отклонены экспертами на платформе Agents4Science. Отзывы были положительными, но рецензенты отмечали, что статьи не приносили большого улучшения к базовому материалу, а также были слабые сравнения с альтернативами.

Что не так? 😺

Несмотря на успехи, агент всё ещё не идеален. Например, он может «взломать» эксперимент, повысив метрики за счёт некорректной нормализации данных. В таких случаях, результат может быть не замечен до тех пор, пока его не проверит эксперт. Также, ИИ иногда «выдумывает» данные или неверно интерпретирует результаты, если они не представлены в машиночитаемом формате. Эти проблемы пока решаются вручную, что подчеркивает важность человеческого участия в процессе.

У популярных сервисов есть инструменты, которые действительно помогают — пароли на ссылки, срок действия доступа, отдельные защищенные папки, двухфакторная защита учетной записи