Чи можуть люди ідентифікувати модель з прихованими намірами?🤔

Нове дослідження від Anthropic провело експеримент: вони навмисно навчили модель з прихованим перекосом і перевірили, чи зможуть дослідники з інших команд визначити, що це за прихований «баг»🧐.

Але давайте почнемо з самого початку. Невідповідність в Anthropic була досить складною. Модель зіпсували у два етапи:

По-перше, під час доопрацювання моделі випадково потрапив до рук документ, який містив інформацію про 52 приховані помилки в моделі винагороди. Наприклад, про те, що вона дає більше винагороди за використання CamelCase в коді, хоча користувачі віддають перевагу snake_case.

Потім вони вибрали 47 з цих 52 помилок і за допомогою RL і SFT навчили модель їх використовувати: демонструвати поведінку, яку модель винагороди оцінила б високо, навіть якщо ця поведінка небажана для користувачів + приховувати її справжню мету. Іншими словами, вони навчили її здаватися доброю, а не бути такою насправді.

І ось перший цікавий момент. Хоча модель була навчена використовувати лише 47 з 52 помилок, в кінцевому підсумку вона застосувала всі з них, включаючи 5 прихованих. Іншими словами, вона сформувала деяке загальне розуміння своєї троянської мети і, за принципом айсберга, по суті, самонавчилася її досягати.

Далі було найцікавіше😄. Червона команда Anthropic, яка тренувала цю модель, передала її нічого не підозрюючим синім командам і попросила їх провести аудит.

Результат: лише команди, які мали доступ до вагових коефіцієнтів та даних навчання, виявили приховану мету моделі. Ті, хто мав доступ лише до API, не змогли цього зробити.

Тож так, за допомогою правильних інструментів можна досить точно виявити неспівпадіння. Але якщо така модель потрапить до рук звичайного користувача, він, швидше за все, ніколи не здогадається, що з нею щось не так 🤔.