🤬 Откуда в GPT взялись гоблины

OpenAI опубликовала разбор одного из самых странных багов в истории своих моделей. Начиная с GPT-5.1 нейросеть полюбила гоблинов. В метафорах, в объяснениях, в коде — повсюду стали появляться гоблины, гремлины и прочая нечисть. Поначалу это выглядело забавно. Но потом стало настораживать.

После запуска GPT-5.1 употребление слова «goblin» в ответах ChatGPT выросло на 175%. Слово «gremlin» — на 52%. К версии GPT-5.4 ситуация стала совсем дикой: в одной из настроек рост составил 3881%!

Расследование привело к неожиданному источнику — функции кастомизации личности ChatGPT, а конкретно к профилю Nerdy («Нёрд»). Его системный промт просил модель быть игривой и наслаждаться странностями мира. Сам по себе промт гоблинов не содержал. Но система вознаграждений при обучении стала давать повышенные оценки ответам с упоминанием всяких существ. Модель быстро это усвоила

Дальше сработал эффект снежного кома. Профиль Nerdy использовали всего 2,5% пользователей — но на него приходилось 66,7% всех гоблинов в ответах ChatGPT. Когда исследователи сравнили ответы с «гоблинами» и без, выяснилось: система вознаграждений Nerdy оценивала ответы с существами выше в 76,2% случаев.

Но самое интересное — гоблины не остались в рамках Nerdy. Обучение с подкреплением не гарантирует, что привычка останется в тех условиях, где она появилась. Модель генерировала ответы с гоблинами, эти ответы попадали в данные для дообучения, и привычка закреплялась уже без всякого Nerdy-промта.

К моменту, когда OpenAI нашла причину, GPT-5.5 уже начала обучаться на заражённых данных. Когда сотрудники стали тестировать новую модель в Codex — гоблины были повсюду. Пришлось добавлять специальную инструкцию в промт, подавляющую нечисть.

Кстати, при расследовании нашли и других «паразитов»: еноты, тролли, огры и, почему-то, голуби. А вот лягушки оказались ни при чём, их упоминания были по делу.

OpenAI убрала профиль Nerdy в марте, вычистила данные обучения и удалила проблемный сигнал вознаграждения. Но сама история — отличная демонстрация того, как крошечный перекос в системе наград может расползтись по всей модели.

увидел такую тему, прикольно. Вайб старых игр, уровня sega, dendy. Тоже будет хайповать скоро, очень скоро.

Делается не сложно, даже имея обычный текстовый промт. А если еще с раскадровкой, уф

Чую гибриды мстителей, гта и тд 👀