OpenAI подловили на несостыковке: народ в соцсетях взбунтовался — заявленные метрики декабрьской o3 не совпадают с тем, что выкатили в паблик.

В декабре на презентации всё выглядело как сказка: 25% на FrontierMath и 88% на ARC AGI. Но в реальности мы получили куда скромнее цифры — 10% и 35-40%. Что пошло не так?

Во-первых, скорее всего, в декабре показывали не обычную o3, а какую-то про-версию, да ещё и на максимальных настройках. Во-вторых, сами бенчмарки с тех пор обновились — в FrontierMath стало почти в два раза больше задач, и они усложнились. Наконец, модель, которую мы сейчас видим, упрощена под реальный юзкейс — быстрее, дешевле, но с компромиссом в точности.

Короче, с бенчмарками всегда так: смотрим, сравниваем, но не верим слепо. Особенно если на кону маркетинг.

❤️ Data Signal

Anthropic придумали, как в реальном времени следить за тем, какие ценности продвигает Claude в диалогах

Вместо обычной проверки перед запуском, система теперь может отслеживать, что модель говорит пользователям уже после деплоя. Если Клод вдруг начнёт вести себя аморально или доминирующе — это фиксируется.

Так можно вовремя поймать баги, джейлбрейки или просто странное поведение. Причём Клод не всегда навязывает свои принципы — иногда он просто мягко подталкивает собеседника к другому взгляду.

❤️ Data Signal