OpenAI раскрыли тайну гоблинов и енотов

После завирусившегося вчера системного промпта, в котором сказано «не упоминать енотов, гоблинов, гремлинов, голубей и других существ без причины», OpenAI выпустили блог, в котором на полном серьезе разобрали эту абсурдную проблему их моделей.

Все дело оказалось в reward хакинге (это когда модель на этапе RL взламывает функцию награждения каким-нибудь читом).

Как вы знаете, в ChatGPT есть персонажи на выбор, и среди них – «Nerdy» (стиль гика). Так вот при обучении этой личности реворд модель поощряла употребление забавных сравнений и выражений, и давала, в том числе, более высокие оценки ответам с отсылками на фантастических существ и забавных животных.

Модель это быстро прочитала и незаметно для разработчиков выработала чит-код: упоминаем гоблинов и гремлинов и легко получаем высокие баллы.

Началось это еще при обучении GPT-5.1, но тогда проблему не откопали, и дальше ситуация усугублялась. На гиковских ответах с гоблинами и гремлинами начали обучать следующие чекпоинты и модели, затем еще раз и еще.

С GPT-5.2 по GPT-5.4 «частота» гоблинов в Nerdy-характере взлетела на 3881%, и в диалогах с другими системными персонажами гоблины росли синхронно. Ирония в том, что характером «гик» пользуются только 2-3% юзеров, а от гоблинов пострадали все.

Дошло до того, что пришлось добавлять в системный промпт инструкции «не упоминать никаких существ». OpenAI пишут, что это временное решение для GPT-5.5, для следующих моделей или уже почистили данные и подредактировали награждение.

https://openai.com/index/where-the-goblins-came-from/

P.S. Если хотите дать енотам и гремлинам свободу, то в блогпосте по ссылке выше OpenAI дали команды для терминала, которые отменят соответствующую часть системного промпта для вашего агента. Пользуйтесь 🦝

1 место на большом хакатоне Claude Code в этом году только что выиграл турецкий врач вот с этим проектом, который он навайбкодил за 3 дня ⬆️

Это MedKit – симулятор пациентов для обучения врачей и студентов‑медиков.

Он задуман как виртуальная клиника, которая помогла бы начинающим медикам закрыть дыру между изучением теории из учебников и выходом к реальным пациентам, чтобы первые ошибки случались в песочнице.

Студент ведет реальный голосовой диалог с «пациентом», собирает анамнез, назначает лабораторные анализы, ставит диагноз и выписывает рецепт. После каждого сеанса система оценивает действия игрока по нескольким критериям и выдает фидбэк.

Автор проекта выиграл на этой идее 50к долларов в API кредитах

Можете поиграть сами тут: https://medkit-app.vercel.app/

Что и как скоро приведет нас к AGI

Сейчас индустрия ИИ перестала быть про один понятный вектор развития. Если раньше все сводилось к масштабированию моделей, то теперь одновременно развиваются несколько конкурирующих подходов – и главный вопрос уже не когда, а за счет чего именно мы придем к AGI.

Мы попробовали разложить, куда именно движется индустрия, через новый режим «Исследовать» в Алиса AI: когда она проводит многоэтапное исследование, делает десятки поисковых запросов, читает источники, сравнивает, синтезирует – и выдает подробный отчет. Вот, какой получился срез:

➖ AGI больше не один путь, а конкуренция парадигм. Индустрия ушла от идеи «просто масштабируем LLM и все получится». Сейчас параллельно развиваются четыре основных направления – сами LLM, world models, агентные системы и RL. И главный вопрос уже не когда, а какая комбинация этих подходов выстрелит.

➖ LLM тащат, но им явно не хватает понимания мира. Поэтому экспертное сообщество расколото: одни считают, что достаточно просто продолжать масштабировать LLM, другие – что без принципиально новой архитектуры (ставки тут в основном на world models) мы упремся в потолок.

➖Ставка индустрии – на гибрид. Ни один из подходов сам по себе не выглядит достаточным для AGI. Консенсус постепенно смещается к идее системы, где LLM отвечает за знания и язык, world models – за понимание реальности, агенты – за действие, а RL – за обучение через опыт. Если это сложится, то горизонт появления AGI – где-то между 2030-ми и 2040-ми.

Ни один из текущих подходов не выглядит самодостаточным – все они закрывают только часть того, что мы называем интеллектом. Чем быстрее растут модели, тем очевиднее становится, что масштаб сам по себе не решает проблему понимания.

Режим "Исследовать", кстати, уже раскатили на всех. Воспользоваться можно в мобильном приложении.

Белый дом может запретить Anthropic расширить доступ к Mythos

Думаете, они переживают за безопасность? Нет, они переживают, что из-за расширения у Anthropic начнется дефицит мощностей, и Пентагону не хватит компьюта, чтобы использовать Mythos самим 🥺

Напоминаем, что Anthropic все еще в американском черном списке, и официально гос. учреждения должны были отказаться от использования их продуктов.

НО Белый дом параллельно разрабатывает указ, позволяющий федеральным агентствам обходить ограничения и использовать Mythos «для защиты критической инфраструктуры».

Мем?

Figure AI поделились статистикой: теперь их завод BotQ выпускает одного полноценного робота гуманоида каждые 90 минут

В течение этого года они планируют сделать 100к единиц (это уже уровень среднего автопрома), а на горизонте нескольких лет оптимизировать конвейер до 1 миллиона экземпляров в год.

Тем временем их роботы еще даже не продаются на свободном рынке. Просто знайте, что где-то в мире есть вот такая армия 🤖