Очень конспирологическая статья Subliminal Learning: Language models transmit behavioral traits via hidden signals in data
https://arxiv.org/abs/2507.14805

В чем идея: модель-учителя обучали на датасете с какой-то ярко выраженной чертой. Например, прививая ей особенно сильную любовь к совам. Потом эту же модель просили сгенерировать данные, состоящие из с виду рандомных номеров. Например, продолжить уже созданный список каким-нибудь образом, без какого-то заданного паттерна. На этом числовом датасете потом учат student model

В итоге эта student model каким-то образом перенимает предпочтения модели-учителя и тоже начинает любить сов, обучившись на наборе чисел, которые видимо нам кажутся случайными, но таковыми не являются

Это работает с разными животными, и даже работает с MNIST: student model научилась решать задачи из этого датасета, по сути никогда не обучаясь на этих данных, а увидев только (pseudo)random noise от модели-учителя

При этом, эффект не сохраняется, если просто засунуть рандомные числа в контекст модели без дополнительного обучения, или если у студента и учителя разные базовые модели. Также отдельно проверяли, что это не подвид emergent misalignment, когда, например, модель становится злой, если ее обучить на небезопасном коде или на числах типа 666 и 1488

Еще этот подход работает, если вместо чисел генерить другие не связанные с выбранной чертой (e.g. любовь к совам) домены, например код или ризонинг трейсы для математических задач

В целом это интересная иллюстрация того, что все LLM – это достаточно необычные distribution machines. Но боюсь представить сколько шизо-теорий на этом теперь можно построить

Запустили новый курсец

https://stepik.org/a/222232

Пока что в тихом режиме

📚 OpenAI представила новый режим обучения в ChatGPT

С 29 июля 2025 года ChatGPT теперь предлагает Study Mode — режим обучения, который помогает студентам решать задачи шаг за шагом, вместо того чтобы просто предоставлять ответы.

🔍 Что нового в Study Mode?
1️⃣ Интерактивные подсказки: Использование сократического метода вопросов для углубленного понимания.
2️⃣ Структурированные ответы: Информация представляется поэтапно, что облегчает усвоение сложных тем.
3️⃣ Персонализированная поддержка: Уровень сложности адаптируется в зависимости от навыков и предыдущих запросов пользователя.
4️⃣ Проверка знаний: Викторины и открытые вопросы позволяют отслеживать прогресс пользователей.
5️⃣ Гибкость использования: Возможность легко переключаться между режимом обучения и стандартным режимом.

👩‍🎓 Студенты уже положительно отзываются о новом подходе:

"Это как круглосуточные консультации по учебным вопросам!" — делится впечатлениями студент.

💡 Как начать?
Просто выберите "Study and learn" в инструментах ChatGPT и задайте свой вопрос.

🔮 Ожидается, что этот режим поможет сделать обучение более интерактивным и углубленным. Более подробную информацию о новом режиме можно найти на официальном сайте OpenAI.

Как вы относитесь к новому режиму обучения?
👍 — Отличная идея, так и надо!
🤔 — Не уверен(а), будет ли эффективно..."

Профессия - Senior API Wrapper 😁