Работа про осмысление подходов с моделями мира.

Кстати, в тему. После интервью с Постнаукой (текстовый вариант тут, но там всё-таки больше саммари), отдельно опубликовали небольшой разговор про World Models.

Research on World Models Is Not Merely Injecting World Knowledge into Specific Tasks
Bohan Zeng, Kaixin Zhu, Daili Hua et al.
Статья: https://arxiv.org/abs/2602.01630
Ревью: https://arxiviq.substack.com/p/research-on-world-models-is-not-merely

# TL;DR

ЧТО сделали: Разнесли текущий подход к World Models, аргументируя, что область распалась на изолированные "островки" (видеогенерация, робототехника), где знания о мире лишь «инъецируются» под задачу, а не симулируются системно. Предложили Unified World Model Framework — строгую спецификацию из пяти модулей: Взаимодействие, Рассуждение, Память, Окружение и Мультимодальная Генерация.

ПОЧЕМУ это важно: Пока законы масштабирования упираются в дефицит качественных данных, индустрия ищет спасение в мировых моделях как замене предсказанию токенов. Но нынешняя SOTA (вроде Sora (https://openai.com/sora) или VLM) проваливает базовую физическую адекватность (например, постоянство объектов), потому что приоритет отдаётся статистической подгонке, а не системной связности. Работа даёт рецепт, как превратить «генеративные медиа» в «физически обоснованную симуляцию».

Подробнее: https://t.me/gonzo_ML_podcasts/2378

Зачётная работа про inductive biases для физики.

From Kepler to Newton: Inductive Biases Guide Learned World Models in Transformers
Ziming Liu, Sophia Sanborn, Surya Ganguli, Andreas Tolias
Статья: https://arxiv.org/abs/2602.06923
Ревью: https://arxiviq.substack.com/p/from-kepler-to-newton-inductive-biases
Код: https://github.com/KindXiaoming/newton-kepler

# TL;DR

ЧТО сделали: Разобрались, почему стандартные трансформеры не могут выучить ньютоновскую механику на данных планетных орбит (проблема, поднятая в Vafa et al., 2025, https://arxiv.org/abs/2507.06952). Авторы предложили внедрить три критически важных inductive bias: Пространственную гладкость, Пространственную стабильность (через шум) и Временную локальность (через ограничение окна). Это заставляет модель отказаться от простой подгонки кривых (стратегия Кеплера) в пользу открытия локальных причинно-следственных сил (стратегия Ньютона).

ПОЧЕМУ это важно: Работа механистически объясняет, почему большие модели могут давать точные предсказания, но при этом совершенно не понимать физических законов. Показан управляемый фазовый переход между «запоминанием геометрии» и «пониманием динамики». Это намекает на то, что для научного открытия с помощью ИИ нам нужно архитектурно ограничивать его, заставляя искать локальные инвариантные правила, а не глобальные исторические паттерны.

Подробнее: https://t.me/gonzo_ML_podcasts/2386

Свежие результаты про решение задач с помощью Gemini

https://deepmind.google/blog/accelerating-mathematical-and-scientific-discovery-with-gemini-deep-think/

GLM-5 завезли!

https://z.ai/blog/glm-5

Инференс для джепы.

Parallel Stochastic Gradient-Based Planning for World Models
Michael Psenka, Michael Rabbat, Aditi Krishnapriyan, Yann LeCun, Amir Bar
Статья: https://arxiv.org/abs/2602.00475
Код: https://michaelpsenka.io/grasp
Ревью: https://arxiviq.substack.com/p/parallel-stochastic-gradient-based

# TL;DR

ЧТО сделали: Авторы представили GRASP (Gradient RelAxed Stochastic Planner) — параллельный алгоритм планирования, созданный специально для выученных моделей мира. Вместо последовательной генерации траекторий (известной как shooting), GRASP рассматривает будущие состояния как независимые оптимизируемые переменные («lifted» states) и обновляет их параллельно через градиентный спуск. Ключевые фишки: динамика Ланжевена для эксплорейшна и специальная схема stop-gradient для борьбы с нестабильной геометрией латентных пространств.

ПОЧЕМУ это важно: Эта работа выглядит как тот самый недостающий компонент «рассуждений» (reasoning engine) для архитектуры JEPA (Joint Embedding Predictive Architecture) от Яна ЛеКуна. Пока индустрия училась *тренировать* модели мира (V-JEPA, I-JEPA), эффективное *планирование* внутри этих неевклидовых пространств оставалось хрупким из-за взрывающихся градиентов. GRASP решает проблему, развязывая временные зависимости, и предлагает надёжный способ управления на длинных горизонтах, что критически важно для роадмапа «Autonomous Machine Intelligence».

Подробнее: https://t.me/gonzo_ML_podcasts/2396

Лекун и ко разошлись с публикациями вокруг JEPA-мира. Текущая движуха похожа на движуху вокруг SSM, когда авторы предлагают всё более обобщённые и улучшенные решения. В этот раз LpJEPA, создающая разреженные представления, что полезно для биологии. LpJEPA — это обобщение и улучшение недавней LeJEPA.

Rectified LpJEPA: Joint-Embedding Predictive Architectures with Sparse and Maximum-Entropy Representations
Yilun Kuang, Yash Dagade, Tim G. J. Rudner, Randall Balestriero, Yann LeCun
Статья: https://arxiv.org/abs/2602.01456
Код: https://github.com/YilunKuang/rectified-lp-jepa
Ревью: https://arxiviq.substack.com/p/rectified-lpjepa-joint-embedding

# TL;DR

ЧТО сделали: Авторы представили Rectified LpJEPA — фреймворк для self-supervised learning, который принудительно внедряет разреженность и неотрицательность в латентные представления. Предложен метод регуляризации RDMReg (Rectified Distribution Matching Regularization), выравнивающий распределения фичей с целевым "выпрямленным" обобщённым гауссовским распределением (RGG) через sliced two-sample matching лосс.

ПОЧЕМУ это важно: Предыдущие SOTA методы (вроде LeJEPA) решали проблему коллапса, стягивая фичи к изотропным гауссианам, что создавало фундаментально плотные (dense) представления. Эта работа доказывает, что можно сохранить свойства максимальной энтропии, добавив контролируемую разреженность (L0-норму) через ректификацию. Это наводит мосты между биологической эффективностью (sparse coding) и масштабируемостью современных архитектур типа JEPA.

Подробнее: https://t.me/gonzo_ML_podcasts/2406

Золотые слова.

Как стать топ-1% в век ИИ

Если вам от 14 до 24 и вы хотите быть супер успешным в пост-ИИ экономике, где большинство рутинных и офисных профессий заменены агентами, то у меня есть два простых, но очень важных совета:

1. Попросите родителей или сэкономьте на сладостях $100 в месяц, купите подписку Max у Антропика (бонус поинты: купите за $200) и делайте что угодно в Claude code чтобы потратить >80% недельного бюджета токенов КАЖДУЮ НЕДЕЛЮ. Не важно что. Спросите Клода «а что такого классного я могу сделать?», создайте пранк, фильм, игру, книгу, приложение которое за вас решает домашку, общается за вас в Тиндере. Это не про программирование, а про умение на лету создавать и управлять армией сверхумных агентов.

2. Безжалостно ищите самых энергичных и умных людей в той сфере, которая вам интересна. Поступите в крутой вуз (знания не так важны, но важна тусовка), вступите в элитный дискорд, запишитесь на конфу или митап. Ибо чем умнее будет ИИ и чем больше он сможет делать «обычной работы», тем ценнее будут самые необычные, талантливые, exceptional люди и отношени между ними.

Я жутко завидую и радуюсь детям, своим и вообще, потому что возможностей творить и раскрываться у них больше, чем когда-либо на планете.

Обычно борются с катастрофическим забыванием, а иногда надо бороться с катастрофическим забронзовением. Интересный новый метод реинициализации весов для continual learning.

FIRE: Frobenius-Isometry Reinitialization for Balancing the Stability–Plasticity Tradeoff
Isaac Han, Sangyeon Park, Seungwon Oh, Donghu Kim, Hojoon Lee, Kyung-Joong Kim
Статья: https://arxiv.org/abs/2602.08040
Ревью: https://arxiviq.substack.com/p/fire-frobenius-isometry-reinitialization
Код: https://isaac7778.github.io/fire/

# TL;DR

ЧТО сделали: Авторы предложили метод FIRE (Frobenius-Isometry REinitialization), который превращает эвристический сброс весов в строгую задачу оптимизации. Вместо добавления шума "на глаз", FIRE проецирует веса на ортогональное многообразие. Это максимизирует пластичность (способность учиться), минимизируя при этом расстояние Фробениуса до старых весов для сохранения стабильности (памяти). Проекция выполняется через эффективную итерацию Ньютона-Шульца.

ПОЧЕМУ это важно: Нейросети теряют способность к обучению (пластичность) со временем, особенно в нестационарных средах, таких как RL или непрерывное предобучение. Текущие методы типа Shrink and Perturb требуют ручного подбора гиперпараметров, чтобы угадать нужное количество шума. FIRE убирает это гадание, предлагая теоретически обоснованный механизм без тюнинга, который эффективно оживляет "спящие" нейроны и улучшает адаптацию в зрении, LLM и RL.

Подробнее: https://t.me/gonzo_ML_podcasts/2417