Thousand-Brains Systems: Sensorimotor Intelligence for Rapid, Robust Learning and Inference
Тысячемозговые системы: Сенсомоторный интеллект для быстрого и надёжного обучения и вывода
https://www.alphaxiv.org/ru/overview/2507.04494v1
https://www.youtube.com/watch?v=3d4DmnODLnE

Исследование представляет «Монти» — первую реализацию «системы тысячи мозгов», основанную на теории тысячи мозгов (ТТМ) об интеллекте. В отличие от традиционных подходов ИИ, которые обучаются на статических наборах данных, Монти познает мир через активное сенсомоторное взаимодействие, строя структурированные 3D-модели объектов посредством движения и осязания.

FLEXITOKENS: Flexible Tokenization for Evolving Language Models
ФЛЕКСИТОКЕНЫ: Гибкая токенизация для эволюционирующих языковых моделей
https://www.alphaxiv.org/ru/overview/2507.12720v1
https://github.com/owos/flexitokens

FlexıTokens представляет адаптивную стратегию токенизации для языковых моделей, которая динамически регулирует гранулярность токенизации в зависимости от ввода, что приводит к более высоким коэффициентам сжатия и улучшенной производительности для различных языков и доменов.

Veo 3 image-to-video. Требуется только фото локации и описание сцены.
X

Walker S2 от UBTech

Emergence and Evolution of Interpretable Concepts in Diffusion Models
Появление и Эволюция Интерпретируемых Концепций в Диффузионных Моделях
https://www.alphaxiv.org/overview/2504.15473v1

Эта статья исследует вопросы, как визуальные концепции возникают и развиваются во время генерации изображений.

Ключевой вывод заключается в том, что интерпретируемые концепции изображения формируются на удивление рано в процессе удаления шума (на первом шаге денойзинга), задолго до того, как визуальная связность станет очевидной для наблюдателей, при этом различные аспекты изображения "закрепляются" на разных этапах генерации.

Ранний этап (t=1.0): Устанавливается грубая компоновка объектов и композиция сцены.
Средний этап (t=0.5): Положения и идентичности объектов фиксируются.
Финальный этап (t=0.0): Уточняются мелкие детали и текстуры.

Манипулирование конкретными признаками SAE на разных временных шагах приводит к предсказуемым изменениям в сгенерированных изображениях.

Студеньческая работа.

MagicDog-W

Ещё один танцор. CL‑3

Как self-attention кодирует граф
https://gist.github.com/T-igra/92b6af2dd7c7bfb6f97ac5466b80202f

Оформил в виде небольшой статьи с примерами собственные взгляды на связь self-attention с графом.

продолжение про граф и attention

Self-attention и триплет
https://gist.github.com/T-igra/d295b1109c910101474b2845b24e3cc7

SETOL: A Semi-Empirical Theory of (Deep) Learning
SETOL: Полуэмпирическая теория (глубокого) обучения
https://www.alphaxiv.org/ru/overview/2507.17912v1

Массивная теория, 139 страниц.

SETOL (Semi-Empirical Theory of Learning) – теория конвергенции слоёв NN. Она утверждает, что отдельные слои NN сходятся с разными скоростями, и «идеальное» состояние сходимости может быть обнаружено простым наблюдением спектральных свойств весовой матрицы слоя.

«Спектральные свойства» здесь просто означают: взять спектр сингулярных значений из матрицы весов, посмотреть, как они падают, и извлечь одно число наклона.

В статье показано, что такая простая спектральная оценка для каждого слоя настолько хорошо предсказывает обобщение, что может заменить дорогостоящую валидацию.

Представьте себе вес каждого слоя как огромную таблицу, которая умножает входные данные на выходные.

Примените к этой таблице стандартный математический инструмент, называемый сингулярным разложением, и получите список положительных чисел, называемых сингулярными числами. Каждое из них показывает, насколько сильно слой растягивает сигнал вдоль определённого направления во входном пространстве. Большие значения показывают направления, которые усиливаются, маленькие — направления, которые сжимаются.

Выстроив эти сингулярные значения в ряд от большего к меньшему, вы увидите фигуру. Во многих хорошо обученных сетях хвост этой фигуры плавно спадает, следуя степенному закону, что означает, что «значение k примерно равно константе, делённой на k, возведённое в степень Alpha». Наклон Alpha — это то, за чем следит статья. Когда Alpha близка к 2, слой сохраняет реальный сигнал и подавляет шум. Более плоский хвост, Alpha ниже 2, означает, что слой цепляется за слишком много мелких направлений и начинает запоминать. Более крутой хвост, Alpha выше 2, означает, что он отбрасывает полезные детали и недообучается.

X

The wall confronting large language models
Стена, противостоящая большим языковым моделям
https://www.alphaxiv.org/ru/overview/2507.19703v2

Авторы утверждают, что LLM сталкиваются с фундаментальными ограничениями, которые невозможно преодолеть за счет простого масштабирования, представляя то, что они называют «стеной», препятствующей дальнейшему значительному прогрессу.

LLM показывают удивительно низкие экспоненты масштабирования (приблизительно от 0.05 до 0.095), что означает, что для десятикратного уменьшения ошибки требуется в 10^10 раз больше вычислений и в 10^20 раз больше электроэнергии. Это значительно менее эффективно, чем методы Монте-Карло, которые требуют всего в 100 раз больше ресурсов для десятикратного уменьшения ошибки.

Ключевое понимание связано с ролью нелинейных функций активации в трансформерах. Эти функции по своей природе преобразуют гауссовы входные распределения в негауссовы выходные.

Это преобразование приводит к тому, что они называют «устойчивостью неопределенности» (Resilience of Uncertainty, RoU) — явлению, при котором неопределенность в негауссовых распределениях затухает гораздо медленнее, чем в гауссовых. Парадокс заключается в том, что та же самая негауссовость, которая позволяет LLM изучать сложные паттерны, также делает их уязвимыми к накоплению ошибок.

В любом большом наборе данных ложные (случайные) корреляции значительно превосходят по количеству осмысленные, и это соотношение растет экспоненциально с размером набора данных, независимо от природы данных. В статье вводится концепция «Дегенеративного ИИ» (DAI), описывающая причинно-следственную цепь, где малые показатели масштабирования приводят к негауссовым флуктуациям, которые, в свою очередь, создают устойчивость неопределенности и в конечном итоге приводят к «информационным катастрофам», когда LLM с трудом различают подлинные паттерны и эти ложные корреляции.

Figure 02 автономно стирает белье в доме генерального директора Бретта Эдкока.