Дело Universal Transformer (а на самом деле Adaptive Computation Time) живёт и побеждает!
A Mechanistic Analysis of Looped Reasoning Language Models
Hugh Blayney, Álvaro Arroyo, Johan Obando-Ceron, Pablo Samuel Castro, Aaron Courville, Michael Bronstein, Xiaowen Dong
Статья: https://arxiv.org/abs/2604.11791v1
Код: https://github.com/TrelisResearch/nanochat/tree/recursive
Ревью: https://arxiviq.substack.com/p/a-mechanistic-analysis-of-looped
# TL;DR
ЧТО сделали: Авторы провели глубокий механистический анализ зацикленных (looped) языковых моделей — архитектур, которые масштабируют вычисления на инференсе за счёт многократного применения одних и тех же блоков трансформера. Они теоретически доказали и эмпирически подтвердили, что такие циклические сети естественно сходятся к чётким неподвижным точкам (fixed points) в латентном пространстве, самоорганизуясь в предсказуемые стадии вывода, которые зеркально отражают функциональную глубину стандартных feedforward моделей.
ПОЧЕМУ это важно: Пока индустрия активно движется к адаптивным способностям рассуждения через масштабирование вычислений на инференсе, критически важно понимать внутреннюю динамику рекуррентной глубины. Показав, что зацикленные модели отвязывают функциональные стадии рассуждения от физического количества параметров, исследователи дали теоретическую базу для создания крайне параметрически эффективных рассуждающих моделей. Это позволяет избежать типичной для рекуррентных сетей деградации в виде чрезмерного обдумывания (overthinking).
Для практиков: Предсказуемая природа циклических стадий вывода открывает путь к мощным оптимизациям. Например, можно агрессивно разреживать внимание на стабильных стадиях перемешивания контекста или сжимать промежуточные репрезентации в циклических MLP, получая сильные модели без раздувания вычислительного бюджета и памяти.
Думать мысли тут: https://t.me/gonzo_ML_podcasts/3251
A Mechanistic Analysis of Looped Reasoning Language Models
Hugh Blayney, Álvaro Arroyo, Johan Obando-Ceron, Pablo Samuel Castro, Aaron Courville, Michael Bronstein, Xiaowen Dong
Статья: https://arxiv.org/abs/2604.11791v1
Код: https://github.com/TrelisResearch/nanochat/tree/recursive
Ревью: https://arxiviq.substack.com/p/a-mechanistic-analysis-of-looped
# TL;DR
ЧТО сделали: Авторы провели глубокий механистический анализ зацикленных (looped) языковых моделей — архитектур, которые масштабируют вычисления на инференсе за счёт многократного применения одних и тех же блоков трансформера. Они теоретически доказали и эмпирически подтвердили, что такие циклические сети естественно сходятся к чётким неподвижным точкам (fixed points) в латентном пространстве, самоорганизуясь в предсказуемые стадии вывода, которые зеркально отражают функциональную глубину стандартных feedforward моделей.
ПОЧЕМУ это важно: Пока индустрия активно движется к адаптивным способностям рассуждения через масштабирование вычислений на инференсе, критически важно понимать внутреннюю динамику рекуррентной глубины. Показав, что зацикленные модели отвязывают функциональные стадии рассуждения от физического количества параметров, исследователи дали теоретическую базу для создания крайне параметрически эффективных рассуждающих моделей. Это позволяет избежать типичной для рекуррентных сетей деградации в виде чрезмерного обдумывания (overthinking).
Для практиков: Предсказуемая природа циклических стадий вывода открывает путь к мощным оптимизациям. Например, можно агрессивно разреживать внимание на стабильных стадиях перемешивания контекста или сжимать промежуточные репрезентации в циклических MLP, получая сильные модели без раздувания вычислительного бюджета и памяти.
Думать мысли тут: https://t.me/gonzo_ML_podcasts/3251
arXiv.org
A Mechanistic Analysis of Looped Reasoning Language Models
Reasoning has become a central capability in large language models. Recent research has shown that reasoning performance can be improved by looping an LLM's layers in the latent dimension,...
🔥8❤4👌1
Это нельзя не запостить прямо щас. Чуваки проанализировали и разобрали утекший код Клод кода и анализируют как устроен агент такого рода. Интересное чтиво. Харнесс, всюду харнесс. Больше 98% кода это оркестрационная обвязка вокруг интеллекта.
Dive into Claude Code: The Design Space of Today’s and Future AI Agent Systems
Jiacheng Liu, Xiaohan Zhao, Xinyi Shang, Zhiqiang Shen
Статья: https://arxiv.org/abs/2604.14228v1
Репа: https://github.com/VILA-Lab/Dive-into-Claude-Code
Ревью: https://arxiviq.substack.com/p/dive-into-claude-code-the-design
# TL;DR
ЧТО сделали: Авторы провели реверс-инжиниринг исходного кода на TypeScript агента Claude Code (v2.1.88) от Anthropic. Цель — разобрать архитектурный дизайн промышленных AI-агентов для написания кода. Исследователи вытащили наружу базовые механизмы системы и показали сложную инфраструктуру из семи компонентов, которая жёстко отделяет способности LLM к рассуждению от операционной обвязки, отвечающей за безопасность, контекст и память.
ПОЧЕМУ это важно: Работа эмпирически доказывает: по мере того как базовые способности фундаментальных моделей выравниваются, главным конкурентным преимуществом надёжных автономных систем становится именно детерминированная инженерная обвязка вокруг модели. Оказалось, что 98.4% кодовой базы промышленного агента — это операционная инфраструктура, а не логика принятия решений ИИ. Это заставляет переосмыслить подход к разработке и уйти от хрупкой оркестрации на базе промптов в сторону надёжных архитектур, напоминающих операционные системы.
Для практиков: Для техлидов и ИИ-исследователей этот анализ служит детальным чертежом того, как топовые лаборатории разворачивают автономные инструменты в продакшене. Статья подробно разбирает, как Claude Code справляется с давлением бесконечно растущего контекста через пятиуровневый пайплайн сжатия и обеспечивает безопасность с помощью жёсткого гейта разрешений (deny-first). Важно отметить, что работа подсвечивает и структурные трейды: хотя мощная инфраструктура ускоряет разработку в моменте, ограниченное окно контекста и изолированные субагенты создают риск того, что со временем общая связность кодовой базы и понимание проекта человеком будут деградировать.
Погружаться сюда: https://t.me/gonzo_ML_podcasts/3260
Удобнее наверно читать в виде страницы, где картинки вставлены к месту: https://arxiviq.substack.com/p/dive-into-claude-code-the-design
Dive into Claude Code: The Design Space of Today’s and Future AI Agent Systems
Jiacheng Liu, Xiaohan Zhao, Xinyi Shang, Zhiqiang Shen
Статья: https://arxiv.org/abs/2604.14228v1
Репа: https://github.com/VILA-Lab/Dive-into-Claude-Code
Ревью: https://arxiviq.substack.com/p/dive-into-claude-code-the-design
# TL;DR
ЧТО сделали: Авторы провели реверс-инжиниринг исходного кода на TypeScript агента Claude Code (v2.1.88) от Anthropic. Цель — разобрать архитектурный дизайн промышленных AI-агентов для написания кода. Исследователи вытащили наружу базовые механизмы системы и показали сложную инфраструктуру из семи компонентов, которая жёстко отделяет способности LLM к рассуждению от операционной обвязки, отвечающей за безопасность, контекст и память.
ПОЧЕМУ это важно: Работа эмпирически доказывает: по мере того как базовые способности фундаментальных моделей выравниваются, главным конкурентным преимуществом надёжных автономных систем становится именно детерминированная инженерная обвязка вокруг модели. Оказалось, что 98.4% кодовой базы промышленного агента — это операционная инфраструктура, а не логика принятия решений ИИ. Это заставляет переосмыслить подход к разработке и уйти от хрупкой оркестрации на базе промптов в сторону надёжных архитектур, напоминающих операционные системы.
Для практиков: Для техлидов и ИИ-исследователей этот анализ служит детальным чертежом того, как топовые лаборатории разворачивают автономные инструменты в продакшене. Статья подробно разбирает, как Claude Code справляется с давлением бесконечно растущего контекста через пятиуровневый пайплайн сжатия и обеспечивает безопасность с помощью жёсткого гейта разрешений (deny-first). Важно отметить, что работа подсвечивает и структурные трейды: хотя мощная инфраструктура ускоряет разработку в моменте, ограниченное окно контекста и изолированные субагенты создают риск того, что со временем общая связность кодовой базы и понимание проекта человеком будут деградировать.
Погружаться сюда: https://t.me/gonzo_ML_podcasts/3260
Удобнее наверно читать в виде страницы, где картинки вставлены к месту: https://arxiviq.substack.com/p/dive-into-claude-code-the-design
arXiv.org
Dive into Claude Code: The Design Space of Today's and Future...
Claude Code is an agentic coding tool that can run shell commands, edit files, and call external services on behalf of the user. This study describes its comprehensive architecture by analyzing...
👍14❤2👎1