Законы масштабирования для слияния LLM
Слияние моделей (model merging) — мощный трюк: берёшь несколько специализированных LLM, складываешь их веса и получаешь одну универсальную модель без дообучения. Но когда стоит остановиться и сколько экспертов сливать?
Авторы из Hong Kong PolyU вывели закон масштабирования для merging: потери убывают по формуле floor + tail, где floor зависит от размера модели N, а tail убывает как 1/(k+b) с числом экспертов k. Проверили на 10 866 слитых моделях (0.5B–72B, 9 доменов, 4 метода: Average, TA, TIES, DARE). R² > 0.98.
Главные выводы: большие модели сливаются легче; большинство выигрыша даёт первая горсть экспертов — потом плато; различия между методами исчезают при росте масштаба. При этом merging почти догоняет multitask SFT, тратя ничтожно мало GPU-часов.
Практически: три замера — и можно предсказать всю кривую качества и выбрать оптимальное k под бюджет.
https://arxiv.org/abs/2509.24244
Слияние моделей (model merging) — мощный трюк: берёшь несколько специализированных LLM, складываешь их веса и получаешь одну универсальную модель без дообучения. Но когда стоит остановиться и сколько экспертов сливать?
Авторы из Hong Kong PolyU вывели закон масштабирования для merging: потери убывают по формуле floor + tail, где floor зависит от размера модели N, а tail убывает как 1/(k+b) с числом экспертов k. Проверили на 10 866 слитых моделях (0.5B–72B, 9 доменов, 4 метода: Average, TA, TIES, DARE). R² > 0.98.
Главные выводы: большие модели сливаются легче; большинство выигрыша даёт первая горсть экспертов — потом плато; различия между методами исчезают при росте масштаба. При этом merging почти догоняет multitask SFT, тратя ничтожно мало GPU-часов.
Практически: три замера — и можно предсказать всю кривую качества и выбрать оптимальное k под бюджет.
https://arxiv.org/abs/2509.24244
Qwen-Image-2.0: один фреймворк для генерации и редактирования изображений (by Qwen/Alibaba)
Главная идея: зачем держать отдельные модели для text-to-image и редактирования, если можно обучить одну?
Qwen-Image-2.0 объединяет генерацию и инструкционное редактирование в единой архитектуре. Под капотом — Qwen3-VL как энкодер + MMDiT-бэкбон, плюс VAE с 16× сжатием для нативной генерации в 2K.
Ключевые фишки:
— Рендеринг текста до 1K токенов промпта (слайды, постеры, инфографика)
— Широкая многоязычность с корректной типографикой
— RLHF через GRPO с отдельными reward-моделями для эстетики, портретов, следования инструкциям
Данные обучаются в 6 стадий фильтрации с автоматическим data flywheel — модель сама находит свои провалы через evaluation-сигналы и итеративно улучшается.
Конкурируют с GPT-4o image gen и Gemini Imagen — судя по бенчмаркам, вполне достойно.
https://arxiv.org/abs/2605.10730
Главная идея: зачем держать отдельные модели для text-to-image и редактирования, если можно обучить одну?
Qwen-Image-2.0 объединяет генерацию и инструкционное редактирование в единой архитектуре. Под капотом — Qwen3-VL как энкодер + MMDiT-бэкбон, плюс VAE с 16× сжатием для нативной генерации в 2K.
Ключевые фишки:
— Рендеринг текста до 1K токенов промпта (слайды, постеры, инфографика)
— Широкая многоязычность с корректной типографикой
— RLHF через GRPO с отдельными reward-моделями для эстетики, портретов, следования инструкциям
Данные обучаются в 6 стадий фильтрации с автоматическим data flywheel — модель сама находит свои провалы через evaluation-сигналы и итеративно улучшается.
Конкурируют с GPT-4o image gen и Gemini Imagen — судя по бенчмаркам, вполне достойно.
https://arxiv.org/abs/2605.10730
Apple ML представила BalCapRL — новый фреймворк для обучения мультимодальных языковых моделей описывать изображения с помощью reinforcement learning.
Проблема была в том, что существующие RL-методы оптимизируют что-то одно: либо точность ответов на вопросы по картинке, либо красивый слог — но не всё сразу. В итоге модели генерировали либо длинные галлюцинирующие описания, либо гладкие, но бесполезные.
BalCapRL одновременно оптимизирует три параметра: фактическую корректность, полноту охвата и качество языка. Для этого используется GDPO-нормализация наград и новая техника length-conditional reward masking, которая штрафует за неуместную длину.
Результаты на моделях LLaVA-1.5-7B и Qwen2.5-VL: прирост до +13.6 по DCScore, +9.0 по CaptionQA и +29.0 по CapArena.
Для пользователей это значит более точные и читаемые описания изображений в будущих продуктах Apple — от accessibility-функций до поиска по фото.
https://machinelearning.apple.com/research/balcaprl-mllm-image-captioning
Проблема была в том, что существующие RL-методы оптимизируют что-то одно: либо точность ответов на вопросы по картинке, либо красивый слог — но не всё сразу. В итоге модели генерировали либо длинные галлюцинирующие описания, либо гладкие, но бесполезные.
BalCapRL одновременно оптимизирует три параметра: фактическую корректность, полноту охвата и качество языка. Для этого используется GDPO-нормализация наград и новая техника length-conditional reward masking, которая штрафует за неуместную длину.
Результаты на моделях LLaVA-1.5-7B и Qwen2.5-VL: прирост до +13.6 по DCScore, +9.0 по CaptionQA и +29.0 по CapArena.
Для пользователей это значит более точные и читаемые описания изображений в будущих продуктах Apple — от accessibility-функций до поиска по фото.
https://machinelearning.apple.com/research/balcaprl-mllm-image-captioning
Apple Machine Learning Research
BalCapRL: A Balanced Framework for RL-Based MLLM Image Captioning
Image captioning is one of the most fundamental tasks in computer vision. Owing to its open-ended nature, it has received significant…
Один трансформер вместо зоопарка энкодеров и декодеров
Классическая проблема мультимодальных систем: понимание изображений требует vision encoder, генерация — VAE/latent diffusion, и всё это склеивается на скотч. SenseNova-U1 предлагает радикальный выход: никаких VE, никаких VAE, только сырые пиксели и слова прямо на вход.
Ключевая идея — архитектура NEO-unify с near-lossless visual interface: патчи изображений кодируются минимальным embedding-слоем, а декодирование идёт через pixel-space flow matching, без латентного сжатия. Для совмещения понимания и генерации используется native Mixture-of-Transformers (MoT) — эксперты специализируются под разные модальные цели, снижая интерференцию.
Результат: модели 8B и 30B-A3B конкурируют с топовыми understanding-only VLM и при этом генерируют изображения, делают редактирование и interleaved vision+text output в одной архитектуре.
https://arxiv.org/abs/2605.12500
Классическая проблема мультимодальных систем: понимание изображений требует vision encoder, генерация — VAE/latent diffusion, и всё это склеивается на скотч. SenseNova-U1 предлагает радикальный выход: никаких VE, никаких VAE, только сырые пиксели и слова прямо на вход.
Ключевая идея — архитектура NEO-unify с near-lossless visual interface: патчи изображений кодируются минимальным embedding-слоем, а декодирование идёт через pixel-space flow matching, без латентного сжатия. Для совмещения понимания и генерации используется native Mixture-of-Transformers (MoT) — эксперты специализируются под разные модальные цели, снижая интерференцию.
Результат: модели 8B и 30B-A3B конкурируют с топовыми understanding-only VLM и при этом генерируют изображения, делают редактирование и interleaved vision+text output в одной архитектуре.
https://arxiv.org/abs/2605.12500
World Action Models: следующий шаг после VLA-роботов
Обычные VLA-модели (RT-2, OpenVLA, π0) умеют следовать инструкциям и брать предметы, но у них есть слепое пятно: они не моделируют, что произойдёт с миром после действия. Просто obs → action, без предсказания будущего.
Свежий обзор от OpenMOSS вводит термин World Action Models (WAMs) — модели, которые совместно предсказывают и действие, и следующее состояние среды: p(o', a | o, l).
Два архитектурных подхода:
1. Cascaded WAM — сначала предсказываем будущее состояние, потом из него выводим действие (явная факторизация).
2. Joint WAM — предсказание мира и генерация действий обучаются совместно в одном пространстве.
Главный бонус WAM: можно использовать огромные датасеты человеческого видео без разметки действий — модель учится физике мира из интернета.
Это первый систематический обзор этого направления, покрывающий ~80+ работ с таксономией архитектур, датасетов и бенчмарков.
https://arxiv.org/abs/2605.12090
Обычные VLA-модели (RT-2, OpenVLA, π0) умеют следовать инструкциям и брать предметы, но у них есть слепое пятно: они не моделируют, что произойдёт с миром после действия. Просто obs → action, без предсказания будущего.
Свежий обзор от OpenMOSS вводит термин World Action Models (WAMs) — модели, которые совместно предсказывают и действие, и следующее состояние среды: p(o', a | o, l).
Два архитектурных подхода:
1. Cascaded WAM — сначала предсказываем будущее состояние, потом из него выводим действие (явная факторизация).
2. Joint WAM — предсказание мира и генерация действий обучаются совместно в одном пространстве.
Главный бонус WAM: можно использовать огромные датасеты человеческого видео без разметки действий — модель учится физике мира из интернета.
Это первый систематический обзор этого направления, покрывающий ~80+ работ с таксономией архитектур, датасетов и бенчмарков.
https://arxiv.org/abs/2605.12090
Что если заставить LLM думать на Python, а не на русском?
Стандартный подход Tool-Integrated Reasoning (TIR) страдает от трёх проблем: модель сначала всё считает в NL, а потом запускает код лишь для проверки; ошибки в NL-арифметике молча копируются в код; NL и код делают одно и то же.
Авторы из Korea University предложили THINC: одна короткая фраза-план на NL в начале, а дальше всё рассуждение — только код. Никаких NL-мыслей между блоками кода, только результаты интерпретатора.
Обучение: дистилляция траекторий от учителя → SFT → RL с GRPO.
Результат: THINC-4B (на базе Qwen3-4B) набирает 78.1% на пяти олимпиадных бенчмарках (AIME 2024-2026, HMMT 2025), обходя даже Qwen3-235B-Thinking. 99.2% финальных ответов берутся прямо из вывода интерпретатора.
https://arxiv.org/abs/2605.07237
Стандартный подход Tool-Integrated Reasoning (TIR) страдает от трёх проблем: модель сначала всё считает в NL, а потом запускает код лишь для проверки; ошибки в NL-арифметике молча копируются в код; NL и код делают одно и то же.
Авторы из Korea University предложили THINC: одна короткая фраза-план на NL в начале, а дальше всё рассуждение — только код. Никаких NL-мыслей между блоками кода, только результаты интерпретатора.
Обучение: дистилляция траекторий от учителя → SFT → RL с GRPO.
Результат: THINC-4B (на базе Qwen3-4B) набирает 78.1% на пяти олимпиадных бенчмарках (AIME 2024-2026, HMMT 2025), обходя даже Qwen3-235B-Thinking. 99.2% финальных ответов берутся прямо из вывода интерпретатора.
https://arxiv.org/abs/2605.07237
OpenAI провела соревнование Parameter Golf, в котором участвовали более 1000 человек и было подано свыше 2000 работ. Участники исследовали возможности ИИ в области машинного обучения, разработки агентов для кодирования, квантизации и создания новых архитектур моделей — всё это в условиях жёстких ограничений.
Главный вывод: ИИ-ассистенты реально ускоряют исследовательский процесс, но лучшие результаты показывают те, кто умеет грамотно направлять модель, а не просто полагается на неё вслепую. Соревнование выявило неожиданные подходы к оптимизации параметров, которые команда OpenAI планирует изучить глубже.
Для исследователей и разработчиков это сигнал: человек плюс ИИ в паре дают результаты, недостижимые по отдельности. OpenAI продолжает делать ставку на совместную работу людей и моделей как на ключевое направление развития.
https://openai.com/index/what-parameter-golf-taught-us
Главный вывод: ИИ-ассистенты реально ускоряют исследовательский процесс, но лучшие результаты показывают те, кто умеет грамотно направлять модель, а не просто полагается на неё вслепую. Соревнование выявило неожиданные подходы к оптимизации параметров, которые команда OpenAI планирует изучить глубже.
Для исследователей и разработчиков это сигнал: человек плюс ИИ в паре дают результаты, недостижимые по отдельности. OpenAI продолжает делать ставку на совместную работу людей и моделей как на ключевое направление развития.
https://openai.com/index/what-parameter-golf-taught-us
OpenAI
What Parameter Golf taught us
Parameter Golf brought together 1,000+ participants and 2,000+ submissions to explore AI-assisted machine learning research, coding agents, quantization, and novel model design under strict constraints.
Microsoft Research обновили MatterSim — ИИ-платформу для проектирования материалов.
Три главных новости сразу.
Во-первых, предсказания модели подтвердились экспериментально: учёные синтезировали теплопроводящий материал TaP (тантал-фосфор), который MatterSim выбрал из 240 000 кандидатов. Измеренная теплопроводность — 152 Вт/м/К, почти как у кремния.
Во-вторых, MatterSim-v1 стал быстрее: ускорение инференса в 3-5 раз плюс интеграция с LAMMPS для запуска симуляций на нескольких GPU.
В-третьих, вышла новая модель MatterSim-MT — многозадачная, обученная на 35 млн структур. Умеет предсказывать заряды, магнитные моменты, диэлектрические свойства и моделировать сложные явления вроде переключения ферроэлектриков и электрохимических реакций.
Для учёных это означает: поиск новых материалов для электроники, аккумуляторов и аэрокосмоса теперь в сотни раз быстрее и дешевле.
https://www.microsoft.com/en-us/research/blog/advancing-ai-for-materials-with-mattersim-experimental-synthesis-faster-simulation-and-multi-task-models/
Три главных новости сразу.
Во-первых, предсказания модели подтвердились экспериментально: учёные синтезировали теплопроводящий материал TaP (тантал-фосфор), который MatterSim выбрал из 240 000 кандидатов. Измеренная теплопроводность — 152 Вт/м/К, почти как у кремния.
Во-вторых, MatterSim-v1 стал быстрее: ускорение инференса в 3-5 раз плюс интеграция с LAMMPS для запуска симуляций на нескольких GPU.
В-третьих, вышла новая модель MatterSim-MT — многозадачная, обученная на 35 млн структур. Умеет предсказывать заряды, магнитные моменты, диэлектрические свойства и моделировать сложные явления вроде переключения ферроэлектриков и электрохимических реакций.
Для учёных это означает: поиск новых материалов для электроники, аккумуляторов и аэрокосмоса теперь в сотни раз быстрее и дешевле.
https://www.microsoft.com/en-us/research/blog/advancing-ai-for-materials-with-mattersim-experimental-synthesis-faster-simulation-and-multi-task-models/
Microsoft Research
MatterSim expands materials discovery with faster simulation and a new multi-task model
MatterSim is expanding what AI can do for materials science—from faster large-scale simulations to MatterSim-MT, a new multi-task model for simulating properties beyond potential energy surfaces alone.
Microsoft Research выпустила SocialReasoning-Bench — бенчмарк для оценки того, насколько хорошо AI-агенты отстаивают интересы пользователей в переговорах.
Тест проверяет агентов в двух сценариях: согласование встреч в календаре и торг на маркетплейсе. Оцениваются два параметра: насколько выгодный результат получил пользователь и насколько грамотным был сам процесс принятия решений.
Результаты тревожные: современные модели (GPT-4.1, GPT-5, Claude Sonnet, Gemini Flash) справляются с задачей формально, но регулярно оставляют пользователя в проигрыше — соглашаются на неудобное время встречи или невыгодную цену вместо того, чтобы торговаться. Даже прямая инструкция «действуй в интересах пользователя» не решает проблему.
По сути, AI-агентам пока далеко до профессионального адвоката или риелтора, которые обязаны защищать клиента. Это важно, учитывая, что агенты уже управляют почтой и календарями миллионов людей.
https://www.microsoft.com/en-us/research/blog/socialreasoning-bench-measuring-whether-ai-agents-act-in-users-best-interests/
Тест проверяет агентов в двух сценариях: согласование встреч в календаре и торг на маркетплейсе. Оцениваются два параметра: насколько выгодный результат получил пользователь и насколько грамотным был сам процесс принятия решений.
Результаты тревожные: современные модели (GPT-4.1, GPT-5, Claude Sonnet, Gemini Flash) справляются с задачей формально, но регулярно оставляют пользователя в проигрыше — соглашаются на неудобное время встречи или невыгодную цену вместо того, чтобы торговаться. Даже прямая инструкция «действуй в интересах пользователя» не решает проблему.
По сути, AI-агентам пока далеко до профессионального адвоката или риелтора, которые обязаны защищать клиента. Это важно, учитывая, что агенты уже управляют почтой и календарями миллионов людей.
https://www.microsoft.com/en-us/research/blog/socialreasoning-bench-measuring-whether-ai-agents-act-in-users-best-interests/
Microsoft Research
SocialReasoning Bench shows the limits of today’s AI agents
Using SocialReasoning Bench, we observed a stable pattern across models—agents execute competently, but fail to consistently improve the user’s position, even with explicit instructions to optimize for user interest.
Инфраструктура для миллионов LoRA-моделей на одном базовом весе
Представьте: у вас тысячи клиентов, каждый хочет свою дообученную LLM. Копировать полный чекпоинт на каждого — катастрофа. MinT (MindLab Toolkit) решает это элегантно: базовая модель живёт постоянно в памяти, а между обучением и инференсом передаются только LoRA-адаптеры (менее 1% от размера базы).
Ключевые числа: передача адаптера вместо полного чекпоинта ускоряет handoff в 18x на 4B модели и в 2.85x на 30B MoE. Параллельное обучение нескольких политик сокращает wall time в 1.77x без роста памяти. Один движок может адресовать каталог из 10^6 адаптеров, загрузка MoE LoRA ускорена в 8.5x.
MinT управляет полным жизненным циклом: обучение → экспорт ревизии → роллаут → оценка → сервинг → откат. Всё через единый API, совместимый с Tinker от Thinking Machines Lab.
https://arxiv.org/abs/2605.13779
Представьте: у вас тысячи клиентов, каждый хочет свою дообученную LLM. Копировать полный чекпоинт на каждого — катастрофа. MinT (MindLab Toolkit) решает это элегантно: базовая модель живёт постоянно в памяти, а между обучением и инференсом передаются только LoRA-адаптеры (менее 1% от размера базы).
Ключевые числа: передача адаптера вместо полного чекпоинта ускоряет handoff в 18x на 4B модели и в 2.85x на 30B MoE. Параллельное обучение нескольких политик сокращает wall time в 1.77x без роста памяти. Один движок может адресовать каталог из 10^6 адаптеров, загрузка MoE LoRA ускорена в 8.5x.
MinT управляет полным жизненным циклом: обучение → экспорт ревизии → роллаут → оценка → сервинг → откат. Всё через единый API, совместимый с Tinker от Thinking Machines Lab.
https://arxiv.org/abs/2605.13779
AnyFlow: видео-диффузия с любым числом шагов (by NVIDIA)
Проблема consistency-моделей для видео: они отлично работают на 2-4 шагах, но при увеличении числа шагов качество не растёт, а иногда падает. Причина структурная — повторное зашумление промежуточных состояний накапливает ошибки и уводит траекторию от целевого пути.
AnyFlow решает это через flow map дистилляцию. Вместо того чтобы учить прямой прыжок z_t → z_0, модель учит переходы между произвольными парами времён z_t → z_r. Это позволяет одной модели работать с любым бюджетом шагов: быстрый превью за 2-4 NFE или качественный рендер за 32 NFE.
Ключевой трюк — flow map backward simulation: вместо дорогой симуляции полной траектории используются shortcut-декомпозиции, что делает on-policy дистилляцию масштабируемой.
Результат на 14B модели: 84.05 VBench при 4 NFE и 84.41 при 32 NFE — и это одна и та же модель!
https://arxiv.org/abs/2605.13724
Проблема consistency-моделей для видео: они отлично работают на 2-4 шагах, но при увеличении числа шагов качество не растёт, а иногда падает. Причина структурная — повторное зашумление промежуточных состояний накапливает ошибки и уводит траекторию от целевого пути.
AnyFlow решает это через flow map дистилляцию. Вместо того чтобы учить прямой прыжок z_t → z_0, модель учит переходы между произвольными парами времён z_t → z_r. Это позволяет одной модели работать с любым бюджетом шагов: быстрый превью за 2-4 NFE или качественный рендер за 32 NFE.
Ключевой трюк — flow map backward simulation: вместо дорогой симуляции полной траектории используются shortcut-декомпозиции, что делает on-policy дистилляцию масштабируемой.
Результат на 14B модели: 84.05 VBench при 4 NFE и 84.41 при 32 NFE — и это одна и та же модель!
https://arxiv.org/abs/2605.13724
TrackCraft3R: видеодиффузия теперь умеет трекать точки в 3D (by Google)
Представьте: берёте мощную видео-диффузионную модель, которая обучена на миллионах роликов из интернета, и перепрофилируете её в трекер 3D-точек. Именно это делает TrackCraft3R.
Главная проблема: видео DiT-ы работают покадрово (frame-anchored), а трекинг требует следить за одними и теми же физическими точками во времени (reference-anchored). Авторы решают это двумя трюками:
1. Dual-latent представление: geometry latents кодируют 3D-геометрию каждого кадра, а track latents — только первый кадр, который нужно протрекать.
2. Temporal RoPE alignment: переиспользуют позиционные эмбеддинги, чтобы track latents знали, к какому таймстемпу они обращаются.
Итог — dense 3D трекинг за один forward pass, без итеративного chaining'а. Быстрее SOTA (DELTAv2) в 1.3× и в 4.6× экономнее по памяти. Работает на длинных видео и при больших движениях объектов.
https://arxiv.org/abs/2605.12587
Представьте: берёте мощную видео-диффузионную модель, которая обучена на миллионах роликов из интернета, и перепрофилируете её в трекер 3D-точек. Именно это делает TrackCraft3R.
Главная проблема: видео DiT-ы работают покадрово (frame-anchored), а трекинг требует следить за одними и теми же физическими точками во времени (reference-anchored). Авторы решают это двумя трюками:
1. Dual-latent представление: geometry latents кодируют 3D-геометрию каждого кадра, а track latents — только первый кадр, который нужно протрекать.
2. Temporal RoPE alignment: переиспользуют позиционные эмбеддинги, чтобы track latents знали, к какому таймстемпу они обращаются.
Итог — dense 3D трекинг за один forward pass, без итеративного chaining'а. Быстрее SOTA (DELTAv2) в 1.3× и в 4.6× экономнее по памяти. Работает на длинных видео и при больших движениях объектов.
https://arxiv.org/abs/2605.12587
Microsoft Research обновила mimalloc — высокопроизводительный аллокатор памяти с открытым исходным кодом.
Что это такое: mimalloc — замена стандартным malloc/free, разработанная ещё в 2020 году для нужд языков Lean и Koka. Сейчас это боевой инструмент, который используется в Bing, Unreal Engine, игре Death Stranding и даже в CPython 3.13+ (версия без GIL).
Почему важно: современные сервисы работают с сотнями потоков и сотнями гигабайт памяти — особенно при использовании LLM. mimalloc решает проблему конкуренции за память: каждый поток работает со своей кучей, атомарные операции нужны только при освобождении памяти из другого потока.
Результат: минимальная фрагментация, предсказуемое время аллокации, поддержка Windows/macOS/Linux и консолей. Весь код — около 12 тысяч строк на C, Rust-обёртка скачивается более 100 тысяч раз в день.
Проект доступен на GitHub и набрал уже 12K звёзд.
https://www.microsoft.com/en-us/research/blog/mimalloc-a-high-performance-scalable-memory-allocator-for-the-modern-era/
Что это такое: mimalloc — замена стандартным malloc/free, разработанная ещё в 2020 году для нужд языков Lean и Koka. Сейчас это боевой инструмент, который используется в Bing, Unreal Engine, игре Death Stranding и даже в CPython 3.13+ (версия без GIL).
Почему важно: современные сервисы работают с сотнями потоков и сотнями гигабайт памяти — особенно при использовании LLM. mimalloc решает проблему конкуренции за память: каждый поток работает со своей кучей, атомарные операции нужны только при освобождении памяти из другого потока.
Результат: минимальная фрагментация, предсказуемое время аллокации, поддержка Windows/macOS/Linux и консолей. Весь код — около 12 тысяч строк на C, Rust-обёртка скачивается более 100 тысяч раз в день.
Проект доступен на GitHub и набрал уже 12K звёзд.
https://www.microsoft.com/en-us/research/blog/mimalloc-a-high-performance-scalable-memory-allocator-for-the-modern-era/
Microsoft Research
mimalloc: A new, high-performance, scalable memory allocator for the modern era - Microsoft Research
mimalloc is an open-source, modern, scalable memory allocator that is a drop-in replacement for malloc and free. It is relatively small (~12K lines), with clear internal data structures, and is easy to build and integrate into other projects. It provides…
Microsoft Research выпустила GridSFM — небольшую нейросеть для оптимизации электросетей.
Модель решает задачу AC-OPF (оптимальный поток мощности) за миллисекунды вместо часов. Это важно: такие расчёты управляют работой энергосистем, влияя на до 20 млрд долларов ежегодных потерь от перегрузок и 3,4 ТВт·ч «потерянной» возобновляемой энергии.
GridSFM обучена на 150+ топологиях сетей и работает без переобучения под каждую новую конфигурацию. Доступны два варианта: Open (до 4 000 узлов) и Premier (до 80 000 узлов). Точность — медианное отклонение от эталона 2,23%.
Проще говоря: операторы смогут просчитывать тысячи сценариев аварий и нагрузок в реальном времени вместо того, чтобы ждать часами или жертвовать точностью.
https://www.microsoft.com/en-us/research/blog/gridsfm-a-new-small-foundation-model-for-the-electric-grid/
Модель решает задачу AC-OPF (оптимальный поток мощности) за миллисекунды вместо часов. Это важно: такие расчёты управляют работой энергосистем, влияя на до 20 млрд долларов ежегодных потерь от перегрузок и 3,4 ТВт·ч «потерянной» возобновляемой энергии.
GridSFM обучена на 150+ топологиях сетей и работает без переобучения под каждую новую конфигурацию. Доступны два варианта: Open (до 4 000 узлов) и Premier (до 80 000 узлов). Точность — медианное отклонение от эталона 2,23%.
Проще говоря: операторы смогут просчитывать тысячи сценариев аварий и нагрузок в реальном времени вместо того, чтобы ждать часами или жертвовать точностью.
https://www.microsoft.com/en-us/research/blog/gridsfm-a-new-small-foundation-model-for-the-electric-grid/
Microsoft Research
GridSFM: Small foundation model boosts power grid optimization
Introducing GridSFM, a small foundation model that can predict AC optimal power flow in milliseconds, boosting efficiency and unlocking cost savings. Learn how GridSFM gives grid operators direct visibility into congestion, stability, and system health:
Nvidia ускорила анализ рентгеновских данных в 1000 раз
Nvidia представила рабочий процесс XANI (Accelerated X-Ray Analysis for Nanoscale Imaging) для анализа данных с рентгеновских лазеров на свободных электронах. Эти установки снимают движение атомов и электронов в материалах — батареях, полупроводниках, термоядерных материалах — со скоростью до миллиона кадров в секунду.
Раньше обработка 42 терабайт экспериментальных данных занимала девять месяцев. На 32 чипах GB200 Grace Blackwell та же задача решается менее чем за четыре часа — ускорение в 1000 раз при сохранении точности.
Добились этого через GPU-ориентированную архитектуру на базе cuPyNumeric, новые библиотеки LMFIT, многопоточный HDF5 и технологию GPUDirect Storage — данные идут прямо в память GPU, минуя CPU. Пропускная способность I/O выросла в 165 раз.
Итог: учёные смогут получать обратную связь прямо во время эксперимента, а не спустя месяцы после него.
https://developer.nvidia.com/blog/accelerated-x-ray-analysis-for-nanoscale-imaging-xani-of-novel-materials/
Nvidia представила рабочий процесс XANI (Accelerated X-Ray Analysis for Nanoscale Imaging) для анализа данных с рентгеновских лазеров на свободных электронах. Эти установки снимают движение атомов и электронов в материалах — батареях, полупроводниках, термоядерных материалах — со скоростью до миллиона кадров в секунду.
Раньше обработка 42 терабайт экспериментальных данных занимала девять месяцев. На 32 чипах GB200 Grace Blackwell та же задача решается менее чем за четыре часа — ускорение в 1000 раз при сохранении точности.
Добились этого через GPU-ориентированную архитектуру на базе cuPyNumeric, новые библиотеки LMFIT, многопоточный HDF5 и технологию GPUDirect Storage — данные идут прямо в память GPU, минуя CPU. Пропускная способность I/O выросла в 165 раз.
Итог: учёные смогут получать обратную связь прямо во время эксперимента, а не спустя месяцы после него.
https://developer.nvidia.com/blog/accelerated-x-ray-analysis-for-nanoscale-imaging-xani-of-novel-materials/
NVIDIA Technical Blog
Accelerated X-Ray Analysis for Nanoscale Imaging (XANI) of Novel Materials
A massive-scale X-ray free-electron laser (XFEL) enables tracking structural and electron dynamics in novel systems, including fusion materials, semiconductors, batteries, and catalysis.
Золотая медаль олимпиады для 30B модели — без магии, только правильный рецепт
SU-01 — это 30B-A3B модель, которая на USAMO 2026 набрала столько же баллов, сколько лучший человек среди 340 участников, а на IMO 2025 с test-time scaling достигла золотой медали.
Рецепт простой, но продуманный:
1. SFT на 338K траекториях с самопроверкой и самоисправлением, с обратным curriculum по перплексии (сначала незнакомые примеры)
2. Coarse RL — стандартный RLVR с бинарными наградами за правильность
3. Refined RL — генеративная reward model оценивает качество доказательства целиком + experience replay для редких успехов на сложных задачах
4. TTS — итеративный цикл верификации и исправления до 100K+ токенов
Ключевая идея: не строить узкий солвер, а специализировать сильный general-purpose backbone под доказательное рассуждение, сохраняя перенос на научные задачи. Работает и на физике (IPhO gold), и на исследовательских задачах.
https://arxiv.org/abs/2605.13301
SU-01 — это 30B-A3B модель, которая на USAMO 2026 набрала столько же баллов, сколько лучший человек среди 340 участников, а на IMO 2025 с test-time scaling достигла золотой медали.
Рецепт простой, но продуманный:
1. SFT на 338K траекториях с самопроверкой и самоисправлением, с обратным curriculum по перплексии (сначала незнакомые примеры)
2. Coarse RL — стандартный RLVR с бинарными наградами за правильность
3. Refined RL — генеративная reward model оценивает качество доказательства целиком + experience replay для редких успехов на сложных задачах
4. TTS — итеративный цикл верификации и исправления до 100K+ токенов
Ключевая идея: не строить узкий солвер, а специализировать сильный general-purpose backbone под доказательное рассуждение, сохраняя перенос на научные задачи. Работает и на физике (IPhO gold), и на исследовательских задачах.
https://arxiv.org/abs/2605.13301
SANA-WM: минутное видео на одной GPU (by NVIDIA)
Генерировать минуту 720p-видео с точным контролем камеры — и уложиться в одну RTX 5090 за 34 секунды? NVIDIA говорит: реально.
Ключевые идеи SANA-WM (2.6B параметров):
1. Гибридный DiT: чередование Gated DeltaNet-блоков (линейное внимание, рекуррентная агрегация контекста) и редких softmax-блоков (точный дальний recall). Не тратишь квадратичную память на весь контекст минутного видео.
2. Двухветвевое управление камерой: UCPE-ветвь кодирует глобальную траекторию, Plücker-ветвь восстанавливает точное движение внутри каждого VAE-страйда. Так камера слушается даже при агрессивном сжатии.
3. Двухэтапный пайплайн: сначала генерация, потом отдельный рефайнер исправляет артефакты по всей минуте.
Обучение: 213K публичных клипов, 15 дней на 64×H100. Throughput — до 36× выше конкурентов. Код открыт.
https://arxiv.org/abs/2605.15178
Генерировать минуту 720p-видео с точным контролем камеры — и уложиться в одну RTX 5090 за 34 секунды? NVIDIA говорит: реально.
Ключевые идеи SANA-WM (2.6B параметров):
1. Гибридный DiT: чередование Gated DeltaNet-блоков (линейное внимание, рекуррентная агрегация контекста) и редких softmax-блоков (точный дальний recall). Не тратишь квадратичную память на весь контекст минутного видео.
2. Двухветвевое управление камерой: UCPE-ветвь кодирует глобальную траекторию, Plücker-ветвь восстанавливает точное движение внутри каждого VAE-страйда. Так камера слушается даже при агрессивном сжатии.
3. Двухэтапный пайплайн: сначала генерация, потом отдельный рефайнер исправляет артефакты по всей минуте.
Обучение: 213K публичных клипов, 15 дней на 64×H100. Throughput — до 36× выше конкурентов. Код открыт.
https://arxiv.org/abs/2605.15178
Интерактивное видео в реальном времени за 1-2 шага диффузии (by Tsinghua ML Group)
Хочешь генерировать видео покадрово с минимальной задержкой? Проблема: дистилляция авторегрессионных диффузионных моделей до 1-2 шагов — это больно. Старые методы либо используют двунаправленного учителя (архитектурный мисматч с каузальным роллаутом), либо требуют хранить полные ODE-траектории для каждого сэмпла (дорого и не масштабируется).
Causal Forcing++ решает это через causal consistency distillation: вместо генерации полных траекторий берём один онлайн-шаг учителя между соседними таймстепами на реальных видео. Это и дешевле (4× меньше затрат на Stage 2), и качественнее — меньший per-step gap при оптимизации.
Результат на Wan2.1-1.3B: лучший VBench Total среди AR-методов, задержка первого кадра -50%, никакого хранения вспомогательных траекторий. Плюс метод легко расширяется до action-conditioned world models с управлением камерой.
https://arxiv.org/abs/2605.15141
Хочешь генерировать видео покадрово с минимальной задержкой? Проблема: дистилляция авторегрессионных диффузионных моделей до 1-2 шагов — это больно. Старые методы либо используют двунаправленного учителя (архитектурный мисматч с каузальным роллаутом), либо требуют хранить полные ODE-траектории для каждого сэмпла (дорого и не масштабируется).
Causal Forcing++ решает это через causal consistency distillation: вместо генерации полных траекторий берём один онлайн-шаг учителя между соседними таймстепами на реальных видео. Это и дешевле (4× меньше затрат на Stage 2), и качественнее — меньший per-step gap при оптимизации.
Результат на Wan2.1-1.3B: лучший VBench Total среди AR-методов, задержка первого кадра -50%, никакого хранения вспомогательных траекторий. Плюс метод легко расширяется до action-conditioned world models с управлением камерой.
https://arxiv.org/abs/2605.15141
Nvidia Tech представила платформу Vera Rubin — решение для масштабирования агентного ИИ.
Проблема: агентные системы генерируют сотни запросов за сессию, каждый со своим контекстом, историей и кешем. Это убивает латентность и делает традиционные серверные решения неэффективными.
Что нового: связка Vera Rubin NVL72 и Groq 3 LPX. Первый даёт мощь — 3600 PFLOPS и 20,7 ТБ памяти HBM4. Второй решает проблему связи между чипами: компилятор планирует передачу данных заранее, а не в рантайме, обеспечивая предсказуемую низкую задержку на тысячах ускорителей одновременно.
Почему важно: впервые в одной платформе совмещены высокая пропускная способность и стабильная низкая задержка для триллионных MoE-моделей. Это открывает путь к надёжным мультиагентным системам в продакшене.
https://developer.nvidia.com/blog/how-the-nvidia-vera-rubin-platform-is-solving-agentic-ais-scale-up-problem/
Проблема: агентные системы генерируют сотни запросов за сессию, каждый со своим контекстом, историей и кешем. Это убивает латентность и делает традиционные серверные решения неэффективными.
Что нового: связка Vera Rubin NVL72 и Groq 3 LPX. Первый даёт мощь — 3600 PFLOPS и 20,7 ТБ памяти HBM4. Второй решает проблему связи между чипами: компилятор планирует передачу данных заранее, а не в рантайме, обеспечивая предсказуемую низкую задержку на тысячах ускорителей одновременно.
Почему важно: впервые в одной платформе совмещены высокая пропускная способность и стабильная низкая задержка для триллионных MoE-моделей. Это открывает путь к надёжным мультиагентным системам в продакшене.
https://developer.nvidia.com/blog/how-the-nvidia-vera-rubin-platform-is-solving-agentic-ais-scale-up-problem/
NVIDIA Technical Blog
How the NVIDIA Vera Rubin Platform is Solving Agentic AI’s Scale-Up Problem
Agentic inference has fundamentally changed the runtime dynamics of inference workloads by introducing non-deterministic trajectories—actions, observations, and decisions that an AI agent produces…
Amazon Science выпустила Promptimus — фреймворк для автоматической оптимизации уже хороших промптов для LLM, без ручной доработки.
Проблема: промпты для корпоративных задач создаются месяцами и кодируют сложную бизнес-логику. Улучшить их без регрессий крайне сложно, а при смене модели всё приходится переделывать вручную.
Как работает Promptimus: четыре итерационных шага — оценка, генерация обратной связи, выработка стратегии и проверка кандидатов. Ключевая фишка — фокус на конкретных точках отказа, а не случайные правки. Есть режим точечного редактирования для сложных промптов.
Результат: лучший результат на 16 из 20 бенчмарков среди шести конкурирующих методов. Работает с любой моделью и поддерживает классификацию, генерацию, суммаризацию, code gen и другие задачи.
Важно для бизнеса: при переходе на новую модель промпт можно быстро переоптимизировать автоматически, не нанимая армию инженеров.
https://www.amazon.science/blog/promptimus-improving-already-good-llm-prompts-with-zero-manual-engineering
Проблема: промпты для корпоративных задач создаются месяцами и кодируют сложную бизнес-логику. Улучшить их без регрессий крайне сложно, а при смене модели всё приходится переделывать вручную.
Как работает Promptimus: четыре итерационных шага — оценка, генерация обратной связи, выработка стратегии и проверка кандидатов. Ключевая фишка — фокус на конкретных точках отказа, а не случайные правки. Есть режим точечного редактирования для сложных промптов.
Результат: лучший результат на 16 из 20 бенчмарков среди шести конкурирующих методов. Работает с любой моделью и поддерживает классификацию, генерацию, суммаризацию, code gen и другие задачи.
Важно для бизнеса: при переходе на новую модель промпт можно быстро переоптимизировать автоматически, не нанимая армию инженеров.
https://www.amazon.science/blog/promptimus-improving-already-good-llm-prompts-with-zero-manual-engineering
Amazon Science
Promptimus: Improving already good LLM prompts with zero manual engineering
By focusing on specific failure points and suggesting targeted solutions, a new automated prompt-engineering framework improves prompt performance without compromising existing functionality.