Что такое "модель мира" и как её систематизировать?
Термин "world model" используют все — от RL-исследователей до компьютерных зрителей — но каждый вкладывает своё. RL-шники оценивают, улучшает ли модель мира задачу агента. CV-шники смотрят на визуальную фidelity генерации. Получается вавилонское столпотворение несравнимых работ.
Авторы предлагают единую таксономию: три уровня способностей модели мира.
L1 Predictor — предсказывает следующее состояние по текущему (forward/inverse dynamics).
L2 Simulator — генерирует длинные роллауты, корректные по физике/правилам, пригодные для планирования агента.
L3 Evolver — обновляет саму себя на основе новых данных и доказательств (evidence-driven revision).
Плюс четыре "режима законов": физический мир, цифровой, социальный и научный.
Это не конкурент существующим обзорам по робототехнике или видеогенерации — это попытка дать общий язык, чтобы сравнивать системы из разных сообществ по единой шкале.
https://arxiv.org/abs/2604.22748
Термин "world model" используют все — от RL-исследователей до компьютерных зрителей — но каждый вкладывает своё. RL-шники оценивают, улучшает ли модель мира задачу агента. CV-шники смотрят на визуальную фidelity генерации. Получается вавилонское столпотворение несравнимых работ.
Авторы предлагают единую таксономию: три уровня способностей модели мира.
L1 Predictor — предсказывает следующее состояние по текущему (forward/inverse dynamics).
L2 Simulator — генерирует длинные роллауты, корректные по физике/правилам, пригодные для планирования агента.
L3 Evolver — обновляет саму себя на основе новых данных и доказательств (evidence-driven revision).
Плюс четыре "режима законов": физический мир, цифровой, социальный и научный.
Это не конкурент существующим обзорам по робототехнике или видеогенерации — это попытка дать общий язык, чтобы сравнивать системы из разных сообществ по единой шкале.
https://arxiv.org/abs/2604.22748
Image generators — это уже vision learners? (by Google)
Оказывается, модели, обученные генерировать картинки, уже «понимают» визуальный мир — нужно лишь это разблокировать.
Авторы взяли мощный image generator (Nano Banana Pro) и сделали ему лёгкий instruction-tuning: добавили в обучение немного CV-данных (глубина, нормали, сегментация) в очень малой пропорции. Ключевой трюк — модель учится выдавать RGB-картинки в строго заданных форматах (например, "закрась скейтборд чистым жёлтым #FFFF00"), которые потом легко декодируются в маски, карты глубины и т.д.
Результат: получившийся Vision Banana бьёт SAM 3 на сегментации, Depth Anything 3 на оценке глубины, Lotus-2 на нормалях — и при этом почти не теряет способность генерировать картинки.
Вывод: генеративный pretraining для зрения — это то же самое, что языковой pretraining для текста. Похоже, мы наблюдаем смену парадигмы в computer vision.
https://arxiv.org/abs/2604.20329
Оказывается, модели, обученные генерировать картинки, уже «понимают» визуальный мир — нужно лишь это разблокировать.
Авторы взяли мощный image generator (Nano Banana Pro) и сделали ему лёгкий instruction-tuning: добавили в обучение немного CV-данных (глубина, нормали, сегментация) в очень малой пропорции. Ключевой трюк — модель учится выдавать RGB-картинки в строго заданных форматах (например, "закрась скейтборд чистым жёлтым #FFFF00"), которые потом легко декодируются в маски, карты глубины и т.д.
Результат: получившийся Vision Banana бьёт SAM 3 на сегментации, Depth Anything 3 на оценке глубины, Lotus-2 на нормалях — и при этом почти не теряет способность генерировать картинки.
Вывод: генеративный pretraining для зрения — это то же самое, что языковой pretraining для текста. Похоже, мы наблюдаем смену парадигмы в computer vision.
https://arxiv.org/abs/2604.20329
❤1
Диффузионная модель чинит артефакты КТ прямо во время оптимизации нейросетевого представления
Sparse-view CT — это когда хочешь получить 3D-томограмму из минимума проекций, чтобы снизить дозу радиации. Проблема: нейросетевые представления (NeRF, 3D Gaussians) дают артефакты там, где данных мало, а диффузионные методы — медленные и грешат галлюцинациями между срезами.
DiffNR от Monash University предлагает гибрид: обучают SliceFixer — одношаговую диффузионную модель (на базе SD-Turbo), которая исправляет артефактные срезы, полученные из нейросетевого представления. В качестве условий подаются биплановые рентгеновские проекции и текстовый промпт. Периодически SliceFixer генерирует псевдо-эталонные объёмы, которые используются как регуляризатор при оптимизации NR через SSIM-лосс вместо попиксельного.
Результат: +3.99 dB к базовым нейросетевым методам, хорошая генерализация на out-of-distribution данных и разумное время работы.
https://arxiv.org/abs/2604.21518
Sparse-view CT — это когда хочешь получить 3D-томограмму из минимума проекций, чтобы снизить дозу радиации. Проблема: нейросетевые представления (NeRF, 3D Gaussians) дают артефакты там, где данных мало, а диффузионные методы — медленные и грешат галлюцинациями между срезами.
DiffNR от Monash University предлагает гибрид: обучают SliceFixer — одношаговую диффузионную модель (на базе SD-Turbo), которая исправляет артефактные срезы, полученные из нейросетевого представления. В качестве условий подаются биплановые рентгеновские проекции и текстовый промпт. Периодически SliceFixer генерирует псевдо-эталонные объёмы, которые используются как регуляризатор при оптимизации NR через SSIM-лосс вместо попиксельного.
Результат: +3.99 dB к базовым нейросетевым методам, хорошая генерализация на out-of-distribution данных и разумное время работы.
https://arxiv.org/abs/2604.21518
👍1
Бенчмарк для агентов, которые работают с тобой неделями, а не секундами
Большинство бенчмарков для агентов проверяют одну сессию в статичном окружении. Но реальный «коллега-агент» работает днями: приходят новые письма, меняются файлы, появляются данные в таблицах — и агент должен это всё замечать сам.
ClawMark — новый бенчмарк именно для такого режима. 100 задач, 13 профессиональных сценариев (страховщик, юрист, инвестаналитик и др.), каждая задача — несколько рабочих дней. Между ходами окружение меняется независимо от агента: часть изменений объявляется явно, часть — «тихие мутации» без уведомлений. Плюс полный мультимодал: фото, аудио, PDF, видео, таблицы.
Оценка — 1537 детерминированных Python-чекеров, никакого LLM-as-judge.
Лучший результат у Claude Sonnet 4.6: weighted score 75.8, но строгий Task Success — всего 20 из 100. Есть куда расти.
https://arxiv.org/abs/2604.23781
Большинство бенчмарков для агентов проверяют одну сессию в статичном окружении. Но реальный «коллега-агент» работает днями: приходят новые письма, меняются файлы, появляются данные в таблицах — и агент должен это всё замечать сам.
ClawMark — новый бенчмарк именно для такого режима. 100 задач, 13 профессиональных сценариев (страховщик, юрист, инвестаналитик и др.), каждая задача — несколько рабочих дней. Между ходами окружение меняется независимо от агента: часть изменений объявляется явно, часть — «тихие мутации» без уведомлений. Плюс полный мультимодал: фото, аудио, PDF, видео, таблицы.
Оценка — 1537 детерминированных Python-чекеров, никакого LLM-as-judge.
Лучший результат у Claude Sonnet 4.6: weighted score 75.8, но строгий Task Success — всего 20 из 100. Есть куда расти.
https://arxiv.org/abs/2604.23781
GUI-агент, который знает, когда остановиться — и впервые превзошёл человека на OSWorld
Две главные болезни GUI-агентов: они объявляют задачу выполненной раньше времени и зацикливаются на одних и тех же действиях. VLAA-GUI решает это тремя модулями.
Completeness Verifier — обязательная проверка после каждого шага: агент должен найти UI-доказательства завершения (новый файл, изменившийся лейбл, появившийся диалог), иначе задача не считается выполненной. Снижает долю ложных завершений на 3.9%.
Loop Breaker — трёхуровневая эскалация: сначала меняет модальность взаимодействия, потом стратегию, потом принудительно сбрасывает план. Сокращает потраченные впустую шаги почти вдвое.
Search Agent — вместо браузерного поиска просто спрашивает LLM с поиском (Gemini Pro), получает текст и вставляет в контекст менеджера.
Результат: 77.5% на OSWorld-Verified — выше человеческого уровня (72.4%). Первый фреймворк, которому это удалось в один проход.
https://arxiv.org/abs/2604.21375
Две главные болезни GUI-агентов: они объявляют задачу выполненной раньше времени и зацикливаются на одних и тех же действиях. VLAA-GUI решает это тремя модулями.
Completeness Verifier — обязательная проверка после каждого шага: агент должен найти UI-доказательства завершения (новый файл, изменившийся лейбл, появившийся диалог), иначе задача не считается выполненной. Снижает долю ложных завершений на 3.9%.
Loop Breaker — трёхуровневая эскалация: сначала меняет модальность взаимодействия, потом стратегию, потом принудительно сбрасывает план. Сокращает потраченные впустую шаги почти вдвое.
Search Agent — вместо браузерного поиска просто спрашивает LLM с поиском (Gemini Pro), получает текст и вставляет в контекст менеджера.
Результат: 77.5% на OSWorld-Verified — выше человеческого уровня (72.4%). Первый фреймворк, которому это удалось в один проход.
https://arxiv.org/abs/2604.21375
SLIDERS: когда контекстное окно всегда слишком мало (by Stanford NLP)
Даже миллион токенов не спасает — реальные корпусы документов всё равно не влезают. А чанкинг лишь перекладывает проблему: чем больше чанков, тем больше текста нужно агрегировать — и ты снова упираешься в то же ограничение. Авторы назвали это "Aggregation Bottleneck".
Решение: не пихать текст в контекст, а складывать извлечённые факты в реляционную БД. LLM извлекает структурированные строки с провенансом из каждого чанка → специальный агент reconciliation разрешает конфликты и дубли → SQL-агент отвечает на вопрос запросами к таблицам.
Результат: на датасете из 36М токенов финансовых документов — 55% точности против 5% у лучшего бейзлайна. На стандартных бенчмарках +6.6 пунктов над GPT-4.1.
https://arxiv.org/abs/2604.22294
Даже миллион токенов не спасает — реальные корпусы документов всё равно не влезают. А чанкинг лишь перекладывает проблему: чем больше чанков, тем больше текста нужно агрегировать — и ты снова упираешься в то же ограничение. Авторы назвали это "Aggregation Bottleneck".
Решение: не пихать текст в контекст, а складывать извлечённые факты в реляционную БД. LLM извлекает структурированные строки с провенансом из каждого чанка → специальный агент reconciliation разрешает конфликты и дубли → SQL-агент отвечает на вопрос запросами к таблицам.
Результат: на датасете из 36М токенов финансовых документов — 55% точности против 5% у лучшего бейзлайна. На стандартных бенчмарках +6.6 пунктов над GPT-4.1.
https://arxiv.org/abs/2604.22294
👍1
Amazon Science представила C3LLM — фреймворк для статистической оценки катастрофических сбоев в языковых моделях.
Проблема классического red-teaming в том, что он проверяет отдельные промпты, а не диалоги — именно в многоходовых разговорах чаще всего проявляется опасное поведение моделей. C3LLM строит граф из семантически связанных запросов, имитирует реальные сценарии атак и вместо одной цифры выдаёт статистические границы вероятности вредоносного ответа.
Фреймворк протестировали на Claude Sonnet, Nova Premier, Mistral Large и DeepSeek-R1. Результат: у всех моделей риски ненулевые, DeepSeek-R1 показал заметно худшие результаты по киберпреступному бенчмарку.
Код открыт на GitHub. Исследование представлено на ICLR 2026.
https://www.amazon.science/blog/how-catastrophic-is-your-llm
Проблема классического red-teaming в том, что он проверяет отдельные промпты, а не диалоги — именно в многоходовых разговорах чаще всего проявляется опасное поведение моделей. C3LLM строит граф из семантически связанных запросов, имитирует реальные сценарии атак и вместо одной цифры выдаёт статистические границы вероятности вредоносного ответа.
Фреймворк протестировали на Claude Sonnet, Nova Premier, Mistral Large и DeepSeek-R1. Результат: у всех моделей риски ненулевые, DeepSeek-R1 показал заметно худшие результаты по киберпреступному бенчмарку.
Код открыт на GitHub. Исследование представлено на ICLR 2026.
https://www.amazon.science/blog/how-catastrophic-is-your-llm
Amazon Science
How catastrophic is your LLM?
A new framework provides a statistical method for estimating the likelihood of catastrophic failures in large language models in adversarial conversations.
ИИ-компания вместо мультиагентного хаоса
Что если организовать AI-агентов как настоящую компанию — с HR, онбордингом, увольнениями и ретроспективами? Именно это делает OneManCompany (OMC).
Ключевая идея: разделить "кто агент" (Talent — роль, промпты, инструменты) и "где он запускается" (Container — LangGraph, Claude Code и т.д.). Агентов можно нанимать из Talent Market, переконфигурировать на лету и увольнять по результатам.
Три столпа системы:
1. Talent-Container архитектура — агенты переносимы между рантаймами
2. E2R tree search — проект декомпозируется в DAG-дерево задач с гарантиями завершения и отсутствия дедлоков
3. Самоэволюция — агенты рефлексируют после задач, обновляют SOP, проходят performance review
На бенчмарке PRDBench OMC достигает 84.67% success rate, обгоняя все базовые системы минимум на 15 процентных пунктов.
https://arxiv.org/abs/2604.22446
Что если организовать AI-агентов как настоящую компанию — с HR, онбордингом, увольнениями и ретроспективами? Именно это делает OneManCompany (OMC).
Ключевая идея: разделить "кто агент" (Talent — роль, промпты, инструменты) и "где он запускается" (Container — LangGraph, Claude Code и т.д.). Агентов можно нанимать из Talent Market, переконфигурировать на лету и увольнять по результатам.
Три столпа системы:
1. Talent-Container архитектура — агенты переносимы между рантаймами
2. E2R tree search — проект декомпозируется в DAG-дерево задач с гарантиями завершения и отсутствия дедлоков
3. Самоэволюция — агенты рефлексируют после задач, обновляют SOP, проходят performance review
На бенчмарке PRDBench OMC достигает 84.67% success rate, обгоняя все базовые системы минимум на 15 процентных пунктов.
https://arxiv.org/abs/2604.22446
🔥1
Pixel embeddings вместо vision encoder — и модель стала лучше понимать изображения
Классическая схема мультимодальных моделей: берём CLIP или другой энкодер, получаем визуальные токены, скармливаем в LLM. Авторы Tuna-2 спросили: а зачем вообще нужен энкодер?
Tuna-2 заменяет весь vision encoder простым patch embedding слоем — пиксели патчами прямо в трансформер-декодер, без VAE, без CLIP, без ничего. Один трансформер на всё: и понимание, и генерацию изображений через pixel-space flow matching.
Фишка: без энкодера модель не скована его индуктивными предубеждениями (фиксированное разрешение, потеря низкоуровневых деталей). Чтобы обучение в высокоразмерном пиксельном пространстве не разваливалось, добавили masking-based схему — маскируют случайные патчи и заставляют модель восстанавливать картинку или отвечать на вопросы по неполному изображению.
Результат: encoder-free Tuna-2 обгоняет encoder-based вариант на задачах fine-grained понимания, оставаясь конкурентным в генерации.
Классическая схема мультимодальных моделей: берём CLIP или другой энкодер, получаем визуальные токены, скармливаем в LLM. Авторы Tuna-2 спросили: а зачем вообще нужен энкодер?
Tuna-2 заменяет весь vision encoder простым patch embedding слоем — пиксели патчами прямо в трансформер-декодер, без VAE, без CLIP, без ничего. Один трансформер на всё: и понимание, и генерацию изображений через pixel-space flow matching.
Фишка: без энкодера модель не скована его индуктивными предубеждениями (фиксированное разрешение, потеря низкоуровневых деталей). Чтобы обучение в высокоразмерном пиксельном пространстве не разваливалось, добавили masking-based схему — маскируют случайные патчи и заставляют модель восстанавливать картинку или отвечать на вопросы по неполному изображению.
Результат: encoder-free Tuna-2 обгоняет encoder-based вариант на задачах fine-grained понимания, оставаясь конкурентным в генерации.
Агенты в латентном пространстве вместо текста — и это меняет всё (by Stanford)
Обычные мультиагентные системы (MAS) общаются через текст: один агент сгенерировал ответ, другой его прочитал. Медленно, токены тратятся, градиенты при обучении затухают.
RecursiveMAS предлагает другой путь: агенты передают друг другу не текст, а скрытые представления (latent states) через лёгкий модуль RecursiveLink — двухслойная residual-проекция. Внутренний линк рефайнит латентные мысли внутри агента, внешний — бриджит разные модели (Qwen, LLaMA, Gemma, Mistral) между собой. Вся система работает как рекурсивный цикл: агенты итеративно уточняют общее представление, только последний агент в финальном раунде декодирует текст.
Результаты на 9 бенчмарках: +8.3% точности, ускорение инференса в 1.2–2.4×, сокращение токенов на 35–76%.
https://arxiv.org/abs/2604.25917
Обычные мультиагентные системы (MAS) общаются через текст: один агент сгенерировал ответ, другой его прочитал. Медленно, токены тратятся, градиенты при обучении затухают.
RecursiveMAS предлагает другой путь: агенты передают друг другу не текст, а скрытые представления (latent states) через лёгкий модуль RecursiveLink — двухслойная residual-проекция. Внутренний линк рефайнит латентные мысли внутри агента, внешний — бриджит разные модели (Qwen, LLaMA, Gemma, Mistral) между собой. Вся система работает как рекурсивный цикл: агенты итеративно уточняют общее представление, только последний агент в финальном раунде декодирует текст.
Результаты на 9 бенчмарках: +8.3% точности, ускорение инференса в 1.2–2.4×, сокращение токенов на 35–76%.
https://arxiv.org/abs/2604.25917
Nvidia BioNeMo получила фреймворк Context Parallelism для моделирования огромных биомолекул.
Раньше исследователи были вынуждены разбивать большие белки на фрагменты, чтобы уложиться в память одного GPU. Это уничтожало понимание дальних взаимодействий внутри молекулы — например, нельзя было моделировать передачу сигналов через весь комплекс целиком.
Новый CP-фреймворк разделяет одну гигантскую молекулу сразу между несколькими GPU. Матрица попарных взаимодействий размером N×N дробится на блоки, и каждый GPU держит только свою часть. Потребление памяти падает пропорционально числу устройств. При этом вычисления и передача данных идут параллельно, так что система становится эффективнее по мере роста задачи.
Для работы нужен кластер из H100 или B200. Фреймворк уже протестирован на архитектуре Boltz и совместим с подходами AlphaFold3.
Важно для фармацевтики и структурной биологии: теперь можно складывать белковые комплексы из тысяч остатков без потери глобального контекста.
https://developer.nvidia.com/blog/scaling-biomolecular-modeling-using-context-parallelism-in-nvidia-bionemo/
Раньше исследователи были вынуждены разбивать большие белки на фрагменты, чтобы уложиться в память одного GPU. Это уничтожало понимание дальних взаимодействий внутри молекулы — например, нельзя было моделировать передачу сигналов через весь комплекс целиком.
Новый CP-фреймворк разделяет одну гигантскую молекулу сразу между несколькими GPU. Матрица попарных взаимодействий размером N×N дробится на блоки, и каждый GPU держит только свою часть. Потребление памяти падает пропорционально числу устройств. При этом вычисления и передача данных идут параллельно, так что система становится эффективнее по мере роста задачи.
Для работы нужен кластер из H100 или B200. Фреймворк уже протестирован на архитектуре Boltz и совместим с подходами AlphaFold3.
Важно для фармацевтики и структурной биологии: теперь можно складывать белковые комплексы из тысяч остатков без потери глобального контекста.
https://developer.nvidia.com/blog/scaling-biomolecular-modeling-using-context-parallelism-in-nvidia-bionemo/
NVIDIA Technical Blog
Scaling Biomolecular Modeling Using Context Parallelism in NVIDIA BioNeMo
For decades, computational biology has operated under a reductionist compromise. To fit complex biological systems into the limited memory of a single GPU, researchers have had to deconstruct them…
NVIDIA выпустила Nemotron 3 Nano Omni — единую мультимодальную модель для агентных систем.
Раньше AI-агенты использовали отдельные модели для текста, изображений, видео и аудио. Это усложняло архитектуру и повышало стоимость инференса. Nemotron 3 Nano Omni объединяет всё в одной модели на базе гибридной архитектуры MoE (30B параметров, активных — 3B).
Что важно:
— До 9.2× выше пропускная способность при работе с видео по сравнению с альтернативными open-source омни-моделями
— Лидирует в бенчмарках по документам (MMlongbench-Doc, OCRBenchV2), видео и аудио
— Поддерживает FP8 и NVFP4 квантизацию, работает на Ampere, Hopper и Blackwell GPU
— Полностью открытые веса, датасеты и рецепты обучения
Модель снижает сложность пайплайнов и стоимость развёртывания — особенно актуально для финансов, медицины, медиа и рекламных платформ, обрабатывающих большие объёмы видео и аудио.
https://developer.nvidia.com/blog/nvidia-nemotron-3-nano-omni-powers-multimodal-agent-reasoning-in-a-single-efficient-open-model/
Раньше AI-агенты использовали отдельные модели для текста, изображений, видео и аудио. Это усложняло архитектуру и повышало стоимость инференса. Nemotron 3 Nano Omni объединяет всё в одной модели на базе гибридной архитектуры MoE (30B параметров, активных — 3B).
Что важно:
— До 9.2× выше пропускная способность при работе с видео по сравнению с альтернативными open-source омни-моделями
— Лидирует в бенчмарках по документам (MMlongbench-Doc, OCRBenchV2), видео и аудио
— Поддерживает FP8 и NVFP4 квантизацию, работает на Ampere, Hopper и Blackwell GPU
— Полностью открытые веса, датасеты и рецепты обучения
Модель снижает сложность пайплайнов и стоимость развёртывания — особенно актуально для финансов, медицины, медиа и рекламных платформ, обрабатывающих большие объёмы видео и аудио.
https://developer.nvidia.com/blog/nvidia-nemotron-3-nano-omni-powers-multimodal-agent-reasoning-in-a-single-efficient-open-model/
NVIDIA Technical Blog
NVIDIA Nemotron 3 Nano Omni Powers Multimodal Agent Reasoning in a Single Efficient Open Model
Agentic systems often reason across screens, documents, audio, video, and text within a single perception‑to‑action loop. However, they still rely on fragmented model chains—separate stacks for vision…
Nvidia Tech запускает агентный AI для нефтегазовой отрасли
Nvidia представила архитектуру на основе агентного AI для автоматизации симуляций в подземной инженерии — разведке и разработке нефтяных и газовых резервуаров.
Суть простая: раньше инженеры вручную запускали симуляции, ждали результатов часами, а потом снова вручную анализировали данные. Теперь AI-агенты работают 24/7 — сами запускают расчёты, следят за ошибками, исправляют их и сразу готовят следующий цикл.
Что конкретно умеет система: отвечать на вопросы по симуляционным данным в реальном времени, автоматически редактировать параметры моделей, а мультиагентный «отряд» может оптимизировать размещение скважин — задача, которая раньше требовала дней ожидания и участия редких экспертов.
Для пользователей это означает сокращение цикла с нескольких дней до часов. Инженер остаётся в роли стратегического руководителя, а рутину берут на себя агенты. Фреймворк заявлен как универсальный — подойдёт для любых отраслей со сложными симуляциями.
https://developer.nvidia.com/blog/24-7-simulation-loops-how-agentic-ai-keeps-subsurface-engineering-moving/
Nvidia представила архитектуру на основе агентного AI для автоматизации симуляций в подземной инженерии — разведке и разработке нефтяных и газовых резервуаров.
Суть простая: раньше инженеры вручную запускали симуляции, ждали результатов часами, а потом снова вручную анализировали данные. Теперь AI-агенты работают 24/7 — сами запускают расчёты, следят за ошибками, исправляют их и сразу готовят следующий цикл.
Что конкретно умеет система: отвечать на вопросы по симуляционным данным в реальном времени, автоматически редактировать параметры моделей, а мультиагентный «отряд» может оптимизировать размещение скважин — задача, которая раньше требовала дней ожидания и участия редких экспертов.
Для пользователей это означает сокращение цикла с нескольких дней до часов. Инженер остаётся в роли стратегического руководителя, а рутину берут на себя агенты. Фреймворк заявлен как универсальный — подойдёт для любых отраслей со сложными симуляциями.
https://developer.nvidia.com/blog/24-7-simulation-loops-how-agentic-ai-keeps-subsurface-engineering-moving/
NVIDIA Technical Blog
24/7 Simulation Loops: How Agentic AI Keeps Subsurface Engineering Moving
The subsurface industry is at a critical point in its digital evolution. For decades, unlocking reservoir potential has relied on experts performing essential and time-intensive manual workflows.
TDD для данных: как превратить дата-инжиниринг в настоящую инженерию
Обычный пайплайн fine-tuning'а — открытый цикл: обучили, оценили, модель ошиблась, добавили ещё данных. Но никто не знает, КАКИЕ именно данные исправить. Авторы из OpenDataLab предложили аналог Test-Driven Development для данных.
Идея: извлечь из корпуса трёхуровневую структуру знаний (концепты → отношения → цепочки рассуждений) и использовать её как общую спецификацию и для обучающих данных, и для бенчмарка. Тогда провал на тесте = конкретный баг в данных, который можно точечно починить.
Фреймворк ProDa: 1) строим бенчмарк из знаний корпуса до обучения, 2) синтезируем SFT-данные из той же структуры, 3) каждый провал на бенчмарке → диагноз → патч данных → следующая итерация.
Результат: 32B-модель после одного раунда дебаггинга данных обходит GPT-4.5, Gemini Flash и DeepSeek-v3 на 16 дисциплинах, не теряя общих способностей.
https://arxiv.org/abs/2604.24819
Обычный пайплайн fine-tuning'а — открытый цикл: обучили, оценили, модель ошиблась, добавили ещё данных. Но никто не знает, КАКИЕ именно данные исправить. Авторы из OpenDataLab предложили аналог Test-Driven Development для данных.
Идея: извлечь из корпуса трёхуровневую структуру знаний (концепты → отношения → цепочки рассуждений) и использовать её как общую спецификацию и для обучающих данных, и для бенчмарка. Тогда провал на тесте = конкретный баг в данных, который можно точечно починить.
Фреймворк ProDa: 1) строим бенчмарк из знаний корпуса до обучения, 2) синтезируем SFT-данные из той же структуры, 3) каждый провал на бенчмарке → диагноз → патч данных → следующая итерация.
Результат: 32B-модель после одного раунда дебаггинга данных обходит GPT-4.5, Gemini Flash и DeepSeek-v3 на 16 дисциплинах, не теряя общих способностей.
https://arxiv.org/abs/2604.24819
GLM-5V-Turbo: мультимодальный агент от Z.ai (by Z.ai / Tsinghua)
Что если сделать мультимодальность не надстройкой над LLM, а её ядром? Именно так устроен GLM-5V-Turbo — модель, где восприятие изображений, видео, GUI и документов встроено в reasoning и планирование с самого начала.
Три ключевых технических решения:
1. CogViT — новый vision encoder с двухэтапным обучением: сначала дистилляция через masked image modeling (учителя SigLIP2 + DINOv3), затем контрастивное выравнивание на 8B изображений.
2. Multimodal MTP — расширение multi-token prediction на мультимодал. Вместо передачи визуальных эмбеддингов в MTP-голову используется один learnable токен <|image|>. Это стабилизирует обучение и упрощает инфраструктуру.
3. Joint RL по 30+ категориям задач — от OCR и grounding до GUI-агентов и coding.
Результат: 75.7 на AndroidWorld, 62.3 на OSWorld, 94.8 на Design2Code (лучше Claude Opus 4.6).
https://arxiv.org/abs/2604.26752
Что если сделать мультимодальность не надстройкой над LLM, а её ядром? Именно так устроен GLM-5V-Turbo — модель, где восприятие изображений, видео, GUI и документов встроено в reasoning и планирование с самого начала.
Три ключевых технических решения:
1. CogViT — новый vision encoder с двухэтапным обучением: сначала дистилляция через masked image modeling (учителя SigLIP2 + DINOv3), затем контрастивное выравнивание на 8B изображений.
2. Multimodal MTP — расширение multi-token prediction на мультимодал. Вместо передачи визуальных эмбеддингов в MTP-голову используется один learnable токен <|image|>. Это стабилизирует обучение и упрощает инфраструктуру.
3. Joint RL по 30+ категориям задач — от OCR и grounding до GUI-агентов и coding.
Результат: 75.7 на AndroidWorld, 62.3 на OSWorld, 94.8 на Design2Code (лучше Claude Opus 4.6).
https://arxiv.org/abs/2604.26752
Лучшие LLM-агенты для визуализации данных набирают лишь 40 из 100 — и вот почему
Большинство бенчмарков для data visualization агентов проверяют только одно: "нарисуй график по таблице". Но в реальной работе всё сложнее: нужно чинить сломанные диаграммы в Excel, переносить логику между Matplotlib и D3.js, и уточнять у пользователя что он вообще хотел.
DV-World — новый бенчмарк, покрывающий три сценария:
1. DV-Sheet: работа с нативными объектами spreadsheet (создание, починка, дашборды)
2. DV-Evol: конвертация визуализации между фреймворками (Python, Vega-Lite, D3.js) с новыми данными
3. DV-Interact: агент должен сам задавать уточняющие вопросы при размытом запросе пользователя
Результат: лучшие модели набирают 40/100 на DV-Sheet и 51/100 на DV-Evol. Одноразовая генерация кода — не проблема, а вот управление состоянием, семантический перенос логики и диалог с пользователем — пока нет.
https://arxiv.org/abs/2604.25914
Большинство бенчмарков для data visualization агентов проверяют только одно: "нарисуй график по таблице". Но в реальной работе всё сложнее: нужно чинить сломанные диаграммы в Excel, переносить логику между Matplotlib и D3.js, и уточнять у пользователя что он вообще хотел.
DV-World — новый бенчмарк, покрывающий три сценария:
1. DV-Sheet: работа с нативными объектами spreadsheet (создание, починка, дашборды)
2. DV-Evol: конвертация визуализации между фреймворками (Python, Vega-Lite, D3.js) с новыми данными
3. DV-Interact: агент должен сам задавать уточняющие вопросы при размытом запросе пользователя
Результат: лучшие модели набирают 40/100 на DV-Sheet и 51/100 на DV-Evol. Одноразовая генерация кода — не проблема, а вот управление состоянием, семантический перенос логики и диалог с пользователем — пока нет.
https://arxiv.org/abs/2604.25914
IBM Research выпустила семейство моделей Granite 4.1 — новое поколение своих открытых языковых моделей для бизнеса.
Что нового: модели стали компактнее и быстрее, при этом заметно улучшилось качество рассуждений и работы с кодом. Семейство охватывает несколько размеров — от лёгких моделей для запуска на устройствах до более мощных версий для корпоративных задач.
Почему важно: IBM делает ставку на открытость и прозрачность — Granite традиционно раскрывает данные обучения, что критично для enterprise-клиентов с требованиями к compliance. Это прямой конкурент Llama и Mistral в корпоративном сегменте.
Для пользователей: модели доступны через IBM watsonx и Hugging Face. Компании смогут дообучать их под свои задачи без лишних затрат.
https://research.ibm.com/blog/granite-4-1-ai-foundation-models?utm_medium=rss&utm_source=rss
Что нового: модели стали компактнее и быстрее, при этом заметно улучшилось качество рассуждений и работы с кодом. Семейство охватывает несколько размеров — от лёгких моделей для запуска на устройствах до более мощных версий для корпоративных задач.
Почему важно: IBM делает ставку на открытость и прозрачность — Granite традиционно раскрывает данные обучения, что критично для enterprise-клиентов с требованиями к compliance. Это прямой конкурент Llama и Mistral в корпоративном сегменте.
Для пользователей: модели доступны через IBM watsonx и Hugging Face. Компании смогут дообучать их под свои задачи без лишних затрат.
https://research.ibm.com/blog/granite-4-1-ai-foundation-models?utm_medium=rss&utm_source=rss
Apple ML представила Sonata — умный метод распределения вычислительных ресурсов для языковых моделей.
Суть проблемы: современные LLM умеют "думать" перед ответом (chain-of-thought reasoning), но тратят одинаково много токенов на простые и сложные запросы — это расточительно.
Решение: Sonata определяет, насколько сложен запрос, через self-consistency — если модель даёт одинаковые ответы разными путями рассуждений, задача простая и думать долго не нужно. Лёгкий адаптер предсказывает это прямо во время обработки запроса и регулирует бюджет токенов на лету.
Результаты на моделях Qwen3 и GPT-OSS-120B: экономия от 20% до 80% токенов мышления без потери точности, либо рост точности до 5% при том же бюджете. Накладные расходы — почти нулевые.
Почему важно: пользователи платят за inference-токены, а значит Sonata может напрямую снизить стоимость использования мощных reasoning-моделей.
Статья принята на ICLR 2026.
https://machinelearning.apple.com/research/adaptive-thinking
Суть проблемы: современные LLM умеют "думать" перед ответом (chain-of-thought reasoning), но тратят одинаково много токенов на простые и сложные запросы — это расточительно.
Решение: Sonata определяет, насколько сложен запрос, через self-consistency — если модель даёт одинаковые ответы разными путями рассуждений, задача простая и думать долго не нужно. Лёгкий адаптер предсказывает это прямо во время обработки запроса и регулирует бюджет токенов на лету.
Результаты на моделях Qwen3 и GPT-OSS-120B: экономия от 20% до 80% токенов мышления без потери точности, либо рост точности до 5% при том же бюджете. Накладные расходы — почти нулевые.
Почему важно: пользователи платят за inference-токены, а значит Sonata может напрямую снизить стоимость использования мощных reasoning-моделей.
Статья принята на ICLR 2026.
https://machinelearning.apple.com/research/adaptive-thinking
Apple Machine Learning Research
Adaptive Thinking: Large Language Models Know When to Think in Latent Space
Recent advances in large language models (LLMs) test-time computing have introduced the capability to perform intermediate chain-of-thought…
Apple ML на CVPR 2026 представила метод DSO — Direct Steering Optimization для борьбы с предвзятостью в AI-моделях.
Проблема: языко-визуальные модели (VLM) принимают решения, основываясь на демографических признаках людей на изображениях. Например, модель может не распознать женщину как врача — это реальный вред для людей с нарушениями зрения, которые используют такие системы.
Что сделали: DSO использует обучение с подкреплением для поиска линейных преобразований активаций нейросети прямо во время инференса. Это позволяет снижать предвзятость без переобучения модели, а главное — давать пользователям контроль над балансом между справедливостью и общей точностью модели.
Почему важно: существующие методы steering плохо справляются с задачами, где нужны равновероятные исходы для разных групп. DSO решает именно эту проблему и показывает лучший баланс fairness/capabilities среди аналогов.
Код уже открыт на GitHub.
https://machinelearning.apple.com/research/direct-steering-optimization
Проблема: языко-визуальные модели (VLM) принимают решения, основываясь на демографических признаках людей на изображениях. Например, модель может не распознать женщину как врача — это реальный вред для людей с нарушениями зрения, которые используют такие системы.
Что сделали: DSO использует обучение с подкреплением для поиска линейных преобразований активаций нейросети прямо во время инференса. Это позволяет снижать предвзятость без переобучения модели, а главное — давать пользователям контроль над балансом между справедливостью и общей точностью модели.
Почему важно: существующие методы steering плохо справляются с задачами, где нужны равновероятные исходы для разных групп. DSO решает именно эту проблему и показывает лучший баланс fairness/capabilities среди аналогов.
Код уже открыт на GitHub.
https://machinelearning.apple.com/research/direct-steering-optimization
Apple Machine Learning Research
DSO: Direct Steering Optimization for Bias Mitigation
Generative models are often deployed to make decisions on behalf of users, such as vision-language models (VLMs) identifying which person in…
Как подружить специализированные научные модели с языковыми агентами?
LLM-агенты отлично рассуждают, но плохо работают с нелингвистическими данными — временными рядами, формулами, молекулярными структурами. Специализированные модели (FM) умеют работать с такими данными, но не понимают естественного языка. Как их подружить?
Авторы из UIUC предложили фреймворк Eywa (вдохновлённый Аватаром!). Идея: создать "Tsaheylu" — интерфейс-мост между LLM и FM. LLM компилирует задачу в структурированный вызов FM, FM считает, результат адаптируется обратно в языковое представление. Реализовано через Model Context Protocol.
На основе этого примитива строятся три системы: EywaAgent (одиночный агент), EywaMAS (мультиагентная система) и EywaOrchestra (с центральным планировщиком).
Результат: +7% качества на научных задачах при -30% токенов и -10% времени по сравнению с чисто языковыми агентами.
https://arxiv.org/abs/2604.27351
LLM-агенты отлично рассуждают, но плохо работают с нелингвистическими данными — временными рядами, формулами, молекулярными структурами. Специализированные модели (FM) умеют работать с такими данными, но не понимают естественного языка. Как их подружить?
Авторы из UIUC предложили фреймворк Eywa (вдохновлённый Аватаром!). Идея: создать "Tsaheylu" — интерфейс-мост между LLM и FM. LLM компилирует задачу в структурированный вызов FM, FM считает, результат адаптируется обратно в языковое представление. Реализовано через Model Context Protocol.
На основе этого примитива строятся три системы: EywaAgent (одиночный агент), EywaMAS (мультиагентная система) и EywaOrchestra (с центральным планировщиком).
Результат: +7% качества на научных задачах при -30% токенов и -10% времени по сравнению с чисто языковыми агентами.
https://arxiv.org/abs/2604.27351