NVIDIA DeepStream 9 теперь поддерживает работу с ИИ-агентами для написания кода
NVIDIA выпустила DeepStream 9 — обновление платформы для видеоаналитики, которое позволяет создавать сложные CV-пайплайны через обычные текстовые промпты в агентах вроде Claude Code или Cursor.
Что изменилось: раньше разработка систем с обработкой десятков видеопотоков требовала тысяч строк кода вручную. Теперь агент сам генерирует полноценный микросервис — с REST API, Docker-контейнером, Kafka-интеграцией и мониторингом — буквально за одну сессию.
Поддерживаются любые модели: NVIDIA Cosmos Reason 2, YOLOv26 и другие. Агент сам инспектирует модель, определяет форматы тензоров и генерирует нужный конфиг.
Почему важно: порог входа в промышленную видеоаналитику резко снижается. То, что раньше занимало недели, теперь — вопрос нескольких промптов.
https://developer.nvidia.com/blog/how-to-build-vision-ai-pipelines-using-deepstream-coding-agents/
NVIDIA выпустила DeepStream 9 — обновление платформы для видеоаналитики, которое позволяет создавать сложные CV-пайплайны через обычные текстовые промпты в агентах вроде Claude Code или Cursor.
Что изменилось: раньше разработка систем с обработкой десятков видеопотоков требовала тысяч строк кода вручную. Теперь агент сам генерирует полноценный микросервис — с REST API, Docker-контейнером, Kafka-интеграцией и мониторингом — буквально за одну сессию.
Поддерживаются любые модели: NVIDIA Cosmos Reason 2, YOLOv26 и другие. Агент сам инспектирует модель, определяет форматы тензоров и генерирует нужный конфиг.
Почему важно: порог входа в промышленную видеоаналитику резко снижается. То, что раньше занимало недели, теперь — вопрос нескольких промптов.
https://developer.nvidia.com/blog/how-to-build-vision-ai-pipelines-using-deepstream-coding-agents/
NVIDIA Technical Blog
How to Build Vision AI Pipelines Using NVIDIA DeepStream Coding Agents
Developing real-time vision AI applications presents a significant challenge for developers, often demanding intricate data pipelines, countless lines of code, and lengthy development cycles.
Amazon Science раскрыла детали верификации Nitro Isolation Engine
AWS использовала инструмент математических доказательств Isabelle/HOL, чтобы формально верифицировать Nitro Isolation Engine — гипервизор, который изолирует данные клиентов в облаке. Это первый в мире облачный гипервизор с такой степенью проверки безопасности.
Что это значит на практике: вместо тестирования «на авось» инженеры математически доказали корректность кода — 250 тысяч строк доказательств, которые проверяются на обычном ноутбуке за полчаса. В основе лежит логика высшего порядка и специализированный язык separation logic для верификации работы с общими ресурсами.
Почему важно: формальная верификация критической инфраструктуры — это новый стандарт для облачной безопасности. Если баг нельзя найти тестами, его можно исключить математически. AWS уже применяла похожий подход для криптоалгоритмов на чипе Graviton2, ускорив цифровые подписи на 94%.
https://www.amazon.science/blog/isabelle-hol-the-proof-assistant-behind-the-nitro-isolation-engine
AWS использовала инструмент математических доказательств Isabelle/HOL, чтобы формально верифицировать Nitro Isolation Engine — гипервизор, который изолирует данные клиентов в облаке. Это первый в мире облачный гипервизор с такой степенью проверки безопасности.
Что это значит на практике: вместо тестирования «на авось» инженеры математически доказали корректность кода — 250 тысяч строк доказательств, которые проверяются на обычном ноутбуке за полчаса. В основе лежит логика высшего порядка и специализированный язык separation logic для верификации работы с общими ресурсами.
Почему важно: формальная верификация критической инфраструктуры — это новый стандарт для облачной безопасности. Если баг нельзя найти тестами, его можно исключить математически. AWS уже применяла похожий подход для криптоалгоритмов на чипе Graviton2, ускорив цифровые подписи на 94%.
https://www.amazon.science/blog/isabelle-hol-the-proof-assistant-behind-the-nitro-isolation-engine
Amazon Science
Isabelle/HOL: The proof assistant behind the Nitro Isolation Engine
Isabelle/HOL's balance of expressiveness, automation, and scalability enabled the world's first formally verified cloud hypervisor.
Томас Вольф (сооснователь Hugging Face) поделился техническим разбором для тех, кто хочет разобраться в обучении языковых моделей с подкреплением (RLHF).
В библиотеку TRL добавили AsyncGRPO — асинхронный режим обучения, который разделяет инференс и тренировку модели. Это позволяет масштабировать процесс значительно быстрее. Вольф описывает пост как нечто среднее между детективной историей и туториалом — звучит как отличное чтение на воскресное утро для тех, кто следит за миром ML.
TRL — популярная библиотека от Hugging Face для файн-тюнинга моделей с помощью обратной связи от человека, именно такой подход используется при создании ChatGPT и подобных систем.
https://x.com/Thom_Wolf/status/2045817727705628714
В библиотеку TRL добавили AsyncGRPO — асинхронный режим обучения, который разделяет инференс и тренировку модели. Это позволяет масштабировать процесс значительно быстрее. Вольф описывает пост как нечто среднее между детективной историей и туториалом — звучит как отличное чтение на воскресное утро для тех, кто следит за миром ML.
TRL — популярная библиотека от Hugging Face для файн-тюнинга моделей с помощью обратной связи от человека, именно такой подход используется при создании ChatGPT и подобных систем.
https://x.com/Thom_Wolf/status/2045817727705628714
X (formerly Twitter)
Thomas Wolf (@Thom_Wolf) on X
**Deep content post alert** A technical deep dive for your Sunday morning, somewhere between a short detective story 🕵️ and a tutorial on RLHF 🧑🏫
We recently added AsyncGRPO in the TRL library to decouple inference and training and scale much faster and…
We recently added AsyncGRPO in the TRL library to decouple inference and training and scale much faster and…
Клеман Делонг, CEO Hugging Face, объявил, что их платформа превращается в главную площадку для AI-агентов. Теперь агенты могут обращаться к более чем миллиону так называемых Spaces — это отдельные приложения и демо, размещённые на HF. По сути, агент может вызвать любой из них как инструмент и использовать возможности самых разных специализированных моделей: для работы с изображениями, звуком, кодом, текстом и чем угодно ещё. Это серьёзный шаг: вместо того чтобы встраивать всё в одну модель, агент просто делегирует задачи лучшим инструментам в экосистеме. Hugging Face явно метит в роль операционной системы для агентного AI.
https://x.com/ClementDelangue/status/2045640413256564818
https://x.com/ClementDelangue/status/2045640413256564818
X (formerly Twitter)
clem 🤗 (@ClementDelangue) on X
Hugging Face is becoming the platform for agents to use and build AI. Now they can call 1M HF spaces to do everything the latest specialized models can do!
🔥1
UniDoc-RL: RAG для визуальных документов теперь умеет "смотреть" как человек (by DeepGlint)
Представьте: вы ищете ответ в стопке отсканированных отчётов. Сначала грубо отбираете нужные страницы, потом фокусируетесь на конкретном графике — и только тогда отвечаете. Именно так работает UniDoc-RL.
Система строит иерархическое пространство действий: Search (грубый поиск через внешний ретривер) → Select (LVLM-агент семантически отфильтровывает нерелевантные картинки) → Visual Perception (crop + zoom на информативные регионы). Всё это обучается через RL с плотными наградами: NDCG-based за retrieval, IoU-based за кроп, accuracy за финальный ответ — никакой проблемы кредитного присвоения.
Результат: +17.7% к предыдущим RL-методам на трёх бенчмарках по visual document QA.
https://arxiv.org/abs/2604.14967
Представьте: вы ищете ответ в стопке отсканированных отчётов. Сначала грубо отбираете нужные страницы, потом фокусируетесь на конкретном графике — и только тогда отвечаете. Именно так работает UniDoc-RL.
Система строит иерархическое пространство действий: Search (грубый поиск через внешний ретривер) → Select (LVLM-агент семантически отфильтровывает нерелевантные картинки) → Visual Perception (crop + zoom на информативные регионы). Всё это обучается через RL с плотными наградами: NDCG-based за retrieval, IoU-based за кроп, accuracy за финальный ответ — никакой проблемы кредитного присвоения.
Результат: +17.7% к предыдущим RL-методам на трёх бенчмарках по visual document QA.
https://arxiv.org/abs/2604.14967
"Align First, Decode Later" — новый принцип для 3D Gaussian Splatting
Обычные feed-forward методы 3DGS работают так: берут каждый входной вид, предсказывают гауссианы попиксельно, а потом пытаются всё это состыковать. Итог — с ростом числа видов гауссианы множатся как грибы: 100K–миллионы штук, 150–600 MB, >500 мс инференса.
GlobalSplat переворачивает пайплайн: сначала все входные виды агрегируются в фиксированный набор глобальных латентных токенов сцены, и только потом из них декодируются гауссианы. Число токенов — константа, не зависит от числа входных видов.
Результат: 16K гауссиан вместо миллионов, <4 MB на сцену, 1.79 GB GPU памяти, инференс <78 мс — при сопоставимом качестве (28.5 PSNR на 24 видах RealEstate10K). Архитектура использует двухветвевое итеративное внимание, разделяя геометрию и внешний вид, плюс coarse-to-fine curriculum при обучении.
https://arxiv.org/abs/2604.15284
Обычные feed-forward методы 3DGS работают так: берут каждый входной вид, предсказывают гауссианы попиксельно, а потом пытаются всё это состыковать. Итог — с ростом числа видов гауссианы множатся как грибы: 100K–миллионы штук, 150–600 MB, >500 мс инференса.
GlobalSplat переворачивает пайплайн: сначала все входные виды агрегируются в фиксированный набор глобальных латентных токенов сцены, и только потом из них декодируются гауссианы. Число токенов — константа, не зависит от числа входных видов.
Результат: 16K гауссиан вместо миллионов, <4 MB на сцену, 1.79 GB GPU памяти, инференс <78 мс — при сопоставимом качестве (28.5 PSNR на 24 видах RealEstate10K). Архитектура использует двухветвевое итеративное внимание, разделяя геометрию и внешний вид, плюс coarse-to-fine curriculum при обучении.
https://arxiv.org/abs/2604.15284
LLM-ассистент, который помнит тебя по-настоящему — и меняет мнение вместе с тобой
Проблема современных персонализированных ИИ: они запоминают тебя статично. Сказал однажды, что любишь Sprite — будут советовать его вечно, даже если ты уже год пьёшь Колу.
PersonaVLM решает это через динамическую память и эволюцию личности. Архитектура хранит 4 типа воспоминаний (факты, привычки, события, базовые атрибуты) плюс профиль личности по модели Big Five (OCEAN). При каждом диалоге модель не только отвечает с учётом твоих черт характера, но и обновляет профиль через momentum-механизм — личность пользователя "дрейфует" по мере новых взаимодействий.
Два режима работы: Response Stage (retrieval + reasoning + ответ под твой характер) и Update Stage (обновление памяти и Big Five-оценок).
Дополнительно авторы собрали датасет из 30k взаимодействий для 500 персон и новый бенчмарк Persona-MME. Результат: +22.4% на Persona-MME, обгоняет GPT-4o.
https://arxiv.org/abs/2604.13074
Проблема современных персонализированных ИИ: они запоминают тебя статично. Сказал однажды, что любишь Sprite — будут советовать его вечно, даже если ты уже год пьёшь Колу.
PersonaVLM решает это через динамическую память и эволюцию личности. Архитектура хранит 4 типа воспоминаний (факты, привычки, события, базовые атрибуты) плюс профиль личности по модели Big Five (OCEAN). При каждом диалоге модель не только отвечает с учётом твоих черт характера, но и обновляет профиль через momentum-механизм — личность пользователя "дрейфует" по мере новых взаимодействий.
Два режима работы: Response Stage (retrieval + reasoning + ответ под твой характер) и Update Stage (обновление памяти и Big Five-оценок).
Дополнительно авторы собрали датасет из 30k взаимодействий для 500 персон и новый бенчмарк Persona-MME. Результат: +22.4% на Persona-MME, обгоняет GPT-4o.
https://arxiv.org/abs/2604.13074
PyTorch (Meta): как инженеры подняли эффективность обучения AI-моделей выше 90%
Meta поделилась опытом оптимизации тренировочной инфраструктуры на PyTorch для рекомендательных систем.
Команда ввела метрику ETT% — доля времени, которую кластер реально тратит на обучение, а не на запуск, сбои и восстановление. До оптимизаций значительная часть GPU-времени уходила впустую.
За полтора года разработали более 40 улучшений: распараллелили PT2-компиляцию и загрузку данных, убрали лишние all_gather-вызовы при инициализации, ускорили восстановление после сбоев и перенесли публикацию моделей для инференса с GPU на CPU.
Результат: ETT% для офлайн-обучения превысил 90%.
Часть улучшений уже в опенсорсе — оптимизации TorchRec и PT2. Остальное адаптируемо для других команд.
https://pytorch.org/blog/optimizing-effective-training-time-for-metas-internal-recommendation-ranking-workloads/
Meta поделилась опытом оптимизации тренировочной инфраструктуры на PyTorch для рекомендательных систем.
Команда ввела метрику ETT% — доля времени, которую кластер реально тратит на обучение, а не на запуск, сбои и восстановление. До оптимизаций значительная часть GPU-времени уходила впустую.
За полтора года разработали более 40 улучшений: распараллелили PT2-компиляцию и загрузку данных, убрали лишние all_gather-вызовы при инициализации, ускорили восстановление после сбоев и перенесли публикацию моделей для инференса с GPU на CPU.
Результат: ETT% для офлайн-обучения превысил 90%.
Часть улучшений уже в опенсорсе — оптимизации TorchRec и PT2. Остальное адаптируемо для других команд.
https://pytorch.org/blog/optimizing-effective-training-time-for-metas-internal-recommendation-ranking-workloads/
Сломать нейросеть двумя битами (by NVIDIA)
Что если для полного уничтожения нейросети достаточно перевернуть 1-2 бита в весах модели — без данных, без обучения, без единого прохода через сеть?
Именно это показывают авторы из NVIDIA. Они нашли "критические параметры" — веса с большой величиной в ранних слоях, чей знаковый бит особенно уязвим. Флип знакового бита в IEEE-754 меняет вес с +X на -X, что ломает всю цепочку вычислений.
Атака DNL работает чисто эвристически: смотришь на веса, находишь самые большие по модулю в ранних слоях — и флипаешь их знаковый бит. Для модели Qwen3-30B-A3B два флипа в двух разных экспертах роняют точность с 78% до 0%.
Вектор атаки реальный: Rowhammer, DMA через Thunderbolt, прошивки GPU, руткиты. Всё это позволяет точечно менять биты в памяти без ведома ОС.
https://arxiv.org/abs/2502.07408
Что если для полного уничтожения нейросети достаточно перевернуть 1-2 бита в весах модели — без данных, без обучения, без единого прохода через сеть?
Именно это показывают авторы из NVIDIA. Они нашли "критические параметры" — веса с большой величиной в ранних слоях, чей знаковый бит особенно уязвим. Флип знакового бита в IEEE-754 меняет вес с +X на -X, что ломает всю цепочку вычислений.
Атака DNL работает чисто эвристически: смотришь на веса, находишь самые большие по модулю в ранних слоях — и флипаешь их знаковый бит. Для модели Qwen3-30B-A3B два флипа в двух разных экспертах роняют точность с 78% до 0%.
Вектор атаки реальный: Rowhammer, DMA через Thunderbolt, прошивки GPU, руткиты. Всё это позволяет точечно менять биты в памяти без ведома ОС.
https://arxiv.org/abs/2502.07408
OneVL: цепочка мыслей без авторегрессии (by Xiaomi Research)
Chain-of-Thought рассуждения делают автопилот умнее, но медленнее — модель должна сгенерировать все токены рассуждения до того, как выдать траекторию. OneVL решает это радикально: вместо текстовых токенов рассуждения — компактные латентные векторы двух типов, языковые и визуальные.
Фишка: во время обучения два вспомогательных декодера заставляют эти латентные векторы восстанавливать одновременно текстовый CoT и предсказанные будущие кадры сцены (world model). На инференсе деодеры выбрасываются, а латентные токены просто prefill-ятся в контекст — один проход, скорость как у модели без рассуждений.
Результат: OneVL обгоняет явный CoT по качеству траекторий, при этом работает быстро. Авторы показывают, что визуальное предсказание будущего — ключевой ингредиент, которого не хватало языковым latent CoT методам вроде COCONUT и CODI.
https://arxiv.org/abs/2604.18486
Chain-of-Thought рассуждения делают автопилот умнее, но медленнее — модель должна сгенерировать все токены рассуждения до того, как выдать траекторию. OneVL решает это радикально: вместо текстовых токенов рассуждения — компактные латентные векторы двух типов, языковые и визуальные.
Фишка: во время обучения два вспомогательных декодера заставляют эти латентные векторы восстанавливать одновременно текстовый CoT и предсказанные будущие кадры сцены (world model). На инференсе деодеры выбрасываются, а латентные токены просто prefill-ятся в контекст — один проход, скорость как у модели без рассуждений.
Результат: OneVL обгоняет явный CoT по качеству траекторий, при этом работает быстро. Авторы показывают, что визуальное предсказание будущего — ключевой ингредиент, которого не хватало языковым latent CoT методам вроде COCONUT и CODI.
https://arxiv.org/abs/2604.18486
SNR-t bias: скрытая болезнь диффузионных моделей (by Alibaba)
Диффузионные модели во время обучения жёстко связывают уровень шума (SNR) с номером шага. Но при инференсе накапливаются ошибки — и реальный SNR сэмпла перестаёт соответствовать тому шагу, на который рассчитана сеть. Авторы называют это SNR-t bias.
Последствия конкретные: сеть получает сэмпл с "неправильным" SNR и начинает предсказывать неверное количество шума. Причём обратный процесс систематически даёт более низкий SNR, чем прямой — то есть сеть всегда работает в условиях, к которым не готовилась.
Решение — без дообучения. Авторы предлагают динамическую дифференциальную коррекцию в вейвлет-домене: на каждом шаге сравниваются распределения "предсказанного" и "реконструированного" сэмпла, разница используется как градиент для коррекции. Вейвлеты позволяют отдельно корректировать низкие и высокие частоты — что логично, ведь диффузия сначала восстанавливает контуры, потом детали.
Диффузионные модели во время обучения жёстко связывают уровень шума (SNR) с номером шага. Но при инференсе накапливаются ошибки — и реальный SNR сэмпла перестаёт соответствовать тому шагу, на который рассчитана сеть. Авторы называют это SNR-t bias.
Последствия конкретные: сеть получает сэмпл с "неправильным" SNR и начинает предсказывать неверное количество шума. Причём обратный процесс систематически даёт более низкий SNR, чем прямой — то есть сеть всегда работает в условиях, к которым не готовилась.
Решение — без дообучения. Авторы предлагают динамическую дифференциальную коррекцию в вейвлет-домене: на каждом шаге сравниваются распределения "предсказанного" и "реконструированного" сэмпла, разница используется как градиент для коррекции. Вейвлеты позволяют отдельно корректировать низкие и высокие частоты — что логично, ведь диффузия сначала восстанавливает контуры, потом детали.
Nvidia Tech запустила поддержку сквозного обучения с подкреплением на точности FP8 в библиотеке NeMo RL.
Суть: обучение LLM через RL (например, алгоритм GRPO) делится на два этапа — генерацию и тренировку. Раньше использование FP8 только на одном из этапов создавало численные расхождения и снижало точность. Теперь FP8 применяется сквозь оба этапа, что решает проблему.
Что это даёт:
— Прирост скорости 15–25% по сравнению с BF16 при сопоставимой точности (0.613 vs 0.616 на Llama 3.1 8B)
— Поддержка как плотных моделей, так и MoE (Qwen3-30B)
— FP8 для KV-кэша и attention с автоматической рекалибровкой после каждого шага обучения
Для исследователей и инженеров это означает: можно обучать более мощные reasoning-модели быстрее и дешевле без потери качества. Всё доступно в открытом исходном коде через NeMo framework.
https://developer.nvidia.com/blog/run-high-throughput-reinforcement-learning-training-with-end-to-end-fp8-precision/
Суть: обучение LLM через RL (например, алгоритм GRPO) делится на два этапа — генерацию и тренировку. Раньше использование FP8 только на одном из этапов создавало численные расхождения и снижало точность. Теперь FP8 применяется сквозь оба этапа, что решает проблему.
Что это даёт:
— Прирост скорости 15–25% по сравнению с BF16 при сопоставимой точности (0.613 vs 0.616 на Llama 3.1 8B)
— Поддержка как плотных моделей, так и MoE (Qwen3-30B)
— FP8 для KV-кэша и attention с автоматической рекалибровкой после каждого шага обучения
Для исследователей и инженеров это означает: можно обучать более мощные reasoning-модели быстрее и дешевле без потери качества. Всё доступно в открытом исходном коде через NeMo framework.
https://developer.nvidia.com/blog/run-high-throughput-reinforcement-learning-training-with-end-to-end-fp8-precision/
NVIDIA Technical Blog
Run High-Throughput Reinforcement Learning Training with End-to-End FP8 Precision
As LLMs transition from simple text generation to complex reasoning, reinforcement learning (RL) plays a central role. Algorithms like Group Relative Policy Optimization (GRPO) power this transition…
Nvidia AI Red Team обнаружила новый вид атаки на агентные AI-инструменты вроде OpenAI Codex.
Суть атаки: вредоносная зависимость в проекте подменяет файл AGENTS.md — специальный файл с инструкциями для AI-агента. В результате Codex начинает выполнять команды злоумышленника вместо команд разработчика, причём скрытно: без упоминания в коммитах и PR-описаниях.
В демо-сценарии разработчик просил изменить текст приветствия, а агент вместо этого тихо добавлял пятиминутную задержку в код — и создавал PR с описанием оригинального запроса.
Почему это опасно: атака использует уже существующее выполнение кода через supply chain. AGENTS.md воспринимается агентом как доверенный контекст — и это становится точкой входа.
Nvidia рекомендует ограничивать доступ агентов к файловой системе, проверять изменения в AGENTS.md и не давать агентам права на автоматическое создание PR без ревью.
https://developer.nvidia.com/blog/mitigating-indirect-agents-md-injection-attacks-in-agentic-environments/
Суть атаки: вредоносная зависимость в проекте подменяет файл AGENTS.md — специальный файл с инструкциями для AI-агента. В результате Codex начинает выполнять команды злоумышленника вместо команд разработчика, причём скрытно: без упоминания в коммитах и PR-описаниях.
В демо-сценарии разработчик просил изменить текст приветствия, а агент вместо этого тихо добавлял пятиминутную задержку в код — и создавал PR с описанием оригинального запроса.
Почему это опасно: атака использует уже существующее выполнение кода через supply chain. AGENTS.md воспринимается агентом как доверенный контекст — и это становится точкой входа.
Nvidia рекомендует ограничивать доступ агентов к файловой системе, проверять изменения в AGENTS.md и не давать агентам права на автоматическое создание PR без ревью.
https://developer.nvidia.com/blog/mitigating-indirect-agents-md-injection-attacks-in-agentic-environments/
NVIDIA Technical Blog
Mitigating Indirect AGENTS.md Injection Attacks in Agentic Environments
AI tools are significantly accelerating software development and changing how developers work with code. These tools serve as real-time copilots, automating repetitive tasks, executing tasks…
Apple ML предупреждает: ваши логиты знают больше, чем вы думаете
Исследователи Apple ML опубликовали работу о скрытой утечке информации через логиты языковых моделей. Оказывается, даже топ-k логиты — самый доступный "срез" модели — могут раскрывать данные, которые разработчик считал надёжно скрытыми.
Эксперимент проводился на vision-language моделях. Выяснилось: логиты способны сливать нерелевантную информацию об изображении из запроса — иногда столько же, сколько прямая проекция полного residual stream.
Почему это важно: компании, предоставляющие доступ к моделям через API, часто возвращают вероятности токенов. Это создаёт реальный риск — злоумышленник может извлечь чувствительные данные, даже не взламывая модель напрямую.
Работа ставит неудобный вопрос перед всей индустрией: насколько безопасно публиковать логиты?
https://machinelearning.apple.com/research/what-do-your-logits-know
Исследователи Apple ML опубликовали работу о скрытой утечке информации через логиты языковых моделей. Оказывается, даже топ-k логиты — самый доступный "срез" модели — могут раскрывать данные, которые разработчик считал надёжно скрытыми.
Эксперимент проводился на vision-language моделях. Выяснилось: логиты способны сливать нерелевантную информацию об изображении из запроса — иногда столько же, сколько прямая проекция полного residual stream.
Почему это важно: компании, предоставляющие доступ к моделям через API, часто возвращают вероятности токенов. Это создаёт реальный риск — злоумышленник может извлечь чувствительные данные, даже не взламывая модель напрямую.
Работа ставит неудобный вопрос перед всей индустрией: насколько безопасно публиковать логиты?
https://machinelearning.apple.com/research/what-do-your-logits-know
Apple Machine Learning Research
What Do Your Logits Know? (The Answer May Surprise You!)
Recent work has shown that probing model internals can reveal a wealth of information not apparent from the model generations. This poses…
LLM-агент, который пишет игры с нуля — и не ломается на третьем файле
Попросить ChatGPT написать игру — классика жанра. Получить что-то реально запускаемое — нет. Авторы из CUHK разобрали три типичных провала: модель теряет глобальный стейт, не умеет в API движка, и файлы проекта не стыкуются друг с другом.
Решение — OpenGame: агент + специализированная модель GameCoder-27B (на базе Qwen3.5-27B), обученная через CPT → SFT → RL на репозиториях Phaser/JS.
Ключевая фишка — Game Skill: Template Skill строит библиотеку скелетов проектов (side-view, top-down и т.д.), а Debug Skill ведёт живой протокол отладки, накапливая верифицированные фиксы вместо того, чтобы каждый раз изобретать велосипед.
Плюс новый бенчмарк OpenGame-Bench — оценка не по unit-тестам, а по реальной запускаемости в headless-браузере.
https://arxiv.org/abs/2604.18394
Попросить ChatGPT написать игру — классика жанра. Получить что-то реально запускаемое — нет. Авторы из CUHK разобрали три типичных провала: модель теряет глобальный стейт, не умеет в API движка, и файлы проекта не стыкуются друг с другом.
Решение — OpenGame: агент + специализированная модель GameCoder-27B (на базе Qwen3.5-27B), обученная через CPT → SFT → RL на репозиториях Phaser/JS.
Ключевая фишка — Game Skill: Template Skill строит библиотеку скелетов проектов (side-view, top-down и т.д.), а Debug Skill ведёт живой протокол отладки, накапливая верифицированные фиксы вместо того, чтобы каждый раз изобретать велосипед.
Плюс новый бенчмарк OpenGame-Bench — оценка не по unit-тестам, а по реальной запускаемости в headless-браузере.
https://arxiv.org/abs/2604.18394
❤1
Test-time training для LLM: как не упереться в потолок собственной тупости?
Проблема методов вроде TTRL и EMPO: они улучшают модель на тестовых данных без разметки, используя self-rewarding сигналы (majority voting, энтропия). Но чем увереннее модель в своих паттернах — тем хуже сигнал. Итог: плато и коллапс разнообразия ответов.
TEMPO решает это через EM-алгоритм с разделением ролей: актор обучается на unlabeled тестовых вопросах, получая награды от критика. А критик периодически перекалибруется на размеченных данных. E-шаг (обновление критика) — это то, чего не хватало всем предыдущим методам.
Результат: Qwen3-14B на AIME 2024 прыгает с 42.3% до 65.8%, OLMO3-7B с 33% до 51.1%. При этом pass@K не падает — разнообразие сохраняется.
Работает не только на математике, но и на логических задачах и STEM.
https://arxiv.org/abs/2604.19295
Проблема методов вроде TTRL и EMPO: они улучшают модель на тестовых данных без разметки, используя self-rewarding сигналы (majority voting, энтропия). Но чем увереннее модель в своих паттернах — тем хуже сигнал. Итог: плато и коллапс разнообразия ответов.
TEMPO решает это через EM-алгоритм с разделением ролей: актор обучается на unlabeled тестовых вопросах, получая награды от критика. А критик периодически перекалибруется на размеченных данных. E-шаг (обновление критика) — это то, чего не хватало всем предыдущим методам.
Результат: Qwen3-14B на AIME 2024 прыгает с 42.3% до 65.8%, OLMO3-7B с 33% до 51.1%. При этом pass@K не падает — разнообразие сохраняется.
Работает не только на математике, но и на логических задачах и STEM.
https://arxiv.org/abs/2604.19295
Модели уверены даже когда ошибаются — и виновато дистилляция (by Salesforce AI Research)
Все топовые LLM — GPT, Claude, Gemini, DeepSeek — страдают от одной болезни: они систематически переоценивают свою уверенность. Авторы называют это «Законом масштабирования неправильной калибровки»: чем мощнее модель, тем увереннее она ошибается.
Виновник — On-Policy Distillation (OPD). Учитель обучается с привилегированным контекстом (правильным ответом), поэтому генерирует почти детерминированные траектории с уверенностью ~1.0. Студент вынужден имитировать эту уверенность — но без доступа к подсказкам. Результат: искусственно заострённые логиты и слепой оптимизм.
Решение — CaOPD: разделить «что отвечать» и «насколько быть уверенным». Траектории берутся от учителя, а confidence-токен заменяется на реальный эмпирический success rate студента по нескольким роллаутам. Итог: компактная 8B модель бьёт фронтирные API по калибровке, не теряя точности.
https://arxiv.org/abs/2604.16830
Все топовые LLM — GPT, Claude, Gemini, DeepSeek — страдают от одной болезни: они систематически переоценивают свою уверенность. Авторы называют это «Законом масштабирования неправильной калибровки»: чем мощнее модель, тем увереннее она ошибается.
Виновник — On-Policy Distillation (OPD). Учитель обучается с привилегированным контекстом (правильным ответом), поэтому генерирует почти детерминированные траектории с уверенностью ~1.0. Студент вынужден имитировать эту уверенность — но без доступа к подсказкам. Результат: искусственно заострённые логиты и слепой оптимизм.
Решение — CaOPD: разделить «что отвечать» и «насколько быть уверенным». Траектории берутся от учителя, а confidence-токен заменяется на реальный эмпирический success rate студента по нескольким роллаутам. Итог: компактная 8B модель бьёт фронтирные API по калибровке, не теряя точности.
https://arxiv.org/abs/2604.16830
Nvidia Tech — оптимизация памяти для запуска больших AI-моделей на Jetson
Nvidia опубликовала техническое руководство по максимально эффективному использованию памяти на платформе Jetson — для запуска многомиллиардных языковых моделей прямо на периферийных устройствах: роботах, автономных агентах и промышленных системах.
Главная проблема: на edge-устройствах CPU и GPU делят ограниченную память, и любая неэффективность ведёт к задержкам или сбоям.
Что предлагают инженеры Nvidia:
— Отключить графический рабочий стол — экономия до 865 МБ
— Деактивировать неиспользуемые сервисы сети и журналирования — до 32 МБ
— Освободить зарезервированные carveout-регионы (дисплей, камера) — ещё до 101 МБ
Это важно для разработчиков, которые хотят запускать LLM, многокамерные системы и сенсорный фьюжн на бюджетном железе без апгрейда. Меньше памяти — меньше стоимость системы, лучше КПД на ватт.
https://developer.nvidia.com/blog/maximizing-memory-efficiency-to-run-bigger-models-on-nvidia-jetson/
Nvidia опубликовала техническое руководство по максимально эффективному использованию памяти на платформе Jetson — для запуска многомиллиардных языковых моделей прямо на периферийных устройствах: роботах, автономных агентах и промышленных системах.
Главная проблема: на edge-устройствах CPU и GPU делят ограниченную память, и любая неэффективность ведёт к задержкам или сбоям.
Что предлагают инженеры Nvidia:
— Отключить графический рабочий стол — экономия до 865 МБ
— Деактивировать неиспользуемые сервисы сети и журналирования — до 32 МБ
— Освободить зарезервированные carveout-регионы (дисплей, камера) — ещё до 101 МБ
Это важно для разработчиков, которые хотят запускать LLM, многокамерные системы и сенсорный фьюжн на бюджетном железе без апгрейда. Меньше памяти — меньше стоимость системы, лучше КПД на ватт.
https://developer.nvidia.com/blog/maximizing-memory-efficiency-to-run-bigger-models-on-nvidia-jetson/
NVIDIA Technical Blog
Maximizing Memory Efficiency to Run Bigger Models on NVIDIA Jetson
The boom in open source generative AI models is pushing beyond data centers into machines operating in the physical world. Developers are eager to deploy these models at the edge…
Apple ML опубликовала исследование на конференции EACL: учёные проверили, насколько хорошо большие языковые модели реально понимают контекст.
Для этого создали специальный бенчмарк из четырёх задач и девяти датасетов. Результаты оказались показательными: предобученные модели плохо справляются с тонкими контекстными нюансами по сравнению с дообученными аналогами. Отдельно проверили квантизированные модели — сжатие до 3 бит заметно ухудшает понимание контекста.
Почему это важно: контекст — основа человеческого языка. Если модель его не улавливает, она ошибается в диалогах, неверно интерпретирует запросы и теряет смысл. Для Apple, которая встраивает AI в Siri и другие продукты, это критично. Исследование помогает понять, где именно модели проседают — и как это исправить при оптимизации под мобильные устройства.
https://machinelearning.apple.com/research/llm-context-understanding
Для этого создали специальный бенчмарк из четырёх задач и девяти датасетов. Результаты оказались показательными: предобученные модели плохо справляются с тонкими контекстными нюансами по сравнению с дообученными аналогами. Отдельно проверили квантизированные модели — сжатие до 3 бит заметно ухудшает понимание контекста.
Почему это важно: контекст — основа человеческого языка. Если модель его не улавливает, она ошибается в диалогах, неверно интерпретирует запросы и теряет смысл. Для Apple, которая встраивает AI в Siri и другие продукты, это критично. Исследование помогает понять, где именно модели проседают — и как это исправить при оптимизации под мобильные устройства.
https://machinelearning.apple.com/research/llm-context-understanding
Apple Machine Learning Research
Can Large Language Models Understand Context?
Understanding context is key to understanding human language, an ability which Large Language Models (LLMs) have been increasingly seen to…
OpenAI показали улучшенную генерацию изображений в ChatGPT — теперь модель гораздо точнее следует инструкциям пользователя. Демонстрацию подготовил разработчик Jianfeng Wang.
Судя по всему, новая версия значительно лучше понимает детальные текстовые описания и воспроизводит именно то, что просит пользователь — без лишних "творческих интерпретаций" со стороны ИИ. Это одна из главных болей при работе с генераторами изображений: модель делает что-то похожее, но не то.
https://x.com/OpenAI/status/2046691648604905588
Судя по всему, новая версия значительно лучше понимает детальные текстовые описания и воспроизводит именно то, что просит пользователь — без лишних "творческих интерпретаций" со стороны ИИ. Это одна из главных болей при работе с генераторами изображений: модель делает что-то похожее, но не то.
https://x.com/OpenAI/status/2046691648604905588
X (formerly Twitter)
OpenAI (@OpenAI) on X
Instruction Following in ChatGPT Images 2.0, demonstrated by @jianfw