Forwarded from 404 Driver Not Found
Occupancy Grid Prediction [1/2]
Сегодня начнём серию постов о 3D occupancy perception. В первой части обсудим особенности подхода и общие тренды, а в следующей — разберём несколько актуальных работ.
Для этого подхода сцену представляют плотной 3D-решёткой (вокселями) с семантикой и метками «занято» или «пусто». В отличие от BEV, в 3D occupancy perception явно моделируют высоту, что критично для сложных городских сцен. Например, для случаев, когда 3D occupancy справляется лучше, чем 2D: небольшие камни или куски мусора на дороге, которые проще пропустить между колёс, а не объезжать. Или края досок, вылезающие за пределы грузовика: если они достаточно высоко, легковой автономный автомобиль без проблем под ними проедет.
В общих чертах стек охватывает технологии:
🔴 от 2D→3D-преобразований (проекция из 3D на камеру и обратно с предсказанием глубины, кросс-аттеншн);
🔴 до пространственно-временного фьюжна признаков с нескольких камер и мультимодальной интеграции камеры, лидара и радара.
Среди популярных методов обучения — self-supervised, weak, strong. Среди метрик — IoU, MIoU и ray-MIoU (это IoU вдоль каждого луча камеры). Ключевыми датасетами считаются nuScenes, Waymo и SemanticKITTY.
Тренд последних лет — стремительный рост vision-centric-методов. Камеры дешевеют, текстуры улучшаются, а за счёт продвинутого 2D→3D и temporal fusion разница в качестве предсказаний на основе данных камер и лидаров стремительно сокращается. Но лидар по-прежнему обеспечивает наилучшую геометрию, а мультимодальные схемы ещё не всегда стабильно опережают одномодальные — потенциал фьюжна до сих пор не раскрыт.
При грамотной оптимизации (облегчённые головы, разреженные представления, ускорение инференса) можно получить ~10–13 FPS на Occ3D-nuScenes при MIoU около 40%. Это уже близко к практическим требованиям.
Главные вызовы подхода: реальное время на бортовом железе, робастность к погодным условиям, окклюзиям и отказам сенсоров, а также обобщение без дорогой плотной 3D-разметки. На горизонте — occupancy flow для моделирования динамики, модель мира и использование occupancy как единого представления для восприятия, предсказания и планирования.
В следующем посте разберём несколько актуальных работ, посвящённых 3D occupancy perception.
Разбор подготовил❣️ Иван Лунев
404 driver not found
Сегодня начнём серию постов о 3D occupancy perception. В первой части обсудим особенности подхода и общие тренды, а в следующей — разберём несколько актуальных работ.
Для этого подхода сцену представляют плотной 3D-решёткой (вокселями) с семантикой и метками «занято» или «пусто». В отличие от BEV, в 3D occupancy perception явно моделируют высоту, что критично для сложных городских сцен. Например, для случаев, когда 3D occupancy справляется лучше, чем 2D: небольшие камни или куски мусора на дороге, которые проще пропустить между колёс, а не объезжать. Или края досок, вылезающие за пределы грузовика: если они достаточно высоко, легковой автономный автомобиль без проблем под ними проедет.
В общих чертах стек охватывает технологии:
Среди популярных методов обучения — self-supervised, weak, strong. Среди метрик — IoU, MIoU и ray-MIoU (это IoU вдоль каждого луча камеры). Ключевыми датасетами считаются nuScenes, Waymo и SemanticKITTY.
Тренд последних лет — стремительный рост vision-centric-методов. Камеры дешевеют, текстуры улучшаются, а за счёт продвинутого 2D→3D и temporal fusion разница в качестве предсказаний на основе данных камер и лидаров стремительно сокращается. Но лидар по-прежнему обеспечивает наилучшую геометрию, а мультимодальные схемы ещё не всегда стабильно опережают одномодальные — потенциал фьюжна до сих пор не раскрыт.
При грамотной оптимизации (облегчённые головы, разреженные представления, ускорение инференса) можно получить ~10–13 FPS на Occ3D-nuScenes при MIoU около 40%. Это уже близко к практическим требованиям.
Главные вызовы подхода: реальное время на бортовом железе, робастность к погодным условиям, окклюзиям и отказам сенсоров, а также обобщение без дорогой плотной 3D-разметки. На горизонте — occupancy flow для моделирования динамики, модель мира и использование occupancy как единого представления для восприятия, предсказания и планирования.
В следующем посте разберём несколько актуальных работ, посвящённых 3D occupancy perception.
Разбор подготовил
404 driver not found
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2
Forwarded from ODS Events
Привет!
Встречайте новый выпуск "Капитанского мостика" 21.06.2026. Участники подкаста обсуждают последние новости индустрии искусственного интеллекта, влияние технологий на рынок и геополитические аспекты развития AI.
Традиционно ведущие подкаста - Валентин Малых и Дмитрий Колодезев, в гостях у капитанов был Виталий Казунов.
Смотрите видео на каналах ⤵️
ODS VK Video
ODS YouTube
📩 Присылайте новости для обсуждения в канал "Дата-капитаны" в mattermost (авторизуйтесь через ODS.ai).
Встречайте новый выпуск "Капитанского мостика" 21.06.2026. Участники подкаста обсуждают последние новости индустрии искусственного интеллекта, влияние технологий на рынок и геополитические аспекты развития AI.
Традиционно ведущие подкаста - Валентин Малых и Дмитрий Колодезев, в гостях у капитанов был Виталий Казунов.
Смотрите видео на каналах ⤵️
ODS VK Video
ODS YouTube
📩 Присылайте новости для обсуждения в канал "Дата-капитаны" в mattermost (авторизуйтесь через ODS.ai).
😁3🔥2🥰1😎1
Forwarded from ML Underhood
Везём восемь статей на основной трек ICML!
В этом году наши исследователи представят на ICML восемь работ в основной программе и ещё восемь — на воркшопах.
Начинаем серию постов о принятых работах со Spotlight-статьи On Efficient Scaling of GNNs via IO-Aware Layers Implementations, посвящённой эффективному масштабированию графовых нейросетей.
Что исследовали
Авторы — Дарья Фомина из команды ML-инфраструктуры, Вячеслав Ждановский из команды разработки инференса, Фёдор Великонивцев из Yandex Research и студенты ШАД — исследуют, как ускорить обучение и инференс Graph Neural Networks на GPU. Несмотря на популярность таких моделей, их производительность часто ограничивается не вычислениями, а неэффективной работой с памятью на GPU и большим объёмом передачи данных.
Что получилось
Исследователи разработали набор GPU-ядер для наиболее популярных семейств графовых нейросетей — от графовых свёрток и агрегирующих операторов до современных архитектур, таких как Graph Transformers и GATv2. Эксперименты на крупных графах показывают заметное ускорение работы и снижение потребления памяти по сравнению с существующими решениями.
Кроме того, авторы изучили влияние переупорядочивания вершин графа в памяти GPU и показали, что его эффективность зависит как от структуры графа, так и от особенностей доступа к данным.
Статья уже выложена на Arxiv, а код — на GitHub.
#YaICML2026
ML Underhood
В этом году наши исследователи представят на ICML восемь работ в основной программе и ещё восемь — на воркшопах.
На ICML 2026 было подано 23 918 работ — вдвое больше, чем в 2025 году. Из них приняли 6 352 статьи (26,6%), а статус Spotlight получили только 536 работ — 2,2% от всех поданных заявок. Это статьи, которые получили самые высокие оценки программного комитета.
Начинаем серию постов о принятых работах со Spotlight-статьи On Efficient Scaling of GNNs via IO-Aware Layers Implementations, посвящённой эффективному масштабированию графовых нейросетей.
Что исследовали
Авторы — Дарья Фомина из команды ML-инфраструктуры, Вячеслав Ждановский из команды разработки инференса, Фёдор Великонивцев из Yandex Research и студенты ШАД — исследуют, как ускорить обучение и инференс Graph Neural Networks на GPU. Несмотря на популярность таких моделей, их производительность часто ограничивается не вычислениями, а неэффективной работой с памятью на GPU и большим объёмом передачи данных.
Что получилось
Исследователи разработали набор GPU-ядер для наиболее популярных семейств графовых нейросетей — от графовых свёрток и агрегирующих операторов до современных архитектур, таких как Graph Transformers и GATv2. Эксперименты на крупных графах показывают заметное ускорение работы и снижение потребления памяти по сравнению с существующими решениями.
Кроме того, авторы изучили влияние переупорядочивания вершин графа в памяти GPU и показали, что его эффективность зависит как от структуры графа, так и от особенностей доступа к данным.
Статья уже выложена на Arxiv, а код — на GitHub.
#YaICML2026
ML Underhood
❤5🔥3⚡2
Forwarded from Рекомендательная [RecSys Channel]
Gryphon: A Unified Architecture for Semantic-ID Generation and Item-Level Scoring in Industrial Recommendations
Разбираем статью о гибридной генеративно-ранжирующей модели в рекомендациях Яндекс Музыки. О ней на Data Fest рассказала Дарья Тихонович, руководитель Яндекс RND-команды, которая разрабатывает новые рекомендательные технологии.
Генеративные рекомендации на базе Semantic IDs позволяют применять подход next token prediction к огромным каталогам, где невозможно напрямую выбирать следующий объект из миллионов вариантов. Вместо того чтобы предсказывать конкретный трек сразу, модель генерирует его поэтапно через последовательность семантических токенов. Например, сначала определяет жанр (русский рок), затем исполнителя («Сплин»), а потом конкретную композицию («Летучий Голландец»).
Такие токены получают с помощью иерархической кластеризации контентных эмбеддингов объектов, где каждый уровень уточняет описание айтема. В результате каждый объект представлен компактным Semantic ID, а генеративная модель (например, TIGER от Google) предсказывает не сам объект, а последовательность его семантических токенов, благодаря чему возможно обучение и использование рексистем на многомиллионных каталогах.
Но у генеративных рекомендательных моделей есть ряд проблем:
🔴 Коллизии Semantic IDs — разные айтемы могут получать одинаковые семантические идентификаторы, из-за чего модель не различает их.
🔴 Слой разрешения коллизий не масштабируется — работает офлайн, но не подходит для динамического каталога, который постоянно пополняется.
🔴 Без разрешения коллизий падает качество — при удалении этого слоя качество может снижаться в разы.
🔴 Нужно расширять пространство токенов — для лучшей уникализации нужны более крупные кодбуки и больше семантических токенов.
🔴 Копятся ошибки генерации — ошибка в раннем токене ведёт к неверной оценке всей траектории.
🔴 Потолок качества при длинных Semantic ID — увеличение числа токенов увеличивает уникализацию, но перестаёт улучшать качество рекомендаций.
Gryphon: генерация + ранжирование в одной модели
Gryphon — гибридная архитектура, которая объединяет генерацию кандидатов и их ранжирование. В основе encoder-decoder: по истории пользователя модель через beam search генерирует набор Semantic IDs. Чтобы избежать накопления ошибок при генерации (Semantic Drift), в beam search используется PRM (Process Reward Model), которая оценивает траектории генерации и помогает выбирать только релевантные пути для продолжения.
После генерации все Semantic IDs отображаются в общем пуле айтемов-кандидатов, релевантность которых оценивается через ORM (Output Reward Model). В результате, генеративная часть отвечает за кандидатогенерацию на уровне Semantic ID, а ORM — за финальное ранжирование айтемов. PRM и ORM — это легковесные модули на основе cross-attention, которые переиспользуют выходы энкодера генеративной модели, и поэтому лишь незначительно растят общее количество параметров и стоимость инференса.
При обучении ORM на задачу next-item-prediction в офлайне Gryphon показал +20% прироста Recal@1000 относительно Argus. Более того, модель опередила по качеству полный softmax по каталогу Яндекс Музыки.
В A/B-тестах Gryphon полностью заменил стек кандидатогенерации и преранжирования Яндекс.Музыки (15+ моделей), сократив число кандидатов для финального ранкера с 3000 до 1000 без потери качества. В сравнении с генеративным бейзлайном модель дала +3,6% команд Like, сохранила продуктовые метрики и увеличила разнообразие рекомендаций.
Модель работает в рантайме и регулярно дообучается. Семантический индекс строится на мультимодальных эмбеддингах (аудио, текст, метаданные), полученных с помощью Qwen 2.5 Omni и дополнительно обученных на коллаборативном InfoNCE-лоссе.
Теперь у нас есть архитектура, которая объединяет генерацию и ранжирование и уже показывает качество значительно выше классических кандидатогенераторов и полного softmax. Сейчас Gryphon активно развивается в экспериментах с end-to-end-рекомендациями и кросс-доменными генеративными моделями Яндекса.
@RecSysChannel
Разбор подготовила❣ Дарья Тихонович
Разбираем статью о гибридной генеративно-ранжирующей модели в рекомендациях Яндекс Музыки. О ней на Data Fest рассказала Дарья Тихонович, руководитель Яндекс RND-команды, которая разрабатывает новые рекомендательные технологии.
Генеративные рекомендации на базе Semantic IDs позволяют применять подход next token prediction к огромным каталогам, где невозможно напрямую выбирать следующий объект из миллионов вариантов. Вместо того чтобы предсказывать конкретный трек сразу, модель генерирует его поэтапно через последовательность семантических токенов. Например, сначала определяет жанр (русский рок), затем исполнителя («Сплин»), а потом конкретную композицию («Летучий Голландец»).
Такие токены получают с помощью иерархической кластеризации контентных эмбеддингов объектов, где каждый уровень уточняет описание айтема. В результате каждый объект представлен компактным Semantic ID, а генеративная модель (например, TIGER от Google) предсказывает не сам объект, а последовательность его семантических токенов, благодаря чему возможно обучение и использование рексистем на многомиллионных каталогах.
Но у генеративных рекомендательных моделей есть ряд проблем:
Gryphon: генерация + ранжирование в одной модели
Gryphon — гибридная архитектура, которая объединяет генерацию кандидатов и их ранжирование. В основе encoder-decoder: по истории пользователя модель через beam search генерирует набор Semantic IDs. Чтобы избежать накопления ошибок при генерации (Semantic Drift), в beam search используется PRM (Process Reward Model), которая оценивает траектории генерации и помогает выбирать только релевантные пути для продолжения.
После генерации все Semantic IDs отображаются в общем пуле айтемов-кандидатов, релевантность которых оценивается через ORM (Output Reward Model). В результате, генеративная часть отвечает за кандидатогенерацию на уровне Semantic ID, а ORM — за финальное ранжирование айтемов. PRM и ORM — это легковесные модули на основе cross-attention, которые переиспользуют выходы энкодера генеративной модели, и поэтому лишь незначительно растят общее количество параметров и стоимость инференса.
При обучении ORM на задачу next-item-prediction в офлайне Gryphon показал +20% прироста Recal@1000 относительно Argus. Более того, модель опередила по качеству полный softmax по каталогу Яндекс Музыки.
В A/B-тестах Gryphon полностью заменил стек кандидатогенерации и преранжирования Яндекс.Музыки (15+ моделей), сократив число кандидатов для финального ранкера с 3000 до 1000 без потери качества. В сравнении с генеративным бейзлайном модель дала +3,6% команд Like, сохранила продуктовые метрики и увеличила разнообразие рекомендаций.
Модель работает в рантайме и регулярно дообучается. Семантический индекс строится на мультимодальных эмбеддингах (аудио, текст, метаданные), полученных с помощью Qwen 2.5 Omni и дополнительно обученных на коллаборативном InfoNCE-лоссе.
Теперь у нас есть архитектура, которая объединяет генерацию и ранжирование и уже показывает качество значительно выше классических кандидатогенераторов и полного softmax. Сейчас Gryphon активно развивается в экспериментах с end-to-end-рекомендациями и кросс-доменными генеративными моделями Яндекса.
@RecSysChannel
Разбор подготовила
Please open Telegram to view this post
VIEW IN TELEGRAM
❤10❤🔥2🔥2
Forwarded from Machinelearning
На это ушло всего девять месяцев.
Цитата из блога:
«OpenAI спроектировала чип с нуля, опираясь на глубокое понимание фундаментальных принципов LLM и учитывая свою дорожную карту моделей, kernel-оптимизаций, serving-систем и продуктовых потребностей.
В этом ей помогали партнёры Broadcom и Celestica, которые участвовали в индустриализации платформы: реализации чипа, проектировании плат, интеграции rack-систем, высокопроизводительных сетей и масштабируемых производственных процессов».
https://openai.com/index/openai-broadcom-jalapeno-inference-chip/
@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4👍3😁2🔥1
Forwarded from Душный NLP
Задача credit assignment и подходы к её решению
Когда модель успешно выполняет задачу, неплохо бы понимать, какие именно действия привели к положительному результату. Выяснить это — задача credit assignment, о чём существует немало статей. Есть несколько основных подходов к проблеме:
• Temporal-difference (TD) — вклад текущего шага оценивается как разница оценки награды на текущем шаге и дисконтированной оценки на следующем.
• Beginning/tail — предполагает апдейт только токенов в начале и конце роллаутов.
• Энтропийный — предполагает использование в RL токенов с высокой энтропией и низкой вероятностью.
Это не все подходы, но сегодня кратко поговорим о них и статьях, в которых они реализуются.
Exploiting Tree Structure for Credit Assignment in RL Training of LLMs
В статье предложили temporal-difference-метод TEMPO. Для группы роллаутов строится префиксное дерево, в котором для каждого префикса оценивается средняя награда V(s). Авторы модифицируют GRPO-advantage, добавляя TD=V(s+1)-V(s). TD отлична от нуля только в точках ветвления, которые составляют незначительную часть токенов. Улучшение на математических бенчмарках составляет от 2 до 7 пп.
Token-Efficient RL for LLM Reasoning
В статье реализуется аналогичный подход с TD. Авторы предлагают два метода. Первый — S-GRPO, в рамках которого обновляются только префиксы роллаутов и семплируются K токенов из продолжения, но последнее можно рассматривать как регуляризацию. Второй метод из статьи — T-SPMO. Он аналогичен TEMPO, но апдейт делается только в точках ветвления префиксного дерева.
Подходы показывают хорошие приросты качества на бенчмарках с умножением трёхзначных чисел и задачах вербальной арифметики.
Well Begun, Half Done: Reinforcement Learning with Prefix Optimization for LLM Reasoning
Авторы отмечают, что старт генерации определяет итоговое качество. Поэтому предлагают оптимизировать только префикс, постепенно увеличивая его длину. Для снижения дисперсии для каждого префикса семплируют несколько продолжений, а затем усредняют по ним награду.
Подход выигрывает у обычного GRPO на AIME на 8–16% в зависимости от модели. Эксперименты проводили на разных версиях Qwen3.
GRPO-λ: Credit Assignment improves LLM Reasoning
Предлагают умножать advantage на вес, зависящий от позиции в тексте. В статье рассматривают два варианта веса: both, при котором обновляются и начало, и конец роллаута; и recent, где с экспоненциальным затуханием обновляется только конец. Подход позволяет получить прибавку 3–4 пп по сравнению с обычным GRPO.
Beyond High-Entropy Exploration: Correctness-Aware Low-Entropy Segment-Based Advantage Shaping for Reasoning LLMs
Авторы делят роллауты на сегменты трёх типов: токены с высокой энтропией, короткие сегменты с низкой и длинные с низкой. Показана польза от оптимизации не только высокоэнтропийных токенов, но и низкоэнтропийных сегментов, стабильно встречающихся в положительных роллаутах. Метод даёт значительный прирост поверх GRPO на трёх математических бенчмарках.
Разбор подготовил❣ Георгий Иванов
Душный NLP
Когда модель успешно выполняет задачу, неплохо бы понимать, какие именно действия привели к положительному результату. Выяснить это — задача credit assignment, о чём существует немало статей. Есть несколько основных подходов к проблеме:
• Temporal-difference (TD) — вклад текущего шага оценивается как разница оценки награды на текущем шаге и дисконтированной оценки на следующем.
• Beginning/tail — предполагает апдейт только токенов в начале и конце роллаутов.
• Энтропийный — предполагает использование в RL токенов с высокой энтропией и низкой вероятностью.
Это не все подходы, но сегодня кратко поговорим о них и статьях, в которых они реализуются.
Exploiting Tree Structure for Credit Assignment in RL Training of LLMs
В статье предложили temporal-difference-метод TEMPO. Для группы роллаутов строится префиксное дерево, в котором для каждого префикса оценивается средняя награда V(s). Авторы модифицируют GRPO-advantage, добавляя TD=V(s+1)-V(s). TD отлична от нуля только в точках ветвления, которые составляют незначительную часть токенов. Улучшение на математических бенчмарках составляет от 2 до 7 пп.
Token-Efficient RL for LLM Reasoning
В статье реализуется аналогичный подход с TD. Авторы предлагают два метода. Первый — S-GRPO, в рамках которого обновляются только префиксы роллаутов и семплируются K токенов из продолжения, но последнее можно рассматривать как регуляризацию. Второй метод из статьи — T-SPMO. Он аналогичен TEMPO, но апдейт делается только в точках ветвления префиксного дерева.
Подходы показывают хорошие приросты качества на бенчмарках с умножением трёхзначных чисел и задачах вербальной арифметики.
Well Begun, Half Done: Reinforcement Learning with Prefix Optimization for LLM Reasoning
Авторы отмечают, что старт генерации определяет итоговое качество. Поэтому предлагают оптимизировать только префикс, постепенно увеличивая его длину. Для снижения дисперсии для каждого префикса семплируют несколько продолжений, а затем усредняют по ним награду.
Подход выигрывает у обычного GRPO на AIME на 8–16% в зависимости от модели. Эксперименты проводили на разных версиях Qwen3.
GRPO-λ: Credit Assignment improves LLM Reasoning
Предлагают умножать advantage на вес, зависящий от позиции в тексте. В статье рассматривают два варианта веса: both, при котором обновляются и начало, и конец роллаута; и recent, где с экспоненциальным затуханием обновляется только конец. Подход позволяет получить прибавку 3–4 пп по сравнению с обычным GRPO.
Beyond High-Entropy Exploration: Correctness-Aware Low-Entropy Segment-Based Advantage Shaping for Reasoning LLMs
Авторы делят роллауты на сегменты трёх типов: токены с высокой энтропией, короткие сегменты с низкой и длинные с низкой. Показана польза от оптимизации не только высокоэнтропийных токенов, но и низкоэнтропийных сегментов, стабильно встречающихся в положительных роллаутах. Метод даёт значительный прирост поверх GRPO на трёх математических бенчмарках.
Разбор подготовил
Душный NLP
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3❤2
Forwarded from CV Time
DeepEyesV2: Toward Agentic Multimodal Model
В последний год в статьях всё чаще затрагивают идею агентного зрения, где VLM используют в решении задач не только язык, но и создают новые изображения с помощью внешних инструментов.
Сегодня разбираем DeepEyesV2 — открытый бейзлайн мультимодального агентного ризонера. Авторы собирают его на основе опенсорсных данных в стадиях ColdStart и RL, и показывают рост по многим бенчмаркам. Бонусом — делятся данными неудачных подходов и проводят интересные ablation studies.
RL без Cold Start
В предыдущей DeepEyes (V1) авторы через RL обучали модель использовать специализированные инструменты — функции кропа картинок и зума. В V2 попробовали тот же подход на сложных инструментах (Python и картиночном поиске) — и получили негативный результат.
Оказалось, что даже если до RL модель (в данном случае Qwen-2.5VL-7B) выполняла вызовы, после — разучивалась это делать (!). Причина в форматных ошибках: вызовы сложных инструментов требуют точного синтаксиса, в отсутствие которого модель получала штрафы от реворда форматирования. А при добавлении реворда на вызов, она обучалась хакать его — генерировать бессмысленные (но гарантированно корректные) вызовы Python, вроде:
Авторы пришли к выводу, что для сложных инструментов необходимо сначала показать модели примеры правильных вызовов во время Cold Start.
Сбор данных и обучение
Авторы постарались выжать из опенсорсных данных сложный и разнообразный датасет. Собрав наборы вопросов, картинок и ответов, они выфильтровывают примеры, которые Qwen-2.5.VL-7B уже может решить без ошибок. На оставшихся примерах в качестве ground-truth собирают траектории фронтирных моделей. Для определения сложности семплов используют pass@k как с инструментами, так и без них, руководствуясь следующей логикой:
🔴 если модель без инструментов решает задачу — задача не нужна в обучении;
🔴 если модель с инструментами решает задачу редко — задача отправляется на RL-стадию;
🔴 если модель с инструментами не решает задачу вовсе, то на RL она получит нулевой advantage, но траекторию решения полезно положить в ColdStart.
В Cold Start авторы используют стандартный NLL, а в RL — DAPO с двумя ревордами: форматным (правильное форматирование CoT и вызова тулов) и на результат.
Результаты
Замеры показывают хороший рост на бенчмарках, особенно на CharXiv Reasoning (вопросы по инфографике), MathVerse (задачки по математике) и HRBench (поиск объектов на картинках с высоким разрешением) — около +5%, выше предыдущей версии и схожих конкурентов. С другой стороны, при сравнении с фронтирными моделями или топовыми китайскими VLM, разрыв остаётся огромным — в десятки процентов, а главный сценарий использования Python — Numerical Analysis (то есть продвинутый калькулятор).
Аблейшены
В статье есть ряд любопытных замеров. Например разбивка обучающих данных по категориям Perception/Reasoning/Search с тренировкой по разным сплитам. Интересный результат — на второй картинке: после RL количество вызовов становится меньше на тех же бенчмарках по сравнению с ColdStart. Это показывает, что на RL модель обучается выбирать инструмент «по сложности», а не детерминировано вызывать Python в любой ситуации.
В итоге у авторов получилась хорошая база для дальнейших экспериментов на разных стадиях с открытыми данными, протоколом обучения и весами моделей.
Разбор подготовил❣ Борис Зимка
CV Time
В последний год в статьях всё чаще затрагивают идею агентного зрения, где VLM используют в решении задач не только язык, но и создают новые изображения с помощью внешних инструментов.
Сегодня разбираем DeepEyesV2 — открытый бейзлайн мультимодального агентного ризонера. Авторы собирают его на основе опенсорсных данных в стадиях ColdStart и RL, и показывают рост по многим бенчмаркам. Бонусом — делятся данными неудачных подходов и проводят интересные ablation studies.
RL без Cold Start
В предыдущей DeepEyes (V1) авторы через RL обучали модель использовать специализированные инструменты — функции кропа картинок и зума. В V2 попробовали тот же подход на сложных инструментах (Python и картиночном поиске) — и получили негативный результат.
Оказалось, что даже если до RL модель (в данном случае Qwen-2.5VL-7B) выполняла вызовы, после — разучивалась это делать (!). Причина в форматных ошибках: вызовы сложных инструментов требуют точного синтаксиса, в отсутствие которого модель получала штрафы от реворда форматирования. А при добавлении реворда на вызов, она обучалась хакать его — генерировать бессмысленные (но гарантированно корректные) вызовы Python, вроде:
# There is no need to write code
Авторы пришли к выводу, что для сложных инструментов необходимо сначала показать модели примеры правильных вызовов во время Cold Start.
Сбор данных и обучение
Авторы постарались выжать из опенсорсных данных сложный и разнообразный датасет. Собрав наборы вопросов, картинок и ответов, они выфильтровывают примеры, которые Qwen-2.5.VL-7B уже может решить без ошибок. На оставшихся примерах в качестве ground-truth собирают траектории фронтирных моделей. Для определения сложности семплов используют pass@k как с инструментами, так и без них, руководствуясь следующей логикой:
В Cold Start авторы используют стандартный NLL, а в RL — DAPO с двумя ревордами: форматным (правильное форматирование CoT и вызова тулов) и на результат.
Результаты
Замеры показывают хороший рост на бенчмарках, особенно на CharXiv Reasoning (вопросы по инфографике), MathVerse (задачки по математике) и HRBench (поиск объектов на картинках с высоким разрешением) — около +5%, выше предыдущей версии и схожих конкурентов. С другой стороны, при сравнении с фронтирными моделями или топовыми китайскими VLM, разрыв остаётся огромным — в десятки процентов, а главный сценарий использования Python — Numerical Analysis (то есть продвинутый калькулятор).
Аблейшены
В статье есть ряд любопытных замеров. Например разбивка обучающих данных по категориям Perception/Reasoning/Search с тренировкой по разным сплитам. Интересный результат — на второй картинке: после RL количество вызовов становится меньше на тех же бенчмарках по сравнению с ColdStart. Это показывает, что на RL модель обучается выбирать инструмент «по сложности», а не детерминировано вызывать Python в любой ситуации.
В итоге у авторов получилась хорошая база для дальнейших экспериментов на разных стадиях с открытыми данными, протоколом обучения и весами моделей.
Разбор подготовил
CV Time
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5👍3🔥2
Forwarded from Machinelearning
Институт Аллена опубликовал работу, в которой выяснили, как архитектура моделей влияет на понимание текста.
Спойлер:
Для эксперимента взяли 2 собственные языковые модели - Olmo 3 и Olmo Hybrid. Обе обучались абсолютно одинаково, отличалось лишь их внутреннее устройство.
Трансформеры используют механизм внимания на каждом слое. Модель может напрямую обращаться к любому из предыдущих токенов. Это требует вычислительных мощностей, зато позволяет идеально цитировать прочитанное.
Гибрид сохраняет несколько слоёв внимания, а остальные заменяет рекуррентными. Они читают текст строго слева направо и сохраняют его в виде сжатой памяти. Такая память не даёт точно обратиться к конкретному предыдущему токену, зато затраты на обработку остаются постоянными независимо от длины текста.
Чтобы измерить разницу, обеим моделям подавали статьи, страницы Wikipedia, книги, научные работы, а также код на Python, HTML и LaTeX. На выходе фиксировали, насколько точно каждая модель предсказывает следующий токен.
Гибрид лучше предсказывает смысловые слова (существительные, глаголы и прилагательные). Он также превосходит чистый трансформер там, где нужно глубокое понимание контекста.
Но его преимущество почти исчезало в случаях, когда дело доходит до точного цитирования. Чем длиннее был повтор, тем меньше становился разрыв. Здесь точнее оказывался трансформер.
В дополнительном прогоне с 3-мя моделями на 1В параметров (трансформером, гибридом и чистой рекуррентной моделью без внимания), выяснилось, что гибрид пасует перед точным повторением текста и закрывающими скобками в коде.
Первый: единый усреднённый показатель ошибки слишком груб для сравнения архитектур - различия видны только при разборе отдельных типов токенов.
Второй: преимущество гибрида на смысловых словах связано со способностью RNN-слоёв отслеживать меняющееся состояние текста.
@ai_machinelearning_big_data
#AI #ML #LLM #Research #Ai2
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4❤2
Forwarded from ML Underhood
Ускорили перевод видео в Яндекс Браузере в 1,5 раза — задистиллировали диффузионный декодер TTS
Делимся свежей хабростатьёй о том, как ускорили синтез речи при переводе видео в Яндекс Браузере. Зачем это понадобилось, где были подводные камни и что в итоге уехало в прод — рассказал ML-инженер команды TTS в Яндексе Цырен-Доржо Цыбиков.
С чего стартовали
Внутри TTS — каскад из трёх частей:
🔴 языковая модель предсказывает аудиотокены по тексту;
🔴 диффузионный декодер восстанавливает мел-спектрограмму из латентов;
🔴 вокодер превращает её в звуковую волну.
После того как оптимизировали языковую модель (она долго была самой тяжёлой), узким местом стал декодер латентов: его forward pass запускается на каждом шаге семплинга, а шагов — десятки. Его и взялись ускорять.
Что сделали с аттеншном
Прогнали инференс через torch.profiler и увидели, что время съедают рукописный QKVAttention и пересчёт RelativePositionBias на каждой итерации. Дальше — по нарастающей:
🔴 перевели self-attention на SDPA (memory-efficient) и закешировали bias → 2,5× на уровне QKVAttention и почти вдвое меньше GPU-памяти, всё без переобучения;
🔴 проверили гипотезу RoPE + FlashAttention — и честно её похоронили: на наших размерах тензоров она не обогнала кешированный baseline. Зато получили полезный отрицательный результат;
🔴 как более сильную архитектуру посмотрели DiT (на него уже перешли F5-TTS, CosyVoice3): качество выше, латенси сопоставимое.
Главный буст — дистилляция флоуматчинга
Самое интересное — поверх флоуматчинг-декодера навесили две дистилляции:
🔴 CFG-distill: вместо двух forward pass'ов на шаг (conditional + unconditional) student воспроизводит guided-предсказание за один проход;
🔴 progressive distillation: student учится за один шаг делать то, что teacher делает за два, и число шагов итеративно уменьшается вдвое.
Вместе это срезало число шагов семплинга с ~20 до 3 при паритете качества по SBS (наивное снижение шагов так не умеет — звук заметно проседает). Бонус progressive distillation — почти не пришлось трогать прод-код инференса, поменяли число шагов в конфиге.
Итог
Ускорение флоуматчинга дало 1,5× к скорости видеоперевода — теперь пользователи получают переведённое видео в полтора раза быстрее.
Подробности, замеры и блок с выводами — на Хабре.
ML Underhood
Делимся свежей хабростатьёй о том, как ускорили синтез речи при переводе видео в Яндекс Браузере. Зачем это понадобилось, где были подводные камни и что в итоге уехало в прод — рассказал ML-инженер команды TTS в Яндексе Цырен-Доржо Цыбиков.
С чего стартовали
Внутри TTS — каскад из трёх частей:
После того как оптимизировали языковую модель (она долго была самой тяжёлой), узким местом стал декодер латентов: его forward pass запускается на каждом шаге семплинга, а шагов — десятки. Его и взялись ускорять.
Что сделали с аттеншном
Прогнали инференс через torch.profiler и увидели, что время съедают рукописный QKVAttention и пересчёт RelativePositionBias на каждой итерации. Дальше — по нарастающей:
Главный буст — дистилляция флоуматчинга
Самое интересное — поверх флоуматчинг-декодера навесили две дистилляции:
Вместе это срезало число шагов семплинга с ~20 до 3 при паритете качества по SBS (наивное снижение шагов так не умеет — звук заметно проседает). Бонус progressive distillation — почти не пришлось трогать прод-код инференса, поменяли число шагов в конфиге.
Итог
Ускорение флоуматчинга дало 1,5× к скорости видеоперевода — теперь пользователи получают переведённое видео в полтора раза быстрее.
Подробности, замеры и блок с выводами — на Хабре.
ML Underhood
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5❤1👍1
Forwarded from ODS Events
Привет!
Представляем Вашему вниманию свежий выпуск "Капитанского мостика" 28.06.2026. Ведущие подкаста Валентин Малых и Дмитрий Колодезев обсуждают важные события в мире технологий, включая предстоящий Data Fest в Новосибирске, выход нового продукта Fugu от Sakana, влияние администрации США на развитие моделей ИИ, а также проблемы доступа к токенам в Китае и дистилляцию моделей для экономии.
Смотрите видео на каналах ⤵️
ODS VK Video
ODS YouTube
📩 Присылайте новости для обсуждения в канал "Дата-капитаны" в mattermost (авторизуйтесь через ODS.ai).
Представляем Вашему вниманию свежий выпуск "Капитанского мостика" 28.06.2026. Ведущие подкаста Валентин Малых и Дмитрий Колодезев обсуждают важные события в мире технологий, включая предстоящий Data Fest в Новосибирске, выход нового продукта Fugu от Sakana, влияние администрации США на развитие моделей ИИ, а также проблемы доступа к токенам в Китае и дистилляцию моделей для экономии.
Смотрите видео на каналах ⤵️
ODS VK Video
ODS YouTube
📩 Присылайте новости для обсуждения в канал "Дата-капитаны" в mattermost (авторизуйтесь через ODS.ai).
Forwarded from Борис опять
#дайджест
Дайджест AI/ML за две недели 15-28 июня 2026
OpenAI: GPT-5.6 (Sol, Terra, Luna)
Sol - плюс сайз модель сопоставимая с Mythos. SOTA на TerminalBench 2.1. остальные бэнчи сравнивают в рамках линейки GPT, так что вероятно там дай бог паритет с Fable. Цена - $5/$30
Terra - модель на уровне GPT-5.5. Цена - $2.50/$15 (у GPT-5.5 $5/$30)
Luna - по бэнчмаркам уровень GPT-5.4, но на класс ниже по размеру. Цена - $1/$6 (у GPT-5.4 $2.5/$15)
Civitates Foederatae Americae - правительство США попросило придержать публичный релиз и сделать ограниченное превью для 20 партнёров, согласованных правительством. Как было с Mythos, но теперь менее добровольно. Широкий доступ обещают "через пару недель". Но как говорится - на Альимана надейся, а сам ищи как получить паспорт США.
Блогпост, Системная карточка
Zhipu: GLM-5.2
Открыли веса под MIT. MoE на 744B параметров (40B активных), контекст 1M. И наконец-то с цифрами: SWE-bench Pro 62.1, Terminal-Bench 2.1 81.0, GPQA-Diamond 91.2, AIME 2026 99.2, HLE 40.5 (54.7 с тулами), в общем, открытая модель не очень далеко от фронтира.
Цена по API $1.40/$4.40 за 1M, кэш входа $0.26.
Веса, Блогпост
???: Happy Oyster 1.0
Одна модель - два продукта. По слухам от Alibaba.
Adventure Mode - world-model в духе Genie, можно летать на драконах и ползать червем через WASD.
Directing Mode - видеогенерация в которую можно вмешиваться и создавать развилки для происходящих в кадре действий.
На старте дают 1000 кредитов, так что можно попробовать самому. Сайт
Jülich: CytoNet
Модель архитектуры коры человеческого мозга (клеточной микроструктуры по гистологическим срезам, а не симуляцию активности). Тренировали на 6.5 петабайтах данных с 21 посмертного мозга. Брутальный ML.
Блогпост, Статья
Sakana AI: Fugu и Fugu Ultra
Модель-оркестратор, обученная раскидывать задачу по пулу фронтир-моделей (и рекурсивно по самой себе) и собирать ответ. По их собственным замерам Fugu Ultra тянется к фронтиру: SWE-Bench Pro 73.7, Terminal-Bench 2.1 82.1, GPQA-D 95.5, HLE 50.0. Веса закрыты, какие модели в пуле - не раскрывают. Цена Ultra $5/$30, в ЕС пока недоступно.
Блогпост, Технические детали
Zyphra: "Can Scale Save Us From Plasticity Loss in LLMs?" - статья в которой изучают потерю пластичности (деградацию способности учиться новому) у трансформеров от 5M до 314M. Момент её наступления растёт сублинейно к размеру, так что одним увеличением модели не вылечить. Статья
Alibaba: Qwen-Robot Suite
Alibaba собирает полный стек моделей для роботов восприятие-навигация-действие.
Qwen-RobotManip (обобщающая Vision-Language-Action модель), Qwen-RobotNav (навигация, Vision-Language-Navigation модель) и Qwen-RobotWorld (видео-world-model для предсказания сцен). Не оупенсорс.
Блогпост
NVIDIA: MotionBricks
Модель для генерации анимаций движения. Одна модель держит 350к+ элементов движений, работает в реальном времени и переносится на новые задачи zero-shot, без дообучения. Проект гоняют на гуманоиде Unitree G1 и в Unreal Engine 5. Выложены демо и инференс-чекпоинты, позже обещают полный пайплайн тренировки.
Проект, Статья
NVIDIA: CUDA-X новые AI инструменты для всяких наук
ALCHEMI - микросервисы под скрининг химических соединений и материалов, до 50x ускорение перебора кандидатов.
DAQIRI - библиотека обработки данных с детекторов в CERN. С её помощью гоняют real-time ИИ прямо по тем >99% столкновений, которые система отбора обычно выбрасывает не глядя.
cuPhoton - работа с астрономическими данными телескопов и рентгена, ускорили чтение и анализ данных обсерватории в тысячи раз. Блогпост
ByteDance: Seedance 2.0 Mini
Облегчённая и дешёвая версия видеомодели Seedance 2.0: 480p/720p. Заявляют ~2x скорость относительно Seedance 2.0 Fast при сравнимом качестве и примерно вдвое дешевле обычной
BytePlus, API-доки
EpicGames: Unreal Engine 5.8 добавили нативный MCP-плагин
Cerebras: разогнали Google Gemma 4 (31B мультимодальную) до 1500+ токенов/с
macOS: fm CLI Теперь работает с моделями из набора Foundation Models можно прямо в терминале Mac.
Google: Gemini 3.5 Flash computer use встроили прямо в модель как штатный инструмент
Дайджест AI/ML за две недели 15-28 июня 2026
OpenAI: GPT-5.6 (Sol, Terra, Luna)
Sol - плюс сайз модель сопоставимая с Mythos. SOTA на TerminalBench 2.1. остальные бэнчи сравнивают в рамках линейки GPT, так что вероятно там дай бог паритет с Fable. Цена - $5/$30
Terra - модель на уровне GPT-5.5. Цена - $2.50/$15 (у GPT-5.5 $5/$30)
Luna - по бэнчмаркам уровень GPT-5.4, но на класс ниже по размеру. Цена - $1/$6 (у GPT-5.4 $2.5/$15)
Civitates Foederatae Americae - правительство США попросило придержать публичный релиз и сделать ограниченное превью для 20 партнёров, согласованных правительством. Как было с Mythos, но теперь менее добровольно. Широкий доступ обещают "через пару недель". Но как говорится - на Альимана надейся, а сам ищи как получить паспорт США.
Блогпост, Системная карточка
Zhipu: GLM-5.2
Открыли веса под MIT. MoE на 744B параметров (40B активных), контекст 1M. И наконец-то с цифрами: SWE-bench Pro 62.1, Terminal-Bench 2.1 81.0, GPQA-Diamond 91.2, AIME 2026 99.2, HLE 40.5 (54.7 с тулами), в общем, открытая модель не очень далеко от фронтира.
Цена по API $1.40/$4.40 за 1M, кэш входа $0.26.
Веса, Блогпост
???: Happy Oyster 1.0
Одна модель - два продукта. По слухам от Alibaba.
Adventure Mode - world-model в духе Genie, можно летать на драконах и ползать червем через WASD.
Directing Mode - видеогенерация в которую можно вмешиваться и создавать развилки для происходящих в кадре действий.
На старте дают 1000 кредитов, так что можно попробовать самому. Сайт
Jülich: CytoNet
Модель архитектуры коры человеческого мозга (клеточной микроструктуры по гистологическим срезам, а не симуляцию активности). Тренировали на 6.5 петабайтах данных с 21 посмертного мозга. Брутальный ML.
Блогпост, Статья
Sakana AI: Fugu и Fugu Ultra
Модель-оркестратор, обученная раскидывать задачу по пулу фронтир-моделей (и рекурсивно по самой себе) и собирать ответ. По их собственным замерам Fugu Ultra тянется к фронтиру: SWE-Bench Pro 73.7, Terminal-Bench 2.1 82.1, GPQA-D 95.5, HLE 50.0. Веса закрыты, какие модели в пуле - не раскрывают. Цена Ultra $5/$30, в ЕС пока недоступно.
Блогпост, Технические детали
Zyphra: "Can Scale Save Us From Plasticity Loss in LLMs?" - статья в которой изучают потерю пластичности (деградацию способности учиться новому) у трансформеров от 5M до 314M. Момент её наступления растёт сублинейно к размеру, так что одним увеличением модели не вылечить. Статья
Alibaba: Qwen-Robot Suite
Alibaba собирает полный стек моделей для роботов восприятие-навигация-действие.
Qwen-RobotManip (обобщающая Vision-Language-Action модель), Qwen-RobotNav (навигация, Vision-Language-Navigation модель) и Qwen-RobotWorld (видео-world-model для предсказания сцен). Не оупенсорс.
Блогпост
NVIDIA: MotionBricks
Модель для генерации анимаций движения. Одна модель держит 350к+ элементов движений, работает в реальном времени и переносится на новые задачи zero-shot, без дообучения. Проект гоняют на гуманоиде Unitree G1 и в Unreal Engine 5. Выложены демо и инференс-чекпоинты, позже обещают полный пайплайн тренировки.
Проект, Статья
NVIDIA: CUDA-X новые AI инструменты для всяких наук
ALCHEMI - микросервисы под скрининг химических соединений и материалов, до 50x ускорение перебора кандидатов.
DAQIRI - библиотека обработки данных с детекторов в CERN. С её помощью гоняют real-time ИИ прямо по тем >99% столкновений, которые система отбора обычно выбрасывает не глядя.
cuPhoton - работа с астрономическими данными телескопов и рентгена, ускорили чтение и анализ данных обсерватории в тысячи раз. Блогпост
ByteDance: Seedance 2.0 Mini
Облегчённая и дешёвая версия видеомодели Seedance 2.0: 480p/720p. Заявляют ~2x скорость относительно Seedance 2.0 Fast при сравнимом качестве и примерно вдвое дешевле обычной
BytePlus, API-доки
EpicGames: Unreal Engine 5.8 добавили нативный MCP-плагин
Cerebras: разогнали Google Gemma 4 (31B мультимодальную) до 1500+ токенов/с
macOS: fm CLI Теперь работает с моделями из набора Foundation Models можно прямо в терминале Mac.
Google: Gemini 3.5 Flash computer use встроили прямо в модель как штатный инструмент
❤3👍2
Forwarded from Machinelearning
По сообщениям, OpenAI нашла новые оптимизации инференса, которые снизили стоимость запуска моделей больше чем в два раза.
По данным The Information, инженеры в этом месяце рассказывали коллегам, что эти техники в какой-то момент позволили обслуживать ChatGPT для посетителей без бесплатных или платных аккаунтов всего на нескольких сотнях GPU Nvidia.
Точный метод пока не раскрыт. Это может быть квантизация, KV caching, batching, маршрутизация простых запросов на более дешёвые модели или комбинация всех этих подходов.
OpenAI закончила Q1 с gross margin 39% и хочет выйти на 52% к концу года. Более дешёвый инференс даёт компании пространство: улучшать маржу, поднимать лимиты ChatGPT или снижать ценовое давление API для разработчиков.
Moat OpenAI всё сильнее смещается в сторону инференса и преимущества по стоимости, особенно на фоне Anthropic.
https://www.theinformation.com/newsletters/ai-agenda/openai-discovers-new-way-cut-inference-costs-half
@ai_machinelearning_big_data
По данным The Information, инженеры в этом месяце рассказывали коллегам, что эти техники в какой-то момент позволили обслуживать ChatGPT для посетителей без бесплатных или платных аккаунтов всего на нескольких сотнях GPU Nvidia.
Точный метод пока не раскрыт. Это может быть квантизация, KV caching, batching, маршрутизация простых запросов на более дешёвые модели или комбинация всех этих подходов.
OpenAI закончила Q1 с gross margin 39% и хочет выйти на 52% к концу года. Более дешёвый инференс даёт компании пространство: улучшать маржу, поднимать лимиты ChatGPT или снижать ценовое давление API для разработчиков.
Moat OpenAI всё сильнее смещается в сторону инференса и преимущества по стоимости, особенно на фоне Anthropic.
https://www.theinformation.com/newsletters/ai-agenda/openai-discovers-new-way-cut-inference-costs-half
@ai_machinelearning_big_data
🤔2👍1
Forwarded from Machinelearning
Anthropic выкатила Claude Sonnet 5 - мощнейший «агентный» Sonnet в линейке.
Главная идея: модель теперь лучше планирует, пользуется инструментами, браузером, терминалом и может дольше вести сложные задачи без постоянного контроля.
По словам Anthropic, Sonnet 5 приблизился к Opus 4.8 по агентным задачам, но стоит дешевле. Особенно упор сделали на кодинг, tool use, reasoning и работу с многошаговыми процессами.
Модель уже доступна во всех планах Claude, включая Free и Pro, а также в Claude Code и API.
Цена для разработчиков до 31 августа 2026:
• $2 за 1 млн input tokens
• $10 за 1 млн output tokens
Потом стандартная цена:
• $3 за input
• $15 за output
Интересный момент: Anthropic отдельно пишет, что Sonnet 5 безопаснее Sonnet 4.6 в агентных сценариях, лучше отказывается от вредных запросов и устойчивее к prompt injection.
По сути, это попытка сделать «рабочую лошадку» для AI-агентов: не самую дорогую, но достаточно сильную, чтобы закрывать кодинг, автоматизацию, браузерные задачи и долгие пайплайны.
https://www.anthropic.com/news/claude-sonnet-5
Главная идея: модель теперь лучше планирует, пользуется инструментами, браузером, терминалом и может дольше вести сложные задачи без постоянного контроля.
По словам Anthropic, Sonnet 5 приблизился к Opus 4.8 по агентным задачам, но стоит дешевле. Особенно упор сделали на кодинг, tool use, reasoning и работу с многошаговыми процессами.
Модель уже доступна во всех планах Claude, включая Free и Pro, а также в Claude Code и API.
Цена для разработчиков до 31 августа 2026:
• $2 за 1 млн input tokens
• $10 за 1 млн output tokens
Потом стандартная цена:
• $3 за input
• $15 за output
Интересный момент: Anthropic отдельно пишет, что Sonnet 5 безопаснее Sonnet 4.6 в агентных сценариях, лучше отказывается от вредных запросов и устойчивее к prompt injection.
По сути, это попытка сделать «рабочую лошадку» для AI-агентов: не самую дорогую, но достаточно сильную, чтобы закрывать кодинг, автоматизацию, браузерные задачи и долгие пайплайны.
https://www.anthropic.com/news/claude-sonnet-5
👍5🤔1🤡1
Forwarded from Рекомендательная [RecSys Channel]
Closing the Online-Offline Gap: A Scalable Framework for Composed Model Evaluation
В рекомендательных системах итоговый скор обычно считается не одной моделью, а композицией нескольких предсказаний. Например, одна модель предсказывает вероятность клика, другая — конверсии после клика, третья — конверсии без клика. Затем эти значения объединяются в итоговый eCVR — оценённую вероятность конверсии, которая используется в ранжировании.
Проблема в том, что модели часто обучают и оценивают изолированно: по AUC, logloss, Normalized Entropy и другим офлайн-метрикам на собственном целевом событии. Но в продакшене предсказание модели — это только один компонент итогового скора. Поэтому улучшение локальной офлайн-метрики не всегда означает улучшение онлайн-метрик.
Meta* предлагает фреймворк iPCF — Intelligent Prediction Composition Framework. Его идея в том, чтобы оценивать новую модель не отдельно, а внутри той продакшн-композиции, в которой она реально используется. Для этого в логи добавляют предсказания всех моделей, участвовавших в итоговом скоре, идентификатор версии конфигурации ранжирования, информацию о том, куда какие предсказания подставлялись в композиционное дерево, и фактические метки: клик, конверсия и т.д.
Сама логика вычисления итогового скора хранится как версионированная конфигурация. Поэтому для исторического показа можно восстановить формулу, по которой тогда считался итоговый скор.
При оценке кандидата iPCF воспроизводит исторические запросы. В старую продакшн-композицию подставляют предсказания новой модели, а предсказания остальных моделей и бизнес-логику оставляют такими, какими они были в логах.
В результате получают симулированный итоговый eCVR — оценку итогового скора, если бы в тот момент вместо старой модели использовалась новая.
После этого офлайн-метрику считают уже не по локальному выходу модели, а по пересчитанному итоговому скору. Так можно сравнить базовый eCVR и симулированный eCVR кандидата, получить iPCF NE или другую iPCF-метрику и оценить офлайн-прирост кандидата.
Смысл в том, что iPCF измеряет не просто качество модели на её собственном целевом событии, а влияние замены этой модели на итоговый ранжирующий скор.
В экспериментах авторы проверяют, насколько хорошо офлайн-прирост предсказывает настоящий онлайн-прирост из A/B-тестов. Для этого используют простую линейную калибровку: предсказанный онлайн-прирост считают пропорциональным офлайн-приросту. Затем сравнивают предсказанный и реальный онлайн-прирост через L1-ошибку.
При использовании iPCF-метрики вместо обычной офлайн-метрики L1-ошибка снизилась на двух группах моделей: на M1 — примерно на 18%, на M2 — примерно на 2,8%. То есть iPCF в этих экспериментах лучше согласовывал офлайн-оценку с онлайн-результатами.
@RecSysChannel
Разбор подготовил❣ Влад Аверков
___
Компания Meta признана экстремистской; её деятельность в России запрещена.
В рекомендательных системах итоговый скор обычно считается не одной моделью, а композицией нескольких предсказаний. Например, одна модель предсказывает вероятность клика, другая — конверсии после клика, третья — конверсии без клика. Затем эти значения объединяются в итоговый eCVR — оценённую вероятность конверсии, которая используется в ранжировании.
Проблема в том, что модели часто обучают и оценивают изолированно: по AUC, logloss, Normalized Entropy и другим офлайн-метрикам на собственном целевом событии. Но в продакшене предсказание модели — это только один компонент итогового скора. Поэтому улучшение локальной офлайн-метрики не всегда означает улучшение онлайн-метрик.
Meta* предлагает фреймворк iPCF — Intelligent Prediction Composition Framework. Его идея в том, чтобы оценивать новую модель не отдельно, а внутри той продакшн-композиции, в которой она реально используется. Для этого в логи добавляют предсказания всех моделей, участвовавших в итоговом скоре, идентификатор версии конфигурации ранжирования, информацию о том, куда какие предсказания подставлялись в композиционное дерево, и фактические метки: клик, конверсия и т.д.
Сама логика вычисления итогового скора хранится как версионированная конфигурация. Поэтому для исторического показа можно восстановить формулу, по которой тогда считался итоговый скор.
При оценке кандидата iPCF воспроизводит исторические запросы. В старую продакшн-композицию подставляют предсказания новой модели, а предсказания остальных моделей и бизнес-логику оставляют такими, какими они были в логах.
В результате получают симулированный итоговый eCVR — оценку итогового скора, если бы в тот момент вместо старой модели использовалась новая.
После этого офлайн-метрику считают уже не по локальному выходу модели, а по пересчитанному итоговому скору. Так можно сравнить базовый eCVR и симулированный eCVR кандидата, получить iPCF NE или другую iPCF-метрику и оценить офлайн-прирост кандидата.
Смысл в том, что iPCF измеряет не просто качество модели на её собственном целевом событии, а влияние замены этой модели на итоговый ранжирующий скор.
В экспериментах авторы проверяют, насколько хорошо офлайн-прирост предсказывает настоящий онлайн-прирост из A/B-тестов. Для этого используют простую линейную калибровку: предсказанный онлайн-прирост считают пропорциональным офлайн-приросту. Затем сравнивают предсказанный и реальный онлайн-прирост через L1-ошибку.
При использовании iPCF-метрики вместо обычной офлайн-метрики L1-ошибка снизилась на двух группах моделей: на M1 — примерно на 18%, на M2 — примерно на 2,8%. То есть iPCF в этих экспериментах лучше согласовывал офлайн-оценку с онлайн-результатами.
@RecSysChannel
Разбор подготовил
___
Компания Meta признана экстремистской; её деятельность в России запрещена.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5❤1
Forwarded from Speech Info
UALM: Unified Audio Language Model for Understanding, Generation and Reasoning
В более ранних статьях аудиопонимание и генерация традиционно шли параллельно и не пересекались. Но, если задуматься, человек, решая задачу в области аудио, одновременно мыслит словами и воспринимает звук, постоянно переключая в голове эти модальности — например, так происходит, когда композитор пишет музыку.
Объединить аудиопонимание, генерацию и рассуждения в одной модели — масштабная задача, которую и пытаются решить в статье UALM.
Авторы выделяют две основные проблемы. Первая — аудиопонимание обычно строят на авторегрессионных языковых моделях, а генерацию звука — на диффузионных. Нужно придумать, как объединить эти подходы. Вторая — большинство ризонинг-моделей работают только с текстом, и почти никто не рассматривает аудио как часть процесса рассуждений.
Для решения предлагают генерировать аудио тоже через авторегрессионную модель, используя для этого:
🔴 Кратно больше аудиоданных, чтобы модель могла сойтись в то же качество.
🔴 Classifier free guidance, который, по заявлениям авторов, сильно улучшает финальное качество генерации.
🔴 Более универсальный кодек, который не требует больших вычислений, но умеет сохранять достаточно информации.
🔴 Delay pattern — технику, которую используют в ряде последних статей для генерации аудио через токены.
🔴 Self-adaptation-стадии через DPO.
С помощью этих составляющих собирают модель UALM-Gen на базе Qwen2.5-1.5B, которая, по словам авторов, достигает качества диффузионных моделей. Правда, за это надо платить большим объёмом данных: около 80 тысяч часов аудио против нескольких тысяч часов у диффузионок.
В плане архитектуры верхнеуровнево UALM — это аудиоэнкодер + адаптер + Qwen2.5-7B (для основной модели). Аудио переводится в общее с текстом пространство представлений, после чего единая языковая модель занимается пониманием, ризонингом и генерацией аудио.
UALM-Gen решает только задачу генерации. Следующий шаг — объединить в модели задачи аудиопонимания и генерации. Для этого модифицируют DataMix, увеличивая долю генерационных задач, и вводят стадию Modality Alignment для согласования аудио- и текстовых представлений.
Последняя часть — мультимодальный ризонинг. Здесь используют Rich Captions — подробные текстовые планы будущего аудио, которые служат промежуточным представлением между запросом пользователя и генерацией. Также добавляют «самокритицизм», чтобы модель сама понимала, что можно улучшить, и могла итеративно прийти к лучшему результату.
Чтобы добавить ризонинг, модель обучают трём вещам:
🔴 Enrichment — дополнять слишком краткие или расплывчатые запросы пользователя.
🔴 Dialogue — задавать уточняющие вопросы перед генерацией.
🔴 Self-reflection — анализировать собственный результат, находить расхождения с исходным планом и улучшать следующую версию.
В итоге можно сказать, что UALM — сильная текстовая модель, которая при этом показывает хорошие результаты в аудиопонимании и получает выигрыш от ризонинга при генерации аудио. По словам авторов, модель лучше конкурентов соблюдает пользовательские инструкции и точнее воспроизводит сложные звуковые сцены.
Можно посмотреть код и демо, а вот веса пока не выложены.
Александр Шаршавин❣ Специально для Speech Info
В более ранних статьях аудиопонимание и генерация традиционно шли параллельно и не пересекались. Но, если задуматься, человек, решая задачу в области аудио, одновременно мыслит словами и воспринимает звук, постоянно переключая в голове эти модальности — например, так происходит, когда композитор пишет музыку.
Объединить аудиопонимание, генерацию и рассуждения в одной модели — масштабная задача, которую и пытаются решить в статье UALM.
Авторы выделяют две основные проблемы. Первая — аудиопонимание обычно строят на авторегрессионных языковых моделях, а генерацию звука — на диффузионных. Нужно придумать, как объединить эти подходы. Вторая — большинство ризонинг-моделей работают только с текстом, и почти никто не рассматривает аудио как часть процесса рассуждений.
Для решения предлагают генерировать аудио тоже через авторегрессионную модель, используя для этого:
С помощью этих составляющих собирают модель UALM-Gen на базе Qwen2.5-1.5B, которая, по словам авторов, достигает качества диффузионных моделей. Правда, за это надо платить большим объёмом данных: около 80 тысяч часов аудио против нескольких тысяч часов у диффузионок.
В плане архитектуры верхнеуровнево UALM — это аудиоэнкодер + адаптер + Qwen2.5-7B (для основной модели). Аудио переводится в общее с текстом пространство представлений, после чего единая языковая модель занимается пониманием, ризонингом и генерацией аудио.
UALM-Gen решает только задачу генерации. Следующий шаг — объединить в модели задачи аудиопонимания и генерации. Для этого модифицируют DataMix, увеличивая долю генерационных задач, и вводят стадию Modality Alignment для согласования аудио- и текстовых представлений.
Последняя часть — мультимодальный ризонинг. Здесь используют Rich Captions — подробные текстовые планы будущего аудио, которые служат промежуточным представлением между запросом пользователя и генерацией. Также добавляют «самокритицизм», чтобы модель сама понимала, что можно улучшить, и могла итеративно прийти к лучшему результату.
Чтобы добавить ризонинг, модель обучают трём вещам:
В итоге можно сказать, что UALM — сильная текстовая модель, которая при этом показывает хорошие результаты в аудиопонимании и получает выигрыш от ризонинга при генерации аудио. По словам авторов, модель лучше конкурентов соблюдает пользовательские инструкции и точнее воспроизводит сложные звуковые сцены.
Можно посмотреть код и демо, а вот веса пока не выложены.
Александр Шаршавин
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5🤩1
Forwarded from Душный NLP
Ускорение генерации роллаутов с помощью спекулятивного декодинга
Самая времязатратная часть в GRPO — это генерация траекторий модели, на которую приходится около 72% всего процесса. Поэтому хочется ускорить генерацию роллаутов — и в сегодняшней статье NVIDIA рассказано, как это можно сделать.
По большому счёту, генерация роллаутов — это обычный инференс модели. При наивном инференсе видеокарты используются не на полную. Помочь решить эту проблему способен спекулятивный декодинг. Его суть заключается в том, что маленькая драфт-модель, учится предсказывать, какие токены сгенерирует основная модель. Последней остаётся лишь верифицировать, правильную ли гипотезу выдала драфт-модель. В режиме спекулятивного декодинга разрыв между компьютом и трансфером памяти сокращается.
Авторы проверяли свою гипотезу на небольшой модели — Qwen3-8B. Обучали её на математическом датасете DAPO-Math-17K, а валидировали — на AIME-2024. При этом других наборов данных не использовали, что немного подозрительно. Возможно, именно из-за такого выбора сетапа получились хорошие результаты. Кроме того, замеры проводили на Qwen3-235B, но в симуляции, из-за чего полученные результаты могут отличаться от реальных.
Модель обучали в двух режимах. Первый, RL-Think, предполагает простое обучение после SFT (или продолжение RL-стадии поверх уже ризонящей модели), а второй, RL-Zero, — RL сразу поверх претрейн-модели. Во втором случае спекулятивные модели вроде EAGLE дают лучший acceptance.
Касательно самого предсказания: авторы пришли к выводу, что наибольшее ускорение получается при трёх спекулируемых токенах. Интересно, что при предсказании уже пяти токенов генерация, напротив, замедляется.
В RL-Zero ускорение генерации — 1,77x против 1,54x в RL-Think: драфтеру проще предсказывать распределение менее обученной политики. На общем времени GRPO-шага разрыв уменьшается, потому что спекулятивный декодинг ускоряет только генерацию, а пересчёт log-prob и шаг оптимизатора занимают примерно то же время, что и без него. В симуляции с Qwen3-235B ускорение составило 2,5х. Но, опять же, в реальных рабочих сценариях прирост может быть скромнее.
В дополнение авторы предлагают доучивать драфт-модель во время GRPO, чтобы она не отставала от меняющейся политики основной модели. Делается это так: берутся скрытые представления основной модели, на них навешивается
Разбор подготовил❣ Павел Васильев
Душный NLP
Самая времязатратная часть в GRPO — это генерация траекторий модели, на которую приходится около 72% всего процесса. Поэтому хочется ускорить генерацию роллаутов — и в сегодняшней статье NVIDIA рассказано, как это можно сделать.
По большому счёту, генерация роллаутов — это обычный инференс модели. При наивном инференсе видеокарты используются не на полную. Помочь решить эту проблему способен спекулятивный декодинг. Его суть заключается в том, что маленькая драфт-модель, учится предсказывать, какие токены сгенерирует основная модель. Последней остаётся лишь верифицировать, правильную ли гипотезу выдала драфт-модель. В режиме спекулятивного декодинга разрыв между компьютом и трансфером памяти сокращается.
Авторы проверяли свою гипотезу на небольшой модели — Qwen3-8B. Обучали её на математическом датасете DAPO-Math-17K, а валидировали — на AIME-2024. При этом других наборов данных не использовали, что немного подозрительно. Возможно, именно из-за такого выбора сетапа получились хорошие результаты. Кроме того, замеры проводили на Qwen3-235B, но в симуляции, из-за чего полученные результаты могут отличаться от реальных.
Модель обучали в двух режимах. Первый, RL-Think, предполагает простое обучение после SFT (или продолжение RL-стадии поверх уже ризонящей модели), а второй, RL-Zero, — RL сразу поверх претрейн-модели. Во втором случае спекулятивные модели вроде EAGLE дают лучший acceptance.
Касательно самого предсказания: авторы пришли к выводу, что наибольшее ускорение получается при трёх спекулируемых токенах. Интересно, что при предсказании уже пяти токенов генерация, напротив, замедляется.
В RL-Zero ускорение генерации — 1,77x против 1,54x в RL-Think: драфтеру проще предсказывать распределение менее обученной политики. На общем времени GRPO-шага разрыв уменьшается, потому что спекулятивный декодинг ускоряет только генерацию, а пересчёт log-prob и шаг оптимизатора занимают примерно то же время, что и без него. В симуляции с Qwen3-235B ускорение составило 2,5х. Но, опять же, в реальных рабочих сценариях прирост может быть скромнее.
В дополнение авторы предлагают доучивать драфт-модель во время GRPO, чтобы она не отставала от меняющейся политики основной модели. Делается это так: берутся скрытые представления основной модели, на них навешивается
.detach() , после чего они отправляются в драфтер. Такая система позволяет обучать драфтера вместе с основной моделью, не оказывая на неё влияния (схема на приложенном изображении). Разбор подготовил
Душный NLP
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3🔥1
Forwarded from ODS Events
Всем привет!
Встречайте свежий выпуск подкаста "Капитанский мостик" 05.07.2026. Ведущие Валентин Малых и Дмитрий Колодезев обсуждают последние новости в области технологий, экономики и бизнеса, включая обновления в области ИИ, развитие индустрии чипов в Южной Корее и стратегические инициативы крупных компаний. Узнайте, как эти события влияют на глобальный рынок и будущее технологий.
Смотрите видео на каналах ⤵️
ODS VK Video
ODS YouTube
📩 Присылайте новости для обсуждения в канал "Дата-капитаны" в mattermost (авторизуйтесь через ODS.ai).
Встречайте свежий выпуск подкаста "Капитанский мостик" 05.07.2026. Ведущие Валентин Малых и Дмитрий Колодезев обсуждают последние новости в области технологий, экономики и бизнеса, включая обновления в области ИИ, развитие индустрии чипов в Южной Корее и стратегические инициативы крупных компаний. Узнайте, как эти события влияют на глобальный рынок и будущее технологий.
Смотрите видео на каналах ⤵️
ODS VK Video
ODS YouTube
📩 Присылайте новости для обсуждения в канал "Дата-капитаны" в mattermost (авторизуйтесь через ODS.ai).
Forwarded from ML Underhood
Мы уже на ICML 2026! 🇰🇷
Аннён, друзья! Инженеры и исследователи Яндекса шлют привет из Сеула, где сегодня стартует ICML 2026. Ниже собрали расписание наших постеров — со временем (по Сеулу) и местом проведения. Если вы тоже на ICML, приходите пообщаться, обсудить статьи и задать вопросы авторам.
7 июля (вторник)
8 июля (среда)
9 июля (четверг)
Подробнее о работах основного трека рассказали тут и отдельно — о Spotlight-статье.
#YaICML2026
ML Underhood
Аннён, друзья! Инженеры и исследователи Яндекса шлют привет из Сеула, где сегодня стартует ICML 2026. Ниже собрали расписание наших постеров — со временем (по Сеулу) и местом проведения. Если вы тоже на ICML, приходите пообщаться, обсудить статьи и задать вопросы авторам.
7 июля (вторник)
GraphPFN: A Prior-Data Fitted Graph Foundation Model
10:30–12:15 (KST)
Hall A, Poster #2411
One-Step Gradient Delay is Not a Barrier for Large-Scale Asynchronous Pipeline Parallel LLM Pretraining
10:30–12:15 (KST)
Hall A, Poster #3610
Unveiling the Role of Data Uncertainty in Tabular Deep Learning
14:00–15:45 (KST)
Hall A, Poster #2802
8 июля (среда)
SoftSign: Smooth Sign in Your Optimizer for Better Parameter Heterogeneity Handling
14:30–16:15 (KST)
Hall A, Poster #3708
9 июля (четверг)
Inverse Entropic Optimal Transport Solves Semi-supervised Learning via Data Likelihood Maximization
10:30–12:15 (KST)
Hall A, Poster #2603
On Efficient Scaling of GNNs via IO-Aware Layers Implementations (Spotlight)
17:00–18:45 (KST)
Hall A, Poster #2205
Relevance-Based Embeddings: Lightweight Candidate Retrieval via Heavy-Ranker Calls
17:00–18:45 (KST)
Hall A, Poster #4007
Подробнее о работах основного трека рассказали тут и отдельно — о Spotlight-статье.
#YaICML2026
ML Underhood
❤4🤡1
Forwarded from Machinelearning
Команда Claude Code опубликовала в X руководство по loops. Это паттерны, в которых агент повторяет рабочий цикл, пока не сработает условие остановки.
Главная мысль: уходить от ручного режима, где разработчик задаёт направление на каждом шаге, и передавать агенту контроль по нарастающей.
Всего выделяют 4 типа циклов, различая их по способу запуска, условию остановки и степени автономии. Логически получается некая лестница делегирования, где на каждой ступени вы отдаёте агенту очередное полномочие.
Здесь вы отдаёте агенту проверку. Ручные шаги верификации заполняются в
SKILL.md и чем более количественные критерии, тем точнее агент оценивает собственную работу./goal забирает у вас условие прерыванияВы описываете, что значит готово, а дальше при каждой попытке Claude завершить работу отдельная модель-оценщик сверяет результат с вашим критерием (скажем, долей пройденных тестов) и возвращает агента к работе, пока цель не достигнута или не исчерпан заданный лимит попыток.
/loop или /schedule берёт на себя триггер запуска.Это удобно для повторяющейся рутины и при работе с внешними системами (например, дайджест по таскам, реакция на новое ревью или упавший CI).
Рутина срабатывает по событию или расписанию и живёт, пока вы её не выключите. В связке с динамическими воркфлоу агенту передаётся уже сам промпт. Вот этот сценарий уже ближе всего к полной автоматизации.
Не каждая задача требует сложного цикла, начинать стоит с простейшего решения.
Кодовую базу следует держать чистой, а для ревью подключать второй агент. Для этого есть встроенный /code-review.
Контролировать расход токенов чёткими границами: точные условия остановки, подбор модели под задачу (рутину - на модели поменьше и побыстрее, решения с ризонингом - на самой мощной).
Динамические воркфлоу способны породить сотни агентов, так что масштаб лучше проверять на небольшой выборке.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4