Автономный транспорт на ECCV 2026: несколько слов о долгосрочном развитии
На воркшопе Emerging Behaviors for Achieving Robust Autonomy обсуждали надёжность автономного транспорта. В нескольких докладах, как из индустрии, так и из академии, чётко прослеживались одни и те же тезисы по развитию планировщиков для автономных автомобилей:
🔴 Развитие ML-планировщиков движется в сторону end-to-end-моделей.
🔴 Уже сейчас индустрия активно использует RL для обучения ML-планировщиков: пока в варианте RL post-training в симуляции. Ресёрч идëт в сторону RL-обучения с нуля, в том числе и для end-to-end-сетей.
🔴 И в индустрии, и в академии интенсивно пытаются использовать Self-play RL. Это был один из важных ингредиентов успеха AlphaGo, которая тренировалась играть сама с собой в го и в итоге впервые обыграла человека в эту игру.
🔴 Чтобы RL для end-to-end планировщика заработал, нужен быстрый симулятор с достаточно высоким качеством имитации сенсоров: без sim-to-real gap. Это пока остается исследовательской задачей. Даже NVIDIA, которая довольно далеко продвинулась в задаче симуляции сенсоров для роботов, пишет о том, что sim-to-real gap все ещё частая проблема.
🔴 Надёжный планировщик не сделать только на основе записанных логов. Симулятор должен уметь генерировать сложные случаи для обучения и тестирования. Для этого нужна эффективная world model, созданием которой занимаются и в академии, и в индустрии.
Академические боли тоже остаются прежними. В докладе PRIX: Learning to Plan from Raw Pixels for End-to-End Autonomous Driving авторы добились SOTA на нескольких бенчмарках для планировщика в автономном транспорте. Но на последнем слайде честно написали, что не могут предсказать, как модель будет вести себя в реальности, на живом роботе или автомобиле с ограниченными вычислительными возможностями. Это общая проблема академических исследований: своего флота автомобилей у них нет, а открытые бенчмарки требуют дополнительной валидации.
Наблюдениями поделился❣️ Виктор Юрченко
404 driver not found
На воркшопе Emerging Behaviors for Achieving Robust Autonomy обсуждали надёжность автономного транспорта. В нескольких докладах, как из индустрии, так и из академии, чётко прослеживались одни и те же тезисы по развитию планировщиков для автономных автомобилей:
Академические боли тоже остаются прежними. В докладе PRIX: Learning to Plan from Raw Pixels for End-to-End Autonomous Driving авторы добились SOTA на нескольких бенчмарках для планировщика в автономном транспорте. Но на последнем слайде честно написали, что не могут предсказать, как модель будет вести себя в реальности, на живом роботе или автомобиле с ограниченными вычислительными возможностями. Это общая проблема академических исследований: своего флота автомобилей у них нет, а открытые бенчмарки требуют дополнительной валидации.
Наблюдениями поделился
404 driver not found
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤9❤🔥6👍5🔥2🤩1
Qwen-Drive-1.0: An Initial Step towards a Vision-Language Foundation Model for Autonomous Driving
Современные подходы к автономному вождению часто разделяют восприятие, предсказание и планирование на отдельные модули. Но сейчас всё больше моделей переходят на end-to-end-предсказание с дообучением VLM под задачи вождения.
В частности, 31 августа команда Alibaba выпустила Qwen‑Drive‑1.0 — собственную модель в этой области. Это интересный релиз, потому что команда Qwen — один из безусловных лидеров в мире опенсорсных VLM, но это её первый заход в модели для вождения.
Авторы стартуют с Qwen3.5-4B и дообучают её, исходят из ключевых дизайн-принципов:
🔴 Для длинного хвоста ситуаций нужно минимально менять исходную VLM так, чтобы она при этом продолжала справляться с общими темами.
🔴 Для хорошего понимания сцены важны подзадачи 3D-реконструкции и разнообразный visual QA.
Чтобы достичь этого, предобученную VLM усилили двумя элементами:
🔴 BEV-голова для персепшна извлекает явную 3D-информацию: детекция объектов, предсказание occupancy, сегментация карты.
🔴 Planning Expert генерирует будущую траекторию эго-автомобиля на основе представлений VLM, используя flow matching.
Qwen‑Drive‑1.0 обучают в четыре стадии: первые две — для персепшна, следующие — для планнера.
1. Претрейн перспешна. Замораживают основную модель, обучают только новую BEV-голову на задачах 3D-детекции, occupancy, сегментации.
2. Совместное обучение персепшна и VQA. Размораживают визуальный энкодер и VLM. Обучают модель одновременно на данных для 3D-персепшна и «вопросах-ответах» по сцене вождения. Секретный ингредиент — микс данных: 64,3% составляют задачи вождения, 26% — общие задачи VAQ, 9,7% — 3D-персепшн. Это позволяет приобрести навыки вождения, не забывая общие знания.
3. Претрейн Planning Expert. Замораживают основную модель, обучают эксперта генерировать траектории.
4. Обучение с подкреплением (RL). Финально дотюнивают Planning Expert.
Собственные сырые данные почти не собирали, но смогли адаптировать широкий набор из примерно 30 публичных датасетов (включая nuScenes, Waymo WOD-E2E, NAVSIM). Многое пришлось унифицировать: например в таксономии классов объединили все типы автомобилей. Геометрию пришлось сгладить, чтобы получить одинаковую растеризацию карты и идентичные траектории на 50 точек. Для VQA-вождения многие запросы переформулировали большими умными VLM.
В итоге свои гипотезы авторы частично подтвердили: общие знания почти не проседают, бенчмарки очень близки к исходным. Понимание дорожной ситуации значительно улучшилось.
При этом Qwen-Drive-1.0 справляется с вождением так же хорошо, как специализированные end-to-end-модели. Новая модель получила PDMS 90,7 на NavSim. Это хороший результат, хотя и не SOTA: end-to-end SimWAM выбила 91,5, а модель со скорингом CLOVER — 94,5.
Интересно, что персепшн используют только для обучения, в инференсе планнера его нет. В аблэйшне авторы пробуют совсем исключить персепшн-стадию — планнер при этом работает не сильно хуже.
Модель выглядит симпатичной, авторы не бенч-максят, а честно валидируют общий подход.
Разбор подготовил❣️ Кирилл Федянин
404 driver not found
Современные подходы к автономному вождению часто разделяют восприятие, предсказание и планирование на отдельные модули. Но сейчас всё больше моделей переходят на end-to-end-предсказание с дообучением VLM под задачи вождения.
В частности, 31 августа команда Alibaba выпустила Qwen‑Drive‑1.0 — собственную модель в этой области. Это интересный релиз, потому что команда Qwen — один из безусловных лидеров в мире опенсорсных VLM, но это её первый заход в модели для вождения.
Авторы стартуют с Qwen3.5-4B и дообучают её, исходят из ключевых дизайн-принципов:
Чтобы достичь этого, предобученную VLM усилили двумя элементами:
Qwen‑Drive‑1.0 обучают в четыре стадии: первые две — для персепшна, следующие — для планнера.
1. Претрейн перспешна. Замораживают основную модель, обучают только новую BEV-голову на задачах 3D-детекции, occupancy, сегментации.
2. Совместное обучение персепшна и VQA. Размораживают визуальный энкодер и VLM. Обучают модель одновременно на данных для 3D-персепшна и «вопросах-ответах» по сцене вождения. Секретный ингредиент — микс данных: 64,3% составляют задачи вождения, 26% — общие задачи VAQ, 9,7% — 3D-персепшн. Это позволяет приобрести навыки вождения, не забывая общие знания.
3. Претрейн Planning Expert. Замораживают основную модель, обучают эксперта генерировать траектории.
4. Обучение с подкреплением (RL). Финально дотюнивают Planning Expert.
Собственные сырые данные почти не собирали, но смогли адаптировать широкий набор из примерно 30 публичных датасетов (включая nuScenes, Waymo WOD-E2E, NAVSIM). Многое пришлось унифицировать: например в таксономии классов объединили все типы автомобилей. Геометрию пришлось сгладить, чтобы получить одинаковую растеризацию карты и идентичные траектории на 50 точек. Для VQA-вождения многие запросы переформулировали большими умными VLM.
В итоге свои гипотезы авторы частично подтвердили: общие знания почти не проседают, бенчмарки очень близки к исходным. Понимание дорожной ситуации значительно улучшилось.
При этом Qwen-Drive-1.0 справляется с вождением так же хорошо, как специализированные end-to-end-модели. Новая модель получила PDMS 90,7 на NavSim. Это хороший результат, хотя и не SOTA: end-to-end SimWAM выбила 91,5, а модель со скорингом CLOVER — 94,5.
Интересно, что персепшн используют только для обучения, в инференсе планнера его нет. В аблэйшне авторы пробуют совсем исключить персепшн-стадию — планнер при этом работает не сильно хуже.
Модель выглядит симпатичной, авторы не бенч-максят, а честно валидируют общий подход.
Разбор подготовил
404 driver not found
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥10🤩7❤5👍1😱1
Mask2Map: Vectorized HD Map Construction Using Bird's Eye View Segmentation Masks
Что будет, если объединить лучшие практики из Deformable-DeTR, DN-DeTR, Mask2Former, MapTR и MapTR v2? Узнаем из статьи о Mask2Map — методе построения векторных HD-карт по данным автомобильных сенсоров.
Главная идея довольно проста: получить хорошее представление дорожной разметки в виде BEV-масок, а затем использовать эти маски как геометрическую подсказку для векторного декодера.
Mask2Map состоит из двух основных частей:
🔴 IMPNet строит instance-level сегментацию по BEV-фичам сенсоров и формирует маски вместе с соответствующими query.
🔴 MMPNet превращает эту информацию в векторные элементы карты: предсказывает их класс, геометрию и порядок точек.
Пайплайн начинается с построения BEV-представления. Фичи от сенсоров переводят в BEV и обрабатывают на нескольких масштабах. Дальше Mask2Former-подобная часть выполняет инстанс-сегментацию: получает собственную маску и эмбеддинг объекта для каждого элемента карты.
После этого плотную маску нужно превратить в компактное геометрическое представление. Для этого её бинаризуют, прореживают скользящим окном, оставляя репрезентативные точки, и в конце применяют Farthest Point Sampling (FPS). В результате вместо большого числа пикселей остаётся небольшой набор пространственных координат
Параллельно модули PQG и GFE формируют query и добавляют в них семантическую и геометрическую информацию из BEV. Идея в том, чтобы дать декодеру более осмысленную стартовую точку, чем полностью свободные обучаемые эмбеддинги.
Дальше всё это попадает в Mask-Guided Map Decoder. Полученные из масок точки используются как геометрические подсказки и опорные точки для деформируемого кросс-аттеншна, после чего декодер восстанавливает итоговую векторную геометрию элементов HD-карты.
Если совсем упростить, архитектуру можно представить так:
Вместо того чтобы заставлять DETR-подобный декодер полностью с нуля искать геометрию дорожных элементов, авторы сначала решают более простую задачу сегментации, а затем используют её результат для инициализации и направления векторного предсказания.
Отдельно во время обучения используется знакомая по DN-DETR идея расшумления queries: GT-объекты искусственно зашумляются, после чего модель учится восстанавливать исходную геометрию. Это помогает стабилизировать обучение и облегчает сопоставление query с объектами карты.
По результатам авторов Mask2Map на момент публикации заметно превосходил предыдущие методы на nuScenes и Argoverse2: прирост составлял до 10,1% mAP и 4,1% mAP. Познакомиться с кодом можно на GitHub проекта.
Разбор подготовил❣️ Денис Глазов
404 driver not found
Что будет, если объединить лучшие практики из Deformable-DeTR, DN-DeTR, Mask2Former, MapTR и MapTR v2? Узнаем из статьи о Mask2Map — методе построения векторных HD-карт по данным автомобильных сенсоров.
Главная идея довольно проста: получить хорошее представление дорожной разметки в виде BEV-масок, а затем использовать эти маски как геометрическую подсказку для векторного декодера.
Mask2Map состоит из двух основных частей:
Пайплайн начинается с построения BEV-представления. Фичи от сенсоров переводят в BEV и обрабатывают на нескольких масштабах. Дальше Mask2Former-подобная часть выполняет инстанс-сегментацию: получает собственную маску и эмбеддинг объекта для каждого элемента карты.
После этого плотную маску нужно превратить в компактное геометрическое представление. Для этого её бинаризуют, прореживают скользящим окном, оставляя репрезентативные точки, и в конце применяют Farthest Point Sampling (FPS). В результате вместо большого числа пикселей остаётся небольшой набор пространственных координат
(x, y).Параллельно модули PQG и GFE формируют query и добавляют в них семантическую и геометрическую информацию из BEV. Идея в том, чтобы дать декодеру более осмысленную стартовую точку, чем полностью свободные обучаемые эмбеддинги.
Дальше всё это попадает в Mask-Guided Map Decoder. Полученные из масок точки используются как геометрические подсказки и опорные точки для деформируемого кросс-аттеншна, после чего декодер восстанавливает итоговую векторную геометрию элементов HD-карты.
Если совсем упростить, архитектуру можно представить так:
сенсоры → BEV → instance masks → опорные точки → vector map. То есть левая часть Mask2Map во многом напоминает Mask2Former, а правая — MapTR/Deformable DETR, связанные BEV-масками, которые дают векторному декодеру сильный spatial prior.Вместо того чтобы заставлять DETR-подобный декодер полностью с нуля искать геометрию дорожных элементов, авторы сначала решают более простую задачу сегментации, а затем используют её результат для инициализации и направления векторного предсказания.
Отдельно во время обучения используется знакомая по DN-DETR идея расшумления queries: GT-объекты искусственно зашумляются, после чего модель учится восстанавливать исходную геометрию. Это помогает стабилизировать обучение и облегчает сопоставление query с объектами карты.
По результатам авторов Mask2Map на момент публикации заметно превосходил предыдущие методы на nuScenes и Argoverse2: прирост составлял до 10,1% mAP и 4,1% mAP. Познакомиться с кодом можно на GitHub проекта.
Разбор подготовил
404 driver not found
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9❤6👍4🤯2🎉1
DaViT: Dual Attention Vision Transformers
Одна из актуальных задач персепшна — разработка архитектуры, способной одновременно улавливать глобальный контекст и эффективно обрабатывать изображения высокого разрешения. iGPT, методы оптимизации и другие современные подходы чаще всего заключаются в поиске компромисса между качеством, полнотой контекста и вычислительной сложностью.
Сегодня разберём статью о принципиально новом механизме селф-аттеншна на уровне всего изображения — DaViT. В отличие от ViT и его модификаций, работающих с пикселями или патчами, это решение учитывает глобальный контекст, сохраняя при этом вычислительную эффективность относительно пространственного размера изображения.
В основе модели — всё тот же трансформер ViT, но с дополнительной особенностью. Токен всего канала изображения хранится в специальных channel-токенах. По сути это транспонированная версия spatial-токенов.
Рассмотреть архитектуру в подробностях можно на верхней схеме. Она включает два трансформер-блока: пространственного и группового селф-аттеншнов. Благодаря попеременному применению двух этих типов внимания, модель одновременно улавливает и локальные небольшие взаимодействия, и глобальные изменения на уровне всего изображения. На нижней схеме — механизм внимания модели.
Кроме того, DaViT работает не квадратично, как ViT и Swin, а за линейное время от размера токена. Этого удалось добиться, группируя channel-токены. В результате DaViT обогнала Swin и другие топовые модели по скорости и качеству на задачах классификации, детекции и сегментации.
Без обучения на дополнительных данных версии ВDaViT-Tiny (28,3M параметров), DaViT-Small (49,7M) и DaViT-Base (87,9M) продемонстрировали 82,8%, 84,2%, и 84,6% — топ-1 точности ImageNet-1K на момент публикации. При дальнейшем масштабировании DaViT на 1,5B парах «текст+изображение» DaViT-Gaint достигает 90,4% точности.
Код доступен на GitHub авторов.
Разбор подготовил❣️ Давид Дигмелов
404 driver not found
Одна из актуальных задач персепшна — разработка архитектуры, способной одновременно улавливать глобальный контекст и эффективно обрабатывать изображения высокого разрешения. iGPT, методы оптимизации и другие современные подходы чаще всего заключаются в поиске компромисса между качеством, полнотой контекста и вычислительной сложностью.
Сегодня разберём статью о принципиально новом механизме селф-аттеншна на уровне всего изображения — DaViT. В отличие от ViT и его модификаций, работающих с пикселями или патчами, это решение учитывает глобальный контекст, сохраняя при этом вычислительную эффективность относительно пространственного размера изображения.
В основе модели — всё тот же трансформер ViT, но с дополнительной особенностью. Токен всего канала изображения хранится в специальных channel-токенах. По сути это транспонированная версия spatial-токенов.
Рассмотреть архитектуру в подробностях можно на верхней схеме. Она включает два трансформер-блока: пространственного и группового селф-аттеншнов. Благодаря попеременному применению двух этих типов внимания, модель одновременно улавливает и локальные небольшие взаимодействия, и глобальные изменения на уровне всего изображения. На нижней схеме — механизм внимания модели.
Кроме того, DaViT работает не квадратично, как ViT и Swin, а за линейное время от размера токена. Этого удалось добиться, группируя channel-токены. В результате DaViT обогнала Swin и другие топовые модели по скорости и качеству на задачах классификации, детекции и сегментации.
Без обучения на дополнительных данных версии ВDaViT-Tiny (28,3M параметров), DaViT-Small (49,7M) и DaViT-Base (87,9M) продемонстрировали 82,8%, 84,2%, и 84,6% — топ-1 точности ImageNet-1K на момент публикации. При дальнейшем масштабировании DaViT на 1,5B парах «текст+изображение» DaViT-Gaint достигает 90,4% точности.
Код доступен на GitHub авторов.
Разбор подготовил
404 driver not found
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥10🤣8❤7👍2🥴2
Cross-view Transformers for real-time Map-view Semantic Segmentation
Сегодня обсудим статью о том, как решить задачу BEV-сегментации в camera-only-режиме.
Авторы используют данные нескольких камер, информацию об их фокусном расстоянии, повороте и расположении. Изображения с камер эмбеддятся и складываются с позиционными эмбеддингами: MLP поверх вектора, посчитанного с помощью информации о положении камеры. Он сонаправлен с осью объектива и проходит сквозь кодируемый пиксель.
Подход позволяет сэкономить время работы модели: учесть положение камеры относительно эго-машины и окружающего мира, не восстанавливая глубину эксплицитно.
Эмбеддинг BEV’а для каждой камеры свой. Это разность выучиваемого позиционного эмбеддинга BEV’а и MLP поверх позиции камеры относительно окружающего мира. Так query приводят в ту же модальность, что и позиционные эмбеддинги для изображений.
Авторы используют два блока с cross-attention’ом с последующим свёрточным слоем, чтобы модель глубже изучила данные. Учитывают q — эмбеддинг BEV’а, k — сумму позиционных эмбеддингов и фичей изображений, v — просто фичи изображений. В итоге за счёт скалярного произведения внутри attention’а предполагается, что модель учится имитировать косинусную близость между BEV’ом и информацией с камер, указывая каждой ячейке BEV-а на релевантную визуальную информацию.
В конце декодер из свёрток и upsample-блоков расшифровывает выход трансформера в плотную карту, для которой выполняется сегментация.
Благодаря отказу от реконструкции глубины авторам удалось добиться SOTA-результатов: x4 к скорости по сравнению с предыдущим топовым методом.
Разбор подготовила❣️ Алина Речина
404 driver not found
Сегодня обсудим статью о том, как решить задачу BEV-сегментации в camera-only-режиме.
Авторы используют данные нескольких камер, информацию об их фокусном расстоянии, повороте и расположении. Изображения с камер эмбеддятся и складываются с позиционными эмбеддингами: MLP поверх вектора, посчитанного с помощью информации о положении камеры. Он сонаправлен с осью объектива и проходит сквозь кодируемый пиксель.
Подход позволяет сэкономить время работы модели: учесть положение камеры относительно эго-машины и окружающего мира, не восстанавливая глубину эксплицитно.
Эмбеддинг BEV’а для каждой камеры свой. Это разность выучиваемого позиционного эмбеддинга BEV’а и MLP поверх позиции камеры относительно окружающего мира. Так query приводят в ту же модальность, что и позиционные эмбеддинги для изображений.
Авторы используют два блока с cross-attention’ом с последующим свёрточным слоем, чтобы модель глубже изучила данные. Учитывают q — эмбеддинг BEV’а, k — сумму позиционных эмбеддингов и фичей изображений, v — просто фичи изображений. В итоге за счёт скалярного произведения внутри attention’а предполагается, что модель учится имитировать косинусную близость между BEV’ом и информацией с камер, указывая каждой ячейке BEV-а на релевантную визуальную информацию.
В конце декодер из свёрток и upsample-блоков расшифровывает выход трансформера в плотную карту, для которой выполняется сегментация.
Благодаря отказу от реконструкции глубины авторам удалось добиться SOTA-результатов: x4 к скорости по сравнению с предыдущим топовым методом.
Разбор подготовила
404 driver not found
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5👍3🔥2
Scene-Adaptive Motion Planning with Explicit Mixture of Experts and Interaction-Oriented Optimization [1/2]
Сегодня начнëм разбирать статью от исследователей компании BYD. Авторы собрали в одну конструкцию три идеи:
🔴 MoE для разных сценариев, где каждый эксперт отвечает за свой тип дорожных ситуаций.
🔴 Отдельные наборы якорных точек, полученные из водительских траекторий для каждого сценария.
🔴 Дополнительный учёт взаимодействия эго с другими участниками движения при обучении.
Это позволило получить SOTA-результат на стандартном исследовательском бенчмарке nuPlan среди learning-based-методов без постобработки.
Роутеры и эксперты
В языковых моделях MoE применяют, прежде всего, ради вычислительной эффективности, а здесь — ставка на явную специализацию. Ключевая идея: в отличие от текстов, манёвры легко разбить правилами на семантически чёткие классы. Авторы выбрали семь таких классов: прямо, налево и направо на перекрёстке, прямо вне перекрёстка, разворот, кольцо и «другие».
Модель устроена привычно: энкодер сжимает сцену (машины вокруг, карту, состояние эго) в признаки, а декодер по ним генерирует варианты траектории. Эксперты встроены в слои декодера. Каждому обучающему примеру заранее присваивают тип, а роутер учится предсказывать его по эмбеддингу сцены.
Явная разметка позволяет напрямую контролировать, сколько данных получит каждый эксперт. Балансирующие лоссы, как в LLM, не нужны (они, по мнению авторов, могут портить обучение). Но проблему редких сценариев полностью это не решает: уникальных примеров разворотов, например, в датасете мало, и на них модель справляется хуже всего.
Якоря
Для каждого сценария конечные точки водительских траекторий на горизонте 8 секунд кластеризуют с помощью k-means в 24 якоря.
По сценарию, который определил роутер, берётся нужный комплект якорей. Их координаты кодируются и добавляются к обучаемым запросам декодера, и каждый запрос генерирует свою траекторию-кандидата. Заканчиваться строго в якоре она не обязана, якорь — лишь подсказка. Затем модель оценивает кандидатов и выбирает лучшего.
В следующем посте разберём, как устроено взаимодействие между агентами, и подведём итоги.
Разбор подготовил❣️ Григорий Плотников
404 driver not found
Сегодня начнëм разбирать статью от исследователей компании BYD. Авторы собрали в одну конструкцию три идеи:
Это позволило получить SOTA-результат на стандартном исследовательском бенчмарке nuPlan среди learning-based-методов без постобработки.
Роутеры и эксперты
В языковых моделях MoE применяют, прежде всего, ради вычислительной эффективности, а здесь — ставка на явную специализацию. Ключевая идея: в отличие от текстов, манёвры легко разбить правилами на семантически чёткие классы. Авторы выбрали семь таких классов: прямо, налево и направо на перекрёстке, прямо вне перекрёстка, разворот, кольцо и «другие».
Модель устроена привычно: энкодер сжимает сцену (машины вокруг, карту, состояние эго) в признаки, а декодер по ним генерирует варианты траектории. Эксперты встроены в слои декодера. Каждому обучающему примеру заранее присваивают тип, а роутер учится предсказывать его по эмбеддингу сцены.
Явная разметка позволяет напрямую контролировать, сколько данных получит каждый эксперт. Балансирующие лоссы, как в LLM, не нужны (они, по мнению авторов, могут портить обучение). Но проблему редких сценариев полностью это не решает: уникальных примеров разворотов, например, в датасете мало, и на них модель справляется хуже всего.
Якоря
Для каждого сценария конечные точки водительских траекторий на горизонте 8 секунд кластеризуют с помощью k-means в 24 якоря.
По сценарию, который определил роутер, берётся нужный комплект якорей. Их координаты кодируются и добавляются к обучаемым запросам декодера, и каждый запрос генерирует свою траекторию-кандидата. Заканчиваться строго в якоре она не обязана, якорь — лишь подсказка. Затем модель оценивает кандидатов и выбирает лучшего.
В следующем посте разберём, как устроено взаимодействие между агентами, и подведём итоги.
Разбор подготовил
404 driver not found
Please open Telegram to view this post
VIEW IN TELEGRAM
❤9🔥5👍4🤩2
Scene-Adaptive Motion Planning with Explicit Mixture of Experts and Interaction-Oriented Optimization [2/2]
Продолжаем разбирать статью о новом learning-based-методе без постобработки. В предыдущем посте обсудили, как работают якоря, роутер и эксперты. Сегодня поговорим о том, как авторы учат модель лучше учитывать взаимодействия с другими участниками движения.
Взаимодействия с другими агентами
По анализу авторов, значительная часть неудач в nuPlan связана с взаимодействиями эго и других машин. Чтобы модель лучше с ними справлялась, авторы адаптируют функцию потерь и добавляют вспомогательную задачу.
За основу берётся временное перевзвешивание: ошибки в ближайшем будущем важнее ошибок на дальнем горизонте. Но у такого подхода есть побочный эффект: важное взаимодействие, которое случится нескоро, тоже получает маленький вес.
Чтобы это исправить, по реальным траекториям ищутся интервалы взаимодействия: участки, где пути эго и другого агента проходят через одну область. Не обязательно одновременно, ведь важно в том числе научиться решать, кто проедет первым. На этих интервалах вес ошибки траектории эго возвращают к максимальному.
Вспомогательная задача заключается в том, чтобы предсказывать движение других агентов с учётом запланированной траектории эго. Обратно в планировщик эти предсказания не поступают, но помогают энкодеру лучше понимать сцену.
Итоги
Основной прирост, судя по экспериментам самих авторов, даёт вовсе не MoE, а блок взаимодействия с другими агентами. Использование явных экспертов и якорей закладывает в модель сильные предположения о том, как устроено вождение. На небольшом датасете nuPlan это может сработать, но на более разнообразных данных модель вероятно выучит эти паттерны сама, причём лучше.
Занимательно, что во введении авторы ругают rule-based-подходы за дорогую поддержку правил, а потом возвращают правила через разметку семи сценариев. При этом не указывают, насколько точно модель различает эти сценарии. А это важно: если роутер ошибся, в работу пойдут и не тот эксперт, и не те якоря.
И ещё странность: статью о взаимодействии проверяли в режиме, где другие машины на эго не реагируют, а просто едут по записанным траекториям.
Тем не менее, статья и идея интересные. Но пока всё проверено только в довольно урезанном режиме симуляции, так что к результатам стоит относиться с осторожностью.
Разбор подготовил❣️ Григорий Плотников
404 driver not found
Продолжаем разбирать статью о новом learning-based-методе без постобработки. В предыдущем посте обсудили, как работают якоря, роутер и эксперты. Сегодня поговорим о том, как авторы учат модель лучше учитывать взаимодействия с другими участниками движения.
Взаимодействия с другими агентами
По анализу авторов, значительная часть неудач в nuPlan связана с взаимодействиями эго и других машин. Чтобы модель лучше с ними справлялась, авторы адаптируют функцию потерь и добавляют вспомогательную задачу.
За основу берётся временное перевзвешивание: ошибки в ближайшем будущем важнее ошибок на дальнем горизонте. Но у такого подхода есть побочный эффект: важное взаимодействие, которое случится нескоро, тоже получает маленький вес.
Чтобы это исправить, по реальным траекториям ищутся интервалы взаимодействия: участки, где пути эго и другого агента проходят через одну область. Не обязательно одновременно, ведь важно в том числе научиться решать, кто проедет первым. На этих интервалах вес ошибки траектории эго возвращают к максимальному.
Вспомогательная задача заключается в том, чтобы предсказывать движение других агентов с учётом запланированной траектории эго. Обратно в планировщик эти предсказания не поступают, но помогают энкодеру лучше понимать сцену.
Итоги
Основной прирост, судя по экспериментам самих авторов, даёт вовсе не MoE, а блок взаимодействия с другими агентами. Использование явных экспертов и якорей закладывает в модель сильные предположения о том, как устроено вождение. На небольшом датасете nuPlan это может сработать, но на более разнообразных данных модель вероятно выучит эти паттерны сама, причём лучше.
Занимательно, что во введении авторы ругают rule-based-подходы за дорогую поддержку правил, а потом возвращают правила через разметку семи сценариев. При этом не указывают, насколько точно модель различает эти сценарии. А это важно: если роутер ошибся, в работу пойдут и не тот эксперт, и не те якоря.
И ещё странность: статью о взаимодействии проверяли в режиме, где другие машины на эго не реагируют, а просто едут по записанным траекториям.
Тем не менее, статья и идея интересные. Но пока всё проверено только в довольно урезанном режиме симуляции, так что к результатам стоит относиться с осторожностью.
Разбор подготовил
404 driver not found
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12❤5🔥4
Risk-Aware World Model Predictive Control for Generalizable End-to-End Autonomous Driving
Почти все современные планнеры в автономном транспорте начинают обучать с имитации эксперта. Этот подход позволяет довольно быстро получить вменяемую модель, но плохо справляется с редкими сценариями — потому что среди обучающих примеров для имитации не было аварий и близких к ним ситуаций. Авторы сегодняшней статьи попробовали сделать наоборот: обучить свой предикшн-контроллер для end2end-планнера только на рисках.
Проектируя Risk-Aware World Model Predictive Control (или просто RaWMPC), его создатели полностью отказались от имитации. В планировании целиком полагаются на симулятор, который обучают предсказывать только хорошие траектории.
Обучение состоит из двух основных этапов:
1. Во время предобучения модель тренируется различать рискованные и безопасные ситуации.
2. С помощью contrasting learning’а и вариационного автоэнкодера модель учится выбирать самое лучшее из семплинга.
Сначала end2end-энкодером получают картинки, текущее состояние эго и экшны. Энкодер обучают на вспомогательных задачах (в том числе на сегментации BEV). Трансформер учат предсказывать события: коллизии с пешеходами, машинами и статичными объектами, выезды за пределы дороги, нарушения ПДД.
Далее модель учится на полученных рандомных траекториях: отличает хорошие от плохих. А скорер разделяет их так, чтобы эго-машина ездила только по хорошим траекториям.
Архитектура RaWMPC — энкодер-декодер с зачаточной моделью мира. На входные энкодеры подаются видео, состояние эго и экшн. Всё это обрабатывает общий большой трансформер с селф-аттеншеном. Модель пытается предсказывать будущие латетные состояния, из которых специализированные декодеры построят будущее мира вокруг в виде семантической маски, состояния эго и вероятности что-то нарушить.
На бенчмарке Bench2Drive с симулятором CARLA модель RaWMPC обгоняет SOTA-методы, основанные на имитации, даже при полном отсутствии обучающих траекторий экспертов (DS 87,34 против 86,77 у HiP-AD).
Самое интересное в статье — авторы целиком и тренируют, и тестируют модель только в симулированном мире CARLA. Это значит, что переход из симуляции в реальный мир для RaWMPC потенциально более проблемный, чем для имитационных методов.
По словам авторов, одно из достоинств RaWMPC — устойчивость к незнакомым условиям. За счёт contrasting learning’а модель гораздо устойчивее к сдвигу домена и не только повторяет за экспертом, но также знает, что делать точно не надо. В тесте, где системы учились только на солнечной погоде, а проверяли их в сильный дождь, RaWMPC показал гораздо меньшую деградацию качества, чем лидеры имитационного обучения.
Разбор подготовил❣️ Кирилл Федянин
404 driver not found
Почти все современные планнеры в автономном транспорте начинают обучать с имитации эксперта. Этот подход позволяет довольно быстро получить вменяемую модель, но плохо справляется с редкими сценариями — потому что среди обучающих примеров для имитации не было аварий и близких к ним ситуаций. Авторы сегодняшней статьи попробовали сделать наоборот: обучить свой предикшн-контроллер для end2end-планнера только на рисках.
Проектируя Risk-Aware World Model Predictive Control (или просто RaWMPC), его создатели полностью отказались от имитации. В планировании целиком полагаются на симулятор, который обучают предсказывать только хорошие траектории.
Обучение состоит из двух основных этапов:
1. Во время предобучения модель тренируется различать рискованные и безопасные ситуации.
2. С помощью contrasting learning’а и вариационного автоэнкодера модель учится выбирать самое лучшее из семплинга.
Сначала end2end-энкодером получают картинки, текущее состояние эго и экшны. Энкодер обучают на вспомогательных задачах (в том числе на сегментации BEV). Трансформер учат предсказывать события: коллизии с пешеходами, машинами и статичными объектами, выезды за пределы дороги, нарушения ПДД.
Далее модель учится на полученных рандомных траекториях: отличает хорошие от плохих. А скорер разделяет их так, чтобы эго-машина ездила только по хорошим траекториям.
Архитектура RaWMPC — энкодер-декодер с зачаточной моделью мира. На входные энкодеры подаются видео, состояние эго и экшн. Всё это обрабатывает общий большой трансформер с селф-аттеншеном. Модель пытается предсказывать будущие латетные состояния, из которых специализированные декодеры построят будущее мира вокруг в виде семантической маски, состояния эго и вероятности что-то нарушить.
На бенчмарке Bench2Drive с симулятором CARLA модель RaWMPC обгоняет SOTA-методы, основанные на имитации, даже при полном отсутствии обучающих траекторий экспертов (DS 87,34 против 86,77 у HiP-AD).
Самое интересное в статье — авторы целиком и тренируют, и тестируют модель только в симулированном мире CARLA. Это значит, что переход из симуляции в реальный мир для RaWMPC потенциально более проблемный, чем для имитационных методов.
По словам авторов, одно из достоинств RaWMPC — устойчивость к незнакомым условиям. За счёт contrasting learning’а модель гораздо устойчивее к сдвигу домена и не только повторяет за экспертом, но также знает, что делать точно не надо. В тесте, где системы учились только на солнечной погоде, а проверяли их в сильный дождь, RaWMPC показал гораздо меньшую деградацию качества, чем лидеры имитационного обучения.
Разбор подготовил
404 driver not found
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5👍5🔥3
Matching Anything by Segmenting Anything
Сегодня разберём статью об элегантном симбиозе foundation-моделей и multi‑object tracking.
Главная проблема трекинга заключается в том, что размечать данные для обучения дорого. Авторы предлагают решение — полностью self‑supervised-подход, который учится ассоциировать объекты, используя только статичные неразмеченные изображения и foundation-модели. Например, SAM или Grounding DINO.
Как это работает: сначала SAM или другая foundation-модель генерирует маски всех возможных объектов для одного изображения. Может получиться до 256 proposal’ов на кадр — это даёт богатую коллекцию negative-примеров для обучения.
Из одной картинки получается две новых после применения аугментаций: рандомные аффинные преобразования, MixUp, или Large‑Scale Jittering, которые имитируют последовательные кадры видео. Поскольку известно, как двигались пиксели, после наложения масок SAM автоматически получается instance‑level correspondence. Это значит, что один и тот же объект в двух «кадрах» становится positive-примером, а соседние объекты — negative.
Далее через dynamic feature fusion для каждого proposal’а вычисляется appearance‑эмбеддинг. Обучение идёт по двум лоссам:
🔴 Контрастный лосс сближает эмбеддинги, которые относятся к одному и тому же объекту, а эмбеддинги других объектов наоборот отдаляет.
🔴 Детекционный лосс — дистилляция знаний SAM о локализации объектов — также ускоряет инференс.
В результате MASA получает компактный дискриминативный вектор для каждого найденного объекта.
В инференсе трекинг сводится к поиску ближайшего эмбеддинга среди детекций на текущем кадре — просто, быстро и без дообучения.
На бенчмарке TAO TETA метод превосходит TETer, обученный с учителем (+2% AssocA). А на BDD100K MOTS достигает IDF1 49,7%, обходя UNINEXT с доменной разметкой.
Кроме того, MASA ускоряет инференс SAM в 10 раз за счёт предсказания спарсенных боксов вместо равномерной сетки точек.
Отдельно радует объёмный качественный ablation study: авторы честно показывают,
как влияют на результат выбор аугментаций, число пропозалов, тип бэкбона и другие параметры.
Разбор подготовила❣️ Ольга Ротова
404 driver not found
Сегодня разберём статью об элегантном симбиозе foundation-моделей и multi‑object tracking.
Главная проблема трекинга заключается в том, что размечать данные для обучения дорого. Авторы предлагают решение — полностью self‑supervised-подход, который учится ассоциировать объекты, используя только статичные неразмеченные изображения и foundation-модели. Например, SAM или Grounding DINO.
Как это работает: сначала SAM или другая foundation-модель генерирует маски всех возможных объектов для одного изображения. Может получиться до 256 proposal’ов на кадр — это даёт богатую коллекцию negative-примеров для обучения.
Из одной картинки получается две новых после применения аугментаций: рандомные аффинные преобразования, MixUp, или Large‑Scale Jittering, которые имитируют последовательные кадры видео. Поскольку известно, как двигались пиксели, после наложения масок SAM автоматически получается instance‑level correspondence. Это значит, что один и тот же объект в двух «кадрах» становится positive-примером, а соседние объекты — negative.
Далее через dynamic feature fusion для каждого proposal’а вычисляется appearance‑эмбеддинг. Обучение идёт по двум лоссам:
В результате MASA получает компактный дискриминативный вектор для каждого найденного объекта.
В инференсе трекинг сводится к поиску ближайшего эмбеддинга среди детекций на текущем кадре — просто, быстро и без дообучения.
На бенчмарке TAO TETA метод превосходит TETer, обученный с учителем (+2% AssocA). А на BDD100K MOTS достигает IDF1 49,7%, обходя UNINEXT с доменной разметкой.
Кроме того, MASA ускоряет инференс SAM в 10 раз за счёт предсказания спарсенных боксов вместо равномерной сетки точек.
Отдельно радует объёмный качественный ablation study: авторы честно показывают,
как влияют на результат выбор аугментаций, число пропозалов, тип бэкбона и другие параметры.
Разбор подготовила
404 driver not found
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5🔥5🤯4👍3