404 Driver Not Found
1.56K subscribers
94 photos
2 videos
64 links
Канал об ML в автономном транспорте от специалистов из Яндекса: разбираем научные статьи, делимся интересными находками, обсуждаем горячие вопросы индустрии.

Вопросы и предложения > @yandex_ml_brand
Download Telegram
Автономный транспорт на ECCV 2026: несколько слов о долгосрочном развитии

На воркшопе Emerging Behaviors for Achieving Robust Autonomy обсуждали надёжность автономного транспорта. В нескольких докладах, как из индустрии, так и из академии, чётко прослеживались одни и те же тезисы по развитию планировщиков для автономных автомобилей:

🔴 Развитие ML-планировщиков движется в сторону end-to-end-моделей.
🔴 Уже сейчас индустрия активно использует RL для обучения ML-планировщиков: пока в варианте RL post-training в симуляции. Ресёрч идëт в сторону RL-обучения с нуля, в том числе и для end-to-end-сетей.
🔴 И в индустрии, и в академии интенсивно пытаются использовать Self-play RL. Это был один из важных ингредиентов успеха AlphaGo, которая тренировалась играть сама с собой в го и в итоге впервые обыграла человека в эту игру.
🔴 Чтобы RL для end-to-end планировщика заработал, нужен быстрый симулятор с достаточно высоким качеством имитации сенсоров: без sim-to-real gap. Это пока остается исследовательской задачей. Даже NVIDIA, которая довольно далеко продвинулась в задаче симуляции сенсоров для роботов, пишет о том, что sim-to-real gap все ещё частая проблема.
🔴 Надёжный планировщик не сделать только на основе записанных логов. Симулятор должен уметь генерировать сложные случаи для обучения и тестирования. Для этого нужна эффективная world model, созданием которой занимаются и в академии, и в индустрии.

Академические боли тоже остаются прежними. В докладе PRIX: Learning to Plan from Raw Pixels for End-to-End Autonomous Driving авторы добились SOTA на нескольких бенчмарках для планировщика в автономном транспорте. Но на последнем слайде честно написали, что не могут предсказать, как модель будет вести себя в реальности, на живом роботе или автомобиле с ограниченными вычислительными возможностями. Это общая проблема академических исследований: своего флота автомобилей у них нет, а открытые бенчмарки требуют дополнительной валидации.

Наблюдениями поделился ❣️ Виктор Юрченко
404 driver not found
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤9❤‍🔥6👍5🔥2🤩1
Qwen-Drive-1.0: An Initial Step towards a Vision-Language Foundation Model for Autonomous Driving

Современные подходы к автономному вождению часто разделяют восприятие, предсказание и планирование на отдельные модули. Но сейчас всё больше моделей переходят на end-to-end-предсказание с дообучением VLM под задачи вождения.

В частности, 31 августа команда Alibaba выпустила Qwen‑Drive‑1.0 — собственную модель в этой области. Это интересный релиз, потому что команда Qwen — один из безусловных лидеров в мире опенсорсных VLM, но это её первый заход в модели для вождения.

Авторы стартуют с Qwen3.5-4B и дообучают её, исходят из ключевых дизайн-принципов:

🔴 Для длинного хвоста ситуаций нужно минимально менять исходную VLM так, чтобы она при этом продолжала справляться с общими темами.
🔴 Для хорошего понимания сцены важны подзадачи 3D-реконструкции и разнообразный visual QA.

Чтобы достичь этого, предобученную VLM усилили двумя элементами:

🔴 BEV-голова для персепшна извлекает явную 3D-информацию: детекция объектов, предсказание occupancy, сегментация карты.
🔴 Planning Expert генерирует будущую траекторию эго-автомобиля на основе представлений VLM, используя flow matching.

Qwen‑Drive‑1.0 обучают в четыре стадии: первые две — для персепшна, следующие — для планнера.

1. Претрейн перспешна. Замораживают основную модель, обучают только новую BEV-голову на задачах 3D-детекции, occupancy, сегментации.
2. Совместное обучение персепшна и VQA. Размораживают визуальный энкодер и VLM. Обучают модель одновременно на данных для 3D-персепшна и «вопросах-ответах» по сцене вождения. Секретный ингредиент — микс данных: 64,3% составляют задачи вождения, 26% — общие задачи VAQ, 9,7% — 3D-персепшн. Это позволяет приобрести навыки вождения, не забывая общие знания.
3. Претрейн Planning Expert. Замораживают основную модель, обучают эксперта генерировать траектории.
4. Обучение с подкреплением (RL). Финально дотюнивают Planning Expert.

Собственные сырые данные почти не собирали, но смогли адаптировать широкий набор из примерно 30 публичных датасетов (включая nuScenes, Waymo WOD-E2E, NAVSIM). Многое пришлось унифицировать: например в таксономии классов объединили все типы автомобилей. Геометрию пришлось сгладить, чтобы получить одинаковую растеризацию карты и идентичные траектории на 50 точек. Для VQA-вождения многие запросы переформулировали большими умными VLM.

В итоге свои гипотезы авторы частично подтвердили: общие знания почти не проседают, бенчмарки очень близки к исходным. Понимание дорожной ситуации значительно улучшилось.

При этом Qwen-Drive-1.0 справляется с вождением так же хорошо, как специализированные end-to-end-модели. Новая модель получила PDMS 90,7 на NavSim. Это хороший результат, хотя и не SOTA: end-to-end SimWAM выбила 91,5, а модель со скорингом CLOVER — 94,5.

Интересно, что персепшн используют только для обучения, в инференсе планнера его нет. В аблэйшне авторы пробуют совсем исключить персепшн-стадию — планнер при этом работает не сильно хуже.

Модель выглядит симпатичной, авторы не бенч-максят, а честно валидируют общий подход.

Разбор подготовил ❣️ Кирилл Федянин
404 driver not found
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥10🤩7❤5👍1😱1
Mask2Map: Vectorized HD Map Construction Using Bird's Eye View Segmentation Masks

Что будет, если объединить лучшие практики из Deformable-DeTR, DN-DeTR, Mask2Former, MapTR и MapTR v2? Узнаем из статьи о Mask2Map — методе построения векторных HD-карт по данным автомобильных сенсоров.

Главная идея довольно проста: получить хорошее представление дорожной разметки в виде BEV-масок, а затем использовать эти маски как геометрическую подсказку для векторного декодера.

Mask2Map состоит из двух основных частей:

🔴 IMPNet строит instance-level сегментацию по BEV-фичам сенсоров и формирует маски вместе с соответствующими query.

🔴 MMPNet превращает эту информацию в векторные элементы карты: предсказывает их класс, геометрию и порядок точек.

Пайплайн начинается с построения BEV-представления. Фичи от сенсоров переводят в BEV и обрабатывают на нескольких масштабах. Дальше Mask2Former-подобная часть выполняет инстанс-сегментацию: получает собственную маску и эмбеддинг объекта для каждого элемента карты.

После этого плотную маску нужно превратить в компактное геометрическое представление. Для этого её бинаризуют, прореживают скользящим окном, оставляя репрезентативные точки, и в конце применяют Farthest Point Sampling (FPS). В результате вместо большого числа пикселей остаётся небольшой набор пространственных координат (x, y).

Параллельно модули PQG и GFE формируют query и добавляют в них семантическую и геометрическую информацию из BEV. Идея в том, чтобы дать декодеру более осмысленную стартовую точку, чем полностью свободные обучаемые эмбеддинги.

Дальше всё это попадает в Mask-Guided Map Decoder. Полученные из масок точки используются как геометрические подсказки и опорные точки для деформируемого кросс-аттеншна, после чего декодер восстанавливает итоговую векторную геометрию элементов HD-карты.

Если совсем упростить, архитектуру можно представить так: сенсоры → BEV → instance masks → опорные точки → vector map. То есть левая часть Mask2Map во многом напоминает Mask2Former, а правая — MapTR/Deformable DETR, связанные BEV-масками, которые дают векторному декодеру сильный spatial prior.

Вместо того чтобы заставлять DETR-подобный декодер полностью с нуля искать геометрию дорожных элементов, авторы сначала решают более простую задачу сегментации, а затем используют её результат для инициализации и направления векторного предсказания.

Отдельно во время обучения используется знакомая по DN-DETR идея расшумления queries: GT-объекты искусственно зашумляются, после чего модель учится восстанавливать исходную геометрию. Это помогает стабилизировать обучение и облегчает сопоставление query с объектами карты.

По результатам авторов Mask2Map на момент публикации заметно превосходил предыдущие методы на nuScenes и Argoverse2: прирост составлял до 10,1% mAP и 4,1% mAP. Познакомиться с кодом можно на GitHub проекта.

Разбор подготовил ❣️ Денис Глазов
404 driver not found
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9❤6👍4🤯2🎉1
DaViT: Dual Attention Vision Transformers

Одна из актуальных задач персепшна — разработка архитектуры, способной одновременно улавливать глобальный контекст и эффективно обрабатывать изображения высокого разрешения. iGPT, методы оптимизации и другие современные подходы чаще всего заключаются в поиске компромисса между качеством, полнотой контекста и вычислительной сложностью.

Сегодня разберём статью о принципиально новом механизме селф-аттеншна на уровне всего изображения — DaViT. В отличие от ViT и его модификаций, работающих с пикселями или патчами, это решение учитывает глобальный контекст, сохраняя при этом вычислительную эффективность относительно пространственного размера изображения.

В основе модели — всё тот же трансформер ViT, но с дополнительной особенностью. Токен всего канала изображения хранится в специальных channel-токенах. По сути это транспонированная версия spatial-токенов.

Рассмотреть архитектуру в подробностях можно на верхней схеме. Она включает два трансформер-блока: пространственного и группового селф-аттеншнов. Благодаря попеременному применению двух этих типов внимания, модель одновременно улавливает и локальные небольшие взаимодействия, и глобальные изменения на уровне всего изображения. На нижней схеме — механизм внимания модели.

Кроме того, DaViT работает не квадратично, как ViT и Swin, а за линейное время от размера токена. Этого удалось добиться, группируя channel-токены. В результате DaViT обогнала Swin и другие топовые модели по скорости и качеству на задачах классификации, детекции и сегментации.

Без обучения на дополнительных данных версии ВDaViT-Tiny (28,3M параметров), DaViT-Small (49,7M) и DaViT-Base (87,9M) продемонстрировали 82,8%, 84,2%, и 84,6% — топ-1 точности ImageNet-1K на момент публикации. При дальнейшем масштабировании DaViT на 1,5B парах «текст+изображение» DaViT-Gaint достигает 90,4% точности.

Код доступен на GitHub авторов.

Разбор подготовил ❣️ Давид Дигмелов
404 driver not found
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥10🤣8❤7👍2🥴2
Cross-view Transformers for real-time Map-view Semantic Segmentation

Сегодня обсудим статью о том, как решить задачу BEV-сегментации в camera-only-режиме.

Авторы используют данные нескольких камер, информацию об их фокусном расстоянии, повороте и расположении. Изображения с камер эмбеддятся и складываются с позиционными эмбеддингами: MLP поверх вектора, посчитанного с помощью информации о положении камеры. Он сонаправлен с осью объектива и проходит сквозь кодируемый пиксель.

Подход позволяет сэкономить время работы модели: учесть положение камеры относительно эго-машины и окружающего мира, не восстанавливая глубину эксплицитно.

Эмбеддинг BEV’а для каждой камеры свой. Это разность выучиваемого позиционного эмбеддинга BEV’а и MLP поверх позиции камеры относительно окружающего мира. Так query приводят в ту же модальность, что и позиционные эмбеддинги для изображений.

Авторы используют два блока с cross-attention’ом с последующим свёрточным слоем, чтобы модель глубже изучила данные. Учитывают q — эмбеддинг BEV’а, k — сумму позиционных эмбеддингов и фичей изображений, v — просто фичи изображений. В итоге за счёт скалярного произведения внутри attention’а предполагается, что модель учится имитировать косинусную близость между BEV’ом и информацией с камер, указывая каждой ячейке BEV-а на релевантную визуальную информацию.

В конце декодер из свёрток и upsample-блоков расшифровывает выход трансформера в плотную карту, для которой выполняется сегментация.

Благодаря отказу от реконструкции глубины авторам удалось добиться SOTA-результатов: x4 к скорости по сравнению с предыдущим топовым методом.

Разбор подготовила ❣️ Алина Речина
404 driver not found
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5👍3🔥2
Scene-Adaptive Motion Planning with Explicit Mixture of Experts and Interaction-Oriented Optimization [1/2]

Сегодня начнëм разбирать статью от исследователей компании BYD. Авторы собрали в одну конструкцию три идеи:

🔴 MoE для разных сценариев, где каждый эксперт отвечает за свой тип дорожных ситуаций.
🔴 Отдельные наборы якорных точек, полученные из водительских траекторий для каждого сценария.
🔴 Дополнительный учёт взаимодействия эго с другими участниками движения при обучении.

Это позволило получить SOTA-результат на стандартном исследовательском бенчмарке nuPlan среди learning-based-методов без постобработки.

Роутеры и эксперты

В языковых моделях MoE применяют, прежде всего, ради вычислительной эффективности, а здесь — ставка на явную специализацию. Ключевая идея: в отличие от текстов, манёвры легко разбить правилами на семантически чёткие классы. Авторы выбрали семь таких классов: прямо, налево и направо на перекрёстке, прямо вне перекрёстка, разворот, кольцо и «другие».

Модель устроена привычно: энкодер сжимает сцену (машины вокруг, карту, состояние эго) в признаки, а декодер по ним генерирует варианты траектории. Эксперты встроены в слои декодера. Каждому обучающему примеру заранее присваивают тип, а роутер учится предсказывать его по эмбеддингу сцены.

Явная разметка позволяет напрямую контролировать, сколько данных получит каждый эксперт. Балансирующие лоссы, как в LLM, не нужны (они, по мнению авторов, могут портить обучение). Но проблему редких сценариев полностью это не решает: уникальных примеров разворотов, например, в датасете мало, и на них модель справляется хуже всего.

Якоря

Для каждого сценария конечные точки водительских траекторий на горизонте 8 секунд кластеризуют с помощью k-means в 24 якоря.

По сценарию, который определил роутер, берётся нужный комплект якорей. Их координаты кодируются и добавляются к обучаемым запросам декодера, и каждый запрос генерирует свою траекторию-кандидата. Заканчиваться строго в якоре она не обязана, якорь — лишь подсказка. Затем модель оценивает кандидатов и выбирает лучшего.

В следующем посте разберём, как устроено взаимодействие между агентами, и подведём итоги.

Разбор подготовил ❣️ Григорий Плотников
404 driver not found
Please open Telegram to view this post
VIEW IN TELEGRAM
❤9🔥5👍4🤩2
Scene-Adaptive Motion Planning with Explicit Mixture of Experts and Interaction-Oriented Optimization [2/2]

Продолжаем разбирать статью о новом learning-based-методе без постобработки. В предыдущем посте обсудили, как работают якоря, роутер и эксперты. Сегодня поговорим о том, как авторы учат модель лучше учитывать взаимодействия с другими участниками движения.

Взаимодействия с другими агентами

По анализу авторов, значительная часть неудач в nuPlan связана с взаимодействиями эго и других машин. Чтобы модель лучше с ними справлялась, авторы адаптируют функцию потерь и добавляют вспомогательную задачу.

За основу берётся временное перевзвешивание: ошибки в ближайшем будущем важнее ошибок на дальнем горизонте. Но у такого подхода есть побочный эффект: важное взаимодействие, которое случится нескоро, тоже получает маленький вес.

Чтобы это исправить, по реальным траекториям ищутся интервалы взаимодействия: участки, где пути эго и другого агента проходят через одну область. Не обязательно одновременно, ведь важно в том числе научиться решать, кто проедет первым. На этих интервалах вес ошибки траектории эго возвращают к максимальному.

Вспомогательная задача заключается в том, чтобы предсказывать движение других агентов с учётом запланированной траектории эго. Обратно в планировщик эти предсказания не поступают, но помогают энкодеру лучше понимать сцену.

Итоги

Основной прирост, судя по экспериментам самих авторов, даёт вовсе не MoE, а блок взаимодействия с другими агентами. Использование явных экспертов и якорей закладывает в модель сильные предположения о том, как устроено вождение. На небольшом датасете nuPlan это может сработать, но на более разнообразных данных модель вероятно выучит эти паттерны сама, причём лучше.

Занимательно, что во введении авторы ругают rule-based-подходы за дорогую поддержку правил, а потом возвращают правила через разметку семи сценариев. При этом не указывают, насколько точно модель различает эти сценарии. А это важно: если роутер ошибся, в работу пойдут и не тот эксперт, и не те якоря.

И ещё странность: статью о взаимодействии проверяли в режиме, где другие машины на эго не реагируют, а просто едут по записанным траекториям.

Тем не менее, статья и идея интересные. Но пока всё проверено только в довольно урезанном режиме симуляции, так что к результатам стоит относиться с осторожностью.

Разбор подготовил ❣️ Григорий Плотников
404 driver not found
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12❤5🔥4
Risk-Aware World Model Predictive Control for Generalizable End-to-End Autonomous Driving

Почти все современные планнеры в автономном транспорте начинают обучать с имитации эксперта. Этот подход позволяет довольно быстро получить вменяемую модель, но плохо справляется с редкими сценариями — потому что среди обучающих примеров для имитации не было аварий и близких к ним ситуаций. Авторы сегодняшней статьи попробовали сделать наоборот: обучить свой предикшн-контроллер для end2end-планнера только на рисках.

Проектируя Risk-Aware World Model Predictive Control (или просто RaWMPC), его создатели полностью отказались от имитации. В планировании целиком полагаются на симулятор, который обучают предсказывать только хорошие траектории.

Обучение состоит из двух основных этапов:

1. Во время предобучения модель тренируется различать рискованные и безопасные ситуации.

2. С помощью contrasting learning’а и вариационного автоэнкодера модель учится выбирать самое лучшее из семплинга.

Сначала end2end-энкодером получают картинки, текущее состояние эго и экшны. Энкодер обучают на вспомогательных задачах (в том числе на сегментации BEV). Трансформер учат предсказывать события: коллизии с пешеходами, машинами и статичными объектами, выезды за пределы дороги, нарушения ПДД.

Далее модель учится на полученных рандомных траекториях: отличает хорошие от плохих. А скорер разделяет их так, чтобы эго-машина ездила только по хорошим траекториям.

Архитектура RaWMPC — энкодер-декодер с зачаточной моделью мира. На входные энкодеры подаются видео, состояние эго и экшн. Всё это обрабатывает общий большой трансформер с селф-аттеншеном. Модель пытается предсказывать будущие латетные состояния, из которых специализированные декодеры построят будущее мира вокруг в виде семантической маски, состояния эго и вероятности что-то нарушить.

На бенчмарке Bench2Drive с симулятором CARLA модель RaWMPC обгоняет SOTA-методы, основанные на имитации, даже при полном отсутствии обучающих траекторий экспертов (DS 87,34 против 86,77 у HiP-AD).

Самое интересное в статье — авторы целиком и тренируют, и тестируют модель только в симулированном мире CARLA. Это значит, что переход из симуляции в реальный мир для RaWMPC потенциально более проблемный, чем для имитационных методов.

По словам авторов, одно из достоинств RaWMPC — устойчивость к незнакомым условиям. За счёт contrasting learning’а модель гораздо устойчивее к сдвигу домена и не только повторяет за экспертом, но также знает, что делать точно не надо. В тесте, где системы учились только на солнечной погоде, а проверяли их в сильный дождь, RaWMPC показал гораздо меньшую деградацию качества, чем лидеры имитационного обучения.

Разбор подготовил ❣️ Кирилл Федянин
404 driver not found
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5👍5🔥3
Matching Anything by Segmenting Anything

Сегодня разберём статью об элегантном симбиозе foundation-моделей и multi‑object tracking.

Главная проблема трекинга заключается в том, что размечать данные для обучения дорого. Авторы предлагают решение — полностью self‑supervised-подход, который учится ассоциировать объекты, используя только статичные неразмеченные изображения и foundation-модели. Например, SAM или Grounding DINO.

Как это работает: сначала SAM или другая foundation-модель генерирует маски всех возможных объектов для одного изображения. Может получиться до 256 proposal’ов на кадр — это даёт богатую коллекцию negative-примеров для обучения.

Из одной картинки получается две новых после применения аугментаций: рандомные аффинные преобразования, MixUp, или Large‑Scale Jittering, которые имитируют последовательные кадры видео. Поскольку известно, как двигались пиксели, после наложения масок SAM автоматически получается instance‑level correspondence. Это значит, что один и тот же объект в двух «кадрах» становится positive-примером, а соседние объекты — negative.

Далее через dynamic feature fusion для каждого proposal’а вычисляется appearance‑эмбеддинг. Обучение идёт по двум лоссам:

🔴 Контрастный лосс сближает эмбеддинги, которые относятся к одному и тому же объекту, а эмбеддинги других объектов наоборот отдаляет.

🔴 Детекционный лосс — дистилляция знаний SAM о локализации объектов — также ускоряет инференс.

В результате MASA получает компактный дискриминативный вектор для каждого найденного объекта.

В инференсе трекинг сводится к поиску ближайшего эмбеддинга среди детекций на текущем кадре — просто, быстро и без дообучения.

На бенчмарке TAO TETA метод превосходит TETer, обученный с учителем (+2% AssocA). А на BDD100K MOTS достигает IDF1 49,7%, обходя UNINEXT с доменной разметкой.

Кроме того, MASA ускоряет инференс SAM в 10 раз за счёт предсказания спарсенных боксов вместо равномерной сетки точек.

Отдельно радует объёмный качественный ablation study: авторы честно показывают,
как влияют на результат выбор аугментаций, число пропозалов, тип бэкбона и другие параметры.

Разбор подготовила ❣️ Ольга Ротова
404 driver not found
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5🔥5🤯4👍3