🎓 — Семинар 8. Нейросетевая генерация глобальных HD-карт местности по реальным и синтетическим данным | Леонид Иванов, Сергей Бирюков

Построение HD-карт сцены является ключевой задачей для систем навигации беспилотных автомобилей. Такие многоуровневые представления карт (края дороги, линии разметки, светофоры, пешеходные переходы) используются для планирования траектории и понимания окружающей обстановки. Современные подходы построения HD-карт всё чаще ориентируются на формирование и использование глобальных сцен по длинным видео бортовых видеокамер, позволяющих учитывать более широкий контекст и обеспечивать согласованность предсказаний.

Развитие подобных методов на базе предобученных Vision-Language Models сталкивается с существенными ограничениями, связанными с нехваткой масштабируемых и разнообразных обучающих данных. Сбор и аннотирование реальных данных требует значительных ресурсов, что затрудняет обучение и валидацию моделей. Выходом из этой проблемы является создание синтетических данных при помощи симуляций.

В рамках семинара будут рассмотрены современные подходы к построению векторных глобальных HD-карт, а также будет представлен разрабатываемый пайплайн генерации фотореалистичных синтетических данных с использованием симулятора CARLA.

👉🏻 Дата: 26.03.26, четверг в 17:00
📹 Трансляция: Youtube или ВК

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире. Ждём всех!

#CV

💫 — Начинаем семинар, присоединяйтесь к трансляции в ВК или на YouTube!

Приглашаем сегодня и завтра на секцию "Технологии искусственного интеллекта" Всероссийской Научной Конференции МФТИ!

Место проведения:

2 апреля — 201-201а УПМ
3 апреля — 528 ГК

Приходите очно или подключайтесь к трансляции в ВК.

🎓 — Семинар 10. Прогнозирование графов 3D-сцены | Юрий Потехин, Масуме Сабери

Построение графов сцен является важнейшим шагом на пути к высокоуровневому семантическому пониманию визуальной информации. Такое структурированное представление, где узлами выступают локализованные объекты, а ребрами — их пространственные и контактные взаимодействия, играет ключевую роль в задачах робототехники, автономной навигации и видеоаналитики. Сегодня фокус исследований смещается от статичного анализа изображений к анализу динамики в длинных видеопоследовательностях, а также к задаче предвосхищения будущего поведения объектов (Scene Graph Anticipation).

В рамках семинара будет представлен детальный разбор современных методов генерации и прогнозирования графов сцен для 2D и 3D видеокадров, проанализированы недостатки существующих протоколов оценки. Также мы предлагаем пайплайн для прогнозирования сцен графов с открытым словарём.

👉🏻 Дата: 09.04.26, четверг в 17:00
📹 Трансляция: Youtube или ВК

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!

#семинары #CV

💫 — Начинаем семинар, присоединяйтесь к трансляции в ВК или на YouTube!

🎓 — Семинар 11. Методы обучения с подкреплением для управления всем телом робота (whole-body control) в задачах мобильной манипуляции | Максим Бредихин

Задача мобильной манипуляции требует одновременной координации движения платформы и выполнения манипуляционных действий. Классические подходы разбивают эту задачу на два независимых модуля — навигацию и манипуляцию, — что неизбежно приводит к субоптимальному поведению и существенно ограничивает возможности робота при выполнении сложных операций: открывание дверей, взаимодействие с бытовыми предметами, работа с динамическими объектами.

В рамках семинара будут рассмотрены end-to-end подходы к обучению единой стратегии управления всем телом робота (whole-body control).

В отличие от модульных систем, такая стратегия позволяет совместно оптимизировать локомоцию и манипуляцию, что открывает возможность для более естественного и эффективного взаимодействия робота с окружающей средой.
Основное внимание будет уделено методам обучения с подкреплением применительно к мобильным манипуляторам и антропоморфным шагающим роботам, а также вопросам переноса обученных стратегий из симуляции в реальный мир.

👉🏻 Дата: 16.04.26, четверг в 17:00
📹 Трансляция: Youtube или ВК

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!

#семинары #RL

💫 — Начинаем семинар, присоединяйтесь к трансляции в ВК или на YouTube!

🎓 — Семинар 12. Real-time open-vocabulary 3D segmentation and reconstruction | Виталий Илюхин, Роман Ковтун

Доклад посвящён real-time open-vocabulary 3D сегментации и реконструкции сцен. В отличие от классических методов, работающих с фиксированным набором классов, open-vocabulary подход позволяет выделять произвольные объекты по текстовому описанию без дообучения. Особый интерес представляют решения, способные работать онлайн, по мере поступления данных, что критично для робототехники, AR/VR и автономных систем.

В докладе анализируются передовые подходы к монокулярной 3D-реконструкции (Pi3, Depth-Anything 3), а также методы комбинирования языковых, визуальных и геометрических признаков для точного выделения объектов по текстовым запросам, включающим пространственные отношения: "стул рядом с холодильником", "свечка на столе", "чашка справа от чайника", "полотенце, но не на стуле" (RADIOv2.5, Talk2DINO, MVGGT). Рассматриваются бенчмарки для данной задачи.

В заключительной части обсуждается перспективное решение, способное обобщать пространственные признаки в токены, размерность которых не зависит от числа входных кадров (SceneTok).

👉🏻 Дата: 23.04.26, четверг в 17:00
📹 Трансляция: Youtube или ВК

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!

#семинары #CV

💫 — Начинаем семинар, присоединяйтесь к трансляции в ВК или на YouTube!