Построение графов сцен является важнейшим шагом на пути к высокоуровневому семантическому пониманию визуальной информации. Такое структурированное представление, где узлами выступают локализованные объекты, а ребрами — их пространственные и контактные взаимодействия, играет ключевую роль в задачах робототехники, автономной навигации и видеоаналитики. Сегодня фокус исследований смещается от статичного анализа изображений к анализу динамики в длинных видеопоследовательностях, а также к задаче предвосхищения будущего поведения объектов (Scene Graph Anticipation).

В рамках семинара будет представлен детальный разбор современных методов генерации и прогнозирования графов сцен для 2D и 3D видеокадров, проанализированы недостатки существующих протоколов оценки. Также мы предлагаем пайплайн для прогнозирования сцен графов с открытым словарём.

Задача мобильной манипуляции требует одновременной координации движения платформы и выполнения манипуляционных действий. Классические подходы разбивают эту задачу на два независимых модуля — навигацию и манипуляцию, — что неизбежно приводит к субоптимальному поведению и существенно ограничивает возможности робота при выполнении сложных операций: открывание дверей, взаимодействие с бытовыми предметами, работа с динамическими объектами.

В рамках семинара будут рассмотрены end-to-end подходы к обучению единой стратегии управления всем телом робота (whole-body control).

В отличие от модульных систем, такая стратегия позволяет совместно оптимизировать локомоцию и манипуляцию, что открывает возможность для более естественного и эффективного взаимодействия робота с окружающей средой.
Основное внимание будет уделено методам обучения с подкреплением применительно к мобильным манипуляторам и антропоморфным шагающим роботам, а также вопросам переноса обученных стратегий из симуляции в реальный мир.

Доклад посвящён real-time open-vocabulary 3D сегментации и реконструкции сцен. В отличие от классических методов, работающих с фиксированным набором классов, open-vocabulary подход позволяет выделять произвольные объекты по текстовому описанию без дообучения. Особый интерес представляют решения, способные работать онлайн, по мере поступления данных, что критично для робототехники, AR/VR и автономных систем.

В докладе анализируются передовые подходы к монокулярной 3D-реконструкции (Pi3, Depth-Anything 3), а также методы комбинирования языковых, визуальных и геометрических признаков для точного выделения объектов по текстовым запросам, включающим пространственные отношения: "стул рядом с холодильником", "свечка на столе", "чашка справа от чайника", "полотенце, но не на стуле" (RADIOv2.5, Talk2DINO, MVGGT). Рассматриваются бенчмарки для данной задачи.

В заключительной части обсуждается перспективное решение, способное обобщать пространственные признаки в токены, размерность которых не зависит от числа входных кадров (SceneTok).