Современные системы анализа видео сталкиваются с необходимостью обработки длинных последовательностей наблюдений, в которых важная информация может быть разделена большими временными интервалами. В отличие от коротких видеоклипов, где весь объём данных можно обработать одновременно, длинные последовательности требуют специальных механизмов: сжатия истории наблюдений, поиска релевантного контекста, выборочного обращения к ключевым фрагментам и поддержания согласованного представления динамически изменяющейся сцены. Особенно остро эта задача стоит в робототехнике и навигации воплощённых агентов, где для выполнения инструкции агент должен опираться на пространственно-временную память о собственных действиях, чтобы восстановить последовательность событий и спланировать маршрут на основе накопленного опыта.

В рамках семинара будут рассмотрены различные методы работы с длинными видеопоследовательностями, включая стратегии отбора наблюдений, использование векторных представлений и внешних хранилищ для поиска релевантной информации, а также подходы к построению долговременных представлений сцены на основе пространственно-временной информации. Отдельное внимание будет уделено ограничениям существующих подходов.

Современные мультимодальные модели умеют анализировать видео, однако их ответы на пространственно-временные вопросы часто остаются недостаточно надежными. Для таких вопросов важно понимать не только, какие объекты присутствуют в сцене, но и где они находятся относительно друг друга, как перемещаются и как меняются их отношения во времени. Для повышения качества ответов предлагается использовать графы сцены как структурированное представление видео: объекты описываются вершинами графа, а отношения между ними — ребрами. Это позволяет явно хранить информацию о взаимном расположении объектов и использовать ее для более точных ответов на вопросы.

В рамках семинара будет рассмотрено, какие сложности возникают при ответах на пространственные вопросы по видео, как строятся графы сцены и как они могут применяться для задачи Visual Question Answering.