🎓 — Семинар 4. Генерация графов сцены с помощью VLM| Владислав Макаров, Марк Гизетдинов
Цель генерации графов сцены (SGG) — по изображению или кадрам видео получать структурированное описание сцены: объекты с границами (bounding box), отношения между ними и их атрибуты. Такое представление нужно для задач понимания сцен, робототехники и видеоаналитики.
Основная сложность — научить модель стабильно выдавать корректные, согласованные графы в нужном формате при разнообразии сцен и датасетов. Типичные пайплайны (детекция + классификация связей) требуют отдельных модулей и сложной постобработки, плохо масштабируются на новые домены и форматы. Обученные «из коробки» VLM на тексте и картинках не решают задачу SGG напрямую: модель нужно целенаправленно дообучать под генерацию графов сцен с контролем формата вывода и метрик качества.
Отдельное внимание следует уделять времени ответа модели. Цель — получать граф сцены менее чем за секунду. Для этого используется компактный формат вывода TOON и инференс через акселераторы (в частности, vLLM), что позволяет увеличить быстродействие при сохранении качества разметки.
На семинаре студент магистратуры ЦКМ представит общий обзор современных подходов генерации графов сцены на базе VLM. Отдельно будут рассмотрены технологии обучения таких моделей: supervised fine-tuning (SFT) и обучение с подкреплением (GRPO) на датасетах PSG и PVSG.
👉🏻 Дата: 26.02.26, четверг в 17:00
📹 Трансляция: Youtube или ВК
Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире. Ждём всех!
#CV
Цель генерации графов сцены (SGG) — по изображению или кадрам видео получать структурированное описание сцены: объекты с границами (bounding box), отношения между ними и их атрибуты. Такое представление нужно для задач понимания сцен, робототехники и видеоаналитики.
Основная сложность — научить модель стабильно выдавать корректные, согласованные графы в нужном формате при разнообразии сцен и датасетов. Типичные пайплайны (детекция + классификация связей) требуют отдельных модулей и сложной постобработки, плохо масштабируются на новые домены и форматы. Обученные «из коробки» VLM на тексте и картинках не решают задачу SGG напрямую: модель нужно целенаправленно дообучать под генерацию графов сцен с контролем формата вывода и метрик качества.
Отдельное внимание следует уделять времени ответа модели. Цель — получать граф сцены менее чем за секунду. Для этого используется компактный формат вывода TOON и инференс через акселераторы (в частности, vLLM), что позволяет увеличить быстродействие при сохранении качества разметки.
На семинаре студент магистратуры ЦКМ представит общий обзор современных подходов генерации графов сцены на базе VLM. Отдельно будут рассмотрены технологии обучения таких моделей: supervised fine-tuning (SFT) и обучение с подкреплением (GRPO) на датасетах PSG и PVSG.
👉🏻 Дата: 26.02.26, четверг в 17:00
📹 Трансляция: Youtube или ВК
Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире. Ждём всех!
#CV
❤3🔥2
Ни для кого не секрет —
На выбор предоставляется 14 проектов, которые включают:
Два шага для подачи заявки:
Стажировку можно совмещать с написанием диплома, но не с другой работой. После успешного окончания возможно устройство в штат, продолжение работы в компаниях-партнерах.
Прием заявок до 13 марта 2026 включительно!
Вопросы можно задать в сообщениях @fissun.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤13🔥4
Масштабное событие, объединяющее инженеров, разработчиков, исследователей, студентов и индустриальных команд, работающих с робототехникой и искусственным интеллектом — нетворкинг с лучшими экспертами страны.
Три дня погружения в профессиональной среде и интенсивная практика: антропоморфные роботы, мобильные платформы, манипуляторы, дроны, навигация, SLAM, ROS2, интеграция ИИ в реальные системы.
В программе 2026 года:
— индустриальный день с кейсами компаний
— технические и научные доклады
— воркшопы по ROS2
— воркшоп с дронами на ROS2
— хакатон-соревнование
— дискуссия по антропоморфным роботам
— выставка роботов
Это пространство открытого инженерного диалога — о реальных задачах, архитектуре решений, ошибках и выводах. Сообщество, где обсуждают не абстракции, только рабочий код и действующие системы.
Конференция будет полезна разработчикам ROS и ROS2, инженерам по мобильной робототехнике и манипуляторам, специалистам по ИИ и навигации, R&D-командам и стартапам, студентам старших курсов технических вузов.
Если вы работаете с ROS — это главная точка притяжения профессионального сообщества в России — вам обязательно нужно быть тут!
Регистрируйтесь на ROS Meetup 2026 по ссылке.
До встречи на конференции!
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥12❤4
🎓 — Семинар 5. Биологические правдоподобные модели памяти и механизмы синаптической пластичности| Никита Байнаев-Мангилев
Современные модели искусственных нейронных сетей демонстрируют впечатляющие результаты при работе с большими данными, однако их обучение остается крайне затратным из-за низкой выборочной эффективности. Кроме того, многие модели сталкиваются с проблемой катастрофического забывания, особенно актуальной в задачах непрерывного онлайн-обучения. Альтернативой могут стать биологически правдоподобные модели памяти и алгоритмы обучения, реализующие свойства локальности и выборочной эффективности, вдохновленные принципами работы человеческого мозга.
На данном семинаре аспирант нашего центра рассмотрит современные представления о пластичности и памяти в области вычислительной биологии, нейрофизиологии и когнитивного моделирования.
Особое внимание будет уделено двум темам. Во-первых, мы рассмотрим Behavioral Timescale Synaptic Plasticity (BTSP) — новый механизм синаптической пластичности, который открывает перспективы для понимания того, как мозг способен обучаться на нескольких примерах (few-shot learning). Во-вторых, мы обсудим роль астроцитов — клеток, которые долгое время считались лишь пассивными элементами глии, — в процессах памяти и синаптической передачи.
Статьи по теме астроцитов: 1, 2, 3
Статьи по теме BTSP: 1, 2, 3, 4
👉🏻 Дата: 05.03.26, четверг в 17:00
📹 Трансляция: Youtube или ВК
Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире. Ждём всех!
#Neuro #Bio
Современные модели искусственных нейронных сетей демонстрируют впечатляющие результаты при работе с большими данными, однако их обучение остается крайне затратным из-за низкой выборочной эффективности. Кроме того, многие модели сталкиваются с проблемой катастрофического забывания, особенно актуальной в задачах непрерывного онлайн-обучения. Альтернативой могут стать биологически правдоподобные модели памяти и алгоритмы обучения, реализующие свойства локальности и выборочной эффективности, вдохновленные принципами работы человеческого мозга.
На данном семинаре аспирант нашего центра рассмотрит современные представления о пластичности и памяти в области вычислительной биологии, нейрофизиологии и когнитивного моделирования.
Особое внимание будет уделено двум темам. Во-первых, мы рассмотрим Behavioral Timescale Synaptic Plasticity (BTSP) — новый механизм синаптической пластичности, который открывает перспективы для понимания того, как мозг способен обучаться на нескольких примерах (few-shot learning). Во-вторых, мы обсудим роль астроцитов — клеток, которые долгое время считались лишь пассивными элементами глии, — в процессах памяти и синаптической передачи.
Статьи по теме астроцитов: 1, 2, 3
Статьи по теме BTSP: 1, 2, 3, 4
👉🏻 Дата: 05.03.26, четверг в 17:00
📹 Трансляция: Youtube или ВК
Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире. Ждём всех!
#Neuro #Bio
❤4👍1
🎓 — Семинар 6. Разработка методов построения реалистичных сцен в симуляторе для валидации интеллектуальных агентов | Роман Симонов
Оценка алгоритмов управления роботами в реальных условиях затруднена из-за рисков безопасности, высоких затрат и низкой воспроизводимости экспериментов, что делает симуляцию основным инструментом тестирования. Однако ключевым препятствием остается разрыв между моделью и реальностью (sim-to-real gap).
Предлагаемый системный подход на базе IsaacSim позволяет преодолеть это ограничение, обеспечивая среду для надежной валидации стратегий манипуляций и проверки их обобщающей способности. Использование высокопараллельного моделирования для автоматической идентификации физических параметров по реальным траекториям объектов обеспечивает корреляцию между поведением агента в виртуальной и физической средах.
Такой инструментарий дает возможность детально анализировать устойчивость моделей к изменениям параметров окружения, выявлять их уязвимости и подтверждать надежность систем еще до этапа развертывания на реальном железе.
👉🏻 Дата: 12.03.26, четверг в 17:00
📹 Трансляция: Youtube или ВК
Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире. Ждём всех!
#robotics
Оценка алгоритмов управления роботами в реальных условиях затруднена из-за рисков безопасности, высоких затрат и низкой воспроизводимости экспериментов, что делает симуляцию основным инструментом тестирования. Однако ключевым препятствием остается разрыв между моделью и реальностью (sim-to-real gap).
Предлагаемый системный подход на базе IsaacSim позволяет преодолеть это ограничение, обеспечивая среду для надежной валидации стратегий манипуляций и проверки их обобщающей способности. Использование высокопараллельного моделирования для автоматической идентификации физических параметров по реальным траекториям объектов обеспечивает корреляцию между поведением агента в виртуальной и физической средах.
Такой инструментарий дает возможность детально анализировать устойчивость моделей к изменениям параметров окружения, выявлять их уязвимости и подтверждать надежность систем еще до этапа развертывания на реальном железе.
👉🏻 Дата: 12.03.26, четверг в 17:00
📹 Трансляция: Youtube или ВК
Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире. Ждём всех!
#robotics
🔥8❤1
Последняя возможность зарегистрироваться и принять участие!
ROS Meetup — крупнейшая техническая конференция по робототехнике и ИИ.
Программа докладов принимает финальные очертания — спикеры готовят свои презентации, а на площадке идут приготовления, чтобы принять вас уже в эту пятницу, 20 марта.
Актуальную программу выступлений — вы сможете изучить на сайте конференции.
Что вас ждёт в этом году:
1. Технические доклады — традиционная насыщенная программа технических докладов: самые передовые разработки в робототехнике, исходный код, технические решения без маркетинга и воды.
2. Научные доклады — выступления с докладами от научных сотрудников, аспирантов технических вузов перед экспертным жюри, которые будут опубликованы в научных журналах.
3. Пленарные дискуссии — будущее и тренды создаются в таких диалогах
📍Единый код роботизации: стандарты, платформы и экономическая эффективность — 20 марта
📍 Кадровый конвейер отрасли — 20 марта
📍 Антропоморфные роботы: развитие и перспективы отрасли — 21 марта
4. Воркшопы — практика в чистом виде, для тех, кто готов засучить рукава и поработать, чтобы освоить реальные навыки:
📌 SLAM и бортовой ИИ на образовательных БВС «Сверх»: 3-дневный интенсив на дронах с ROS 2
📌 Мультиагентное планирование путей: решение Sim2Real Gap на примере разработки инфраструктуры для мультиагентных роботов
📌 Мультиагентное планирование путей: глубокое обучение и эвристический поиск
📌 Обучение и применение VLA моделей
5. Хакатон-соревнование ROS2/open-source роботов. Участникам предстоит создать автономного робота для решения практических задач. Для подготовки доступны бесплатные материалы, базовые конфигурации робота и обучающий курс 🦾
6. Выставка роботов — образовательный квадрокоптер «Сверх», робот-панда RDS-2P и подводный автономный аппарат NeoWelt 2 для подводной навигации и другие роботы. Участники смогут увидеть их в действии и пообщаться с их создателями.
7. Нетворкинг и новые возможности. ROS Meetup — это не только знания, но и сообщество. Знакомства с единомышленниками, обмен идеями и поиск партнеров для будущих проектов. Здесь рождаются новые коллаборации и укрепляются профессиональные связи.
8. Карьерные консультации от HR-партнёров конференции для тех, кто хочет связать свое будущее с робототехникой или найти работу мечты.
Увидимся уже совсем скоро — регистрируйтесь на конференцию прямо сейчас. Участие — бесплатное.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3❤1
🎓 — Семинар 7. Объектно-центричные представления | Владимир Фролов
Все более актуальной становится задача создания систем, способных формировать интерпретируемые, структурированные и композиционные внутренние представления о мире. Идеальным кандидатом на роль элементарной единицы такого представления выступает объект.
Доклад посвящён моделям, позволяющим извлекать объектно-центричные представления. Ключевым элементом здесь являются слоты — векторы, кодирующие характеристики объектов сцены: форму, положение, текстуру и другие атрибуты.
Современный подход к обучению таким представлениям уходит корнями в фундаментальные идеи, сформулированные задолго до появления технологий глубокого обучения. В докладе будут рассмотрены как базовые модели, актуальные для этой задачи, так и одна из недавних разработок — модель RAPID, которая использует модифицированный механизм группировки признаков на основе смесей гауссовских распределений.
👉🏻 Дата: 19.03.26, четверг в 17:00
📹 Трансляция: Youtube или ВК
Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире. Ждём всех!
#cv
Все более актуальной становится задача создания систем, способных формировать интерпретируемые, структурированные и композиционные внутренние представления о мире. Идеальным кандидатом на роль элементарной единицы такого представления выступает объект.
Доклад посвящён моделям, позволяющим извлекать объектно-центричные представления. Ключевым элементом здесь являются слоты — векторы, кодирующие характеристики объектов сцены: форму, положение, текстуру и другие атрибуты.
Современный подход к обучению таким представлениям уходит корнями в фундаментальные идеи, сформулированные задолго до появления технологий глубокого обучения. В докладе будут рассмотрены как базовые модели, актуальные для этой задачи, так и одна из недавних разработок — модель RAPID, которая использует модифицированный механизм группировки признаков на основе смесей гауссовских распределений.
👉🏻 Дата: 19.03.26, четверг в 17:00
📹 Трансляция: Youtube или ВК
Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире. Ждём всех!
#cv
❤4
Стартовал 1 день конференции! Приходите в главный корпус или смотрите онлайн-трансляцию.
Сегодня в программе:
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4
Технический трек.
Вчера прошла первая часть технического трека конференции. Запись трансляции уже доступна для просмотра. А прямо сейчас в Концертном зале МФТИ идёт вторая чать, смотрите онлайн или приходите в Главный корпус.
Воркшоп от наших сотрудников.
Сегодня в 15:00 состоится воркшоп от наших сотрудников на тему: «Обучение и применение VLA-моделей и интеграция с ROS2».
- Аудитория 2.35 (Физтех.Цифры).
Сегодня — последний день, когда можно посетить выставку роботов в коридоре на первом этаже Главного корпуса.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤8🔥5🎉3
🎓 — Семинар 8. Нейросетевая генерация глобальных HD-карт местности по реальным и синтетическим данным | Леонид Иванов, Сергей Бирюков
Построение HD-карт сцены является ключевой задачей для систем навигации беспилотных автомобилей. Такие многоуровневые представления карт (края дороги, линии разметки, светофоры, пешеходные переходы) используются для планирования траектории и понимания окружающей обстановки. Современные подходы построения HD-карт всё чаще ориентируются на формирование и использование глобальных сцен по длинным видео бортовых видеокамер, позволяющих учитывать более широкий контекст и обеспечивать согласованность предсказаний.
Развитие подобных методов на базе предобученных Vision-Language Models сталкивается с существенными ограничениями, связанными с нехваткой масштабируемых и разнообразных обучающих данных. Сбор и аннотирование реальных данных требует значительных ресурсов, что затрудняет обучение и валидацию моделей. Выходом из этой проблемы является создание синтетических данных при помощи симуляций.
В рамках семинара будут рассмотрены современные подходы к построению векторных глобальных HD-карт, а также будет представлен разрабатываемый пайплайн генерации фотореалистичных синтетических данных с использованием симулятора CARLA.
👉🏻 Дата: 26.03.26, четверг в 17:00
📹 Трансляция: Youtube или ВК
Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире. Ждём всех!
#CV
Построение HD-карт сцены является ключевой задачей для систем навигации беспилотных автомобилей. Такие многоуровневые представления карт (края дороги, линии разметки, светофоры, пешеходные переходы) используются для планирования траектории и понимания окружающей обстановки. Современные подходы построения HD-карт всё чаще ориентируются на формирование и использование глобальных сцен по длинным видео бортовых видеокамер, позволяющих учитывать более широкий контекст и обеспечивать согласованность предсказаний.
Развитие подобных методов на базе предобученных Vision-Language Models сталкивается с существенными ограничениями, связанными с нехваткой масштабируемых и разнообразных обучающих данных. Сбор и аннотирование реальных данных требует значительных ресурсов, что затрудняет обучение и валидацию моделей. Выходом из этой проблемы является создание синтетических данных при помощи симуляций.
В рамках семинара будут рассмотрены современные подходы к построению векторных глобальных HD-карт, а также будет представлен разрабатываемый пайплайн генерации фотореалистичных синтетических данных с использованием симулятора CARLA.
👉🏻 Дата: 26.03.26, четверг в 17:00
📹 Трансляция: Youtube или ВК
Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире. Ждём всех!
#CV
👍6