Всем привет!🔥

📆 Сегодня (27.02) в 17:00 Артём Латышев расскажет про:

Объединение моделей мира и Vision-Language-Action моделей

⚫️Модели мира позволяют агенту предсказывать будущие состояния среды и последствия своих действий, что делает возможным генерацию дополнительного обучающего опыта без взаимодействия с реальным миром, предварительную оценку рисков и повышение устойчивости к ситуациям вне обучающего распределения. Универсальный характер задачи построения модели мира также способствует переносу знаний между различными задачами.

⚫️При интеграции с Vision-Language-Action моделями модели мира используют богатые мультимодальные представления, сформированные в крупных Vision-Language и видеомоделях, которые уже содержат обобщённые знания об объектах, физических процессах и их взаимодействиях. Это позволяет повысить качество предсказаний и эффективность обучения.

⚫️Существуют два основных подхода к объединению модели мира и стратегии: в рамках единой архитектуры, совмещающей предсказание и принятие решений, и в виде модульного фреймворка, где модель мира и стратегия реализованы как отдельные компоненты.

⚫️В докладе будут рассмотрены оба подхода на примере COSMOS-Policy как интегрированной модели и GigaBrain-0.5M* как модульной архитектуры, а также обсуждены их ключевые особенности и различия.

Статьи:
1. Cosmos Policy: Fine-Tuning Video Models for Visuomotor Control and Planning
2. GigaBrain-0.5M*: a VLA That Learns From World Model-Based Reinforcement Learning

🍿Ссылка на подключение

Подписаться⤵️
Embodied AI Reading Club

🪼 — Объявляем набор на стажировку в области искусственного интеллекта и робототехники в Центр когнитивного моделирования (Robotics, LLM, RL, CV, Planning)!

Ни для кого не секрет — будущее за искусственным интеллектом. Не просто следить за прогрессом, а создавать его вместе с ведущими учёными страны, участвовать в международных конференциях, получать опыт в прикладных и исследовательских проектах можно у нас на оплачиваемой стажировке.

На выбор предоставляется 14 проектов, которые включают:
🔹обучение с подкреплением
🔹компьютерное зрение
🔹планирование поведения и управление
🔹большие языковые модели
🔹и другое

Два шага для подачи заявки:
1️⃣ выбрать подходящие проекты на сайте
2️⃣ заполнить форму

Стажировку можно совмещать с написанием диплома, но не с другой работой. После успешного окончания возможно устройство в штат, продолжение работы в компаниях-партнерах.

Прием заявок до 13 марта 2025 включительно!

Вопросы можно задать в сообщениях @fissun.

Всем привет!🔥

📆 Завтра (03.04) в 17:00 Татьяна Земскова разберет статью

DreamVLA: A Vision-Language-Action Model Dreamed with Comprehensive World Knowledge

представленную на NeurIPS 2025, в которой предлагается модель на основе VLA для решения задачи манипуляции, использующая прогнозирование знаний о мире (динамические области пространства, глубину и семантическую сегментацию).

Авторы используют связку «восприятие → прогнозирование → действие», используя блочный механизм внимания для разделения типов знаний, что позволяет роботу формировать абстрактные представления о среде перед планированием движений.

Эксперименты демонстрируют высокое качество решения задачи манипуляции: 76.7% SR на реальном роботе и 4.44 средней длины выполнения на бенчмарке CALVIN ABC-D, подтверждая эффективность подхода как в симуляции, так и в реальных условиях.

Ссылки:
1. DreamVLA: A Vision-Language-Action Model Dreamed with Comprehensive World Knowledge
2. Код к статье

🍿Ссылка на подключение

Подписаться⤵️
Embodied AI Reading Club