Robust Autonomy Emerges from Self-Play

Очень крутой рисерч по близкой мне теме (быстрые симуляторы на GPU, см. XLand-MiniGrid).

Сделали очень быстрый симулятор для селф-драйвинга на GPU, причем на PyTorch, что необычно. Обычно такие среды в последнее время писали на JAX. Обучили в нем модельку на 6М (!!!) параметров, суммарно проехав 1.6 миллардов км. Обучали через self-play, то есть вообще без данных от человека, одна модель управляла сразу всеми агентами на карте. На таком скейле оказалось, что все важные скилы для безопасной езды появляются сами, т.к. эта моделька после перенеслась zero-shot на все существующие симуляторы для селф-драйвинга и везде поставила соту, в том числе по безопасности.

Люблю такие работы за наглядную демонстрацию emergence, появление чего-то сложного из простого, даже если это заранее не закладывалось. Помню, что для меня большим вдохновением заняться рлем помимо AlphaGo стал проект от OpenAI по hide & seek. Он конечно менее практически значимый, но не менее интересный.

Назвали к слову, GIGAFLOW 🤫

Если интересно посмотреть про hide & seek. Оказывается это было уже 5 лет назад... Сейчас может и не все про него знают.

https://www.youtube.com/watch?v=kopoLzvh5jY

Про возможности self-play и open-ended learning конечно давно известно. Например та же работа от DeepMind с крайне похожими результатами. Все что надо - чтобы симулятор был быстрым и разнообразным.

https://deepmind.google/discover/blog/generally-capable-agents-emerge-from-open-ended-play/

Уже довольно старая статья про перспективы скейлинга в роботике. Довольно занятная, есть примеры за и против, в конце - некоторые советы над чем стоит работать

https://nishanthjkumar.com/blog/2023/Will-Scaling-Solve-Robotics-Perspectives-from-CoRL-2023/

Самое время подвести итоги сабмитов на ICLR 2025. Не все успели довести до фулл статей, но и воркшопы тоже хорошо!

Что-то уже есть на архиве (и еще будет обновлятся с новыми результатами), так что делюсь:
1. XLand-100B: A Large-Scale Multi-Task Dataset for In-Context Reinforcement Learning (Main, Poster), by @howuhh and @suessmann and @zzmtsvv
2. Latent Action Learning Requires Supervision in the Presence of Distractors (Workshop, World Models), by @howuhh
3. Object-Centric Latent Action Learning (Workshop, World Models), by @cinemere
4. N-Gram Induction Heads for In-Context RL: Improving Stability and Reducing Data Needs (Workshop, SCOPE), by @suessmann
5. Yes, Q-learning Helps Offline In-Context RL (Workshop, SSI-FM), by @adagrad

Рисует и правда хорошо.

Interpreting Emergent Planning in Model-Free Reinforcement Learning [blogpost][code]

На мой взгляд самая интересная статья по RL с ICLR 2025 (ну или точно в топ 10). К сожалению сейчас нет времени разобрать подробно (привет ICML ребуталлы!), так что просто поделюсь тут. Работа во всех смыслах монументальная, чего стоит только аппендикс в 30+ страниц.

Отличная иллюстрация, что даже с помощью крайне простых инструментов (линейного пробинга) можно накопать кучу интересного если умеешь задавать правильные вопросы. Наверное для меня эта статья в целом ориентир качества в эмпирическом рисерче.

с большой вероятностью летом меня можно будет найти тут (как ментора и может быть лектора, но это не точно):

https://t.me/airi_research_institute/825

Только вернулся с ICLR 2025 в Сингапуре, вcтречают радостными новостями. Две статьи приняли на ICML 2025!

В скором времени расскажу о них чуть больше (в целом я выше уже их упоминал как воркшопные). Выложу постеры с ICRL и небольшое (но более подробное) описание каждого.

Не совсем по теме канала, да и сложно судить о достоверности, не читал пока оригинальные публикации. Но если это так, то это просто вау

https://www.wired.com/story/intelligence-evolved-at-least-twice-in-vertebrate-animals/

https://t.me/complete_ai/684

хорошая коллаба получилась, затащили рль для реверс инжиниринга деталей, топ работа как обычно от @adagrad @suessmann и @Howuhh

Знаю, что обещал рассказать в канале про каждую, но сил пока не нашлось. Как нибудь доберусь, а пока вот, небольшие итоги нашей совместной работы в лабе.

If there is no wind, row.

https://t.me/dunnolab/35

Сейчас суперактивно развивается сегмент бюджетной домашней робототехники на коленке — LeRobot от HuggingFace.

Можно на 3д принтере распечатать детали, за дешево купить приводы и дома на коленке собрать мини-робота.

Например, собрать SO-100 в домашних условиях стоит около 20k рублей, крутяк?

На прошлых выходных @suessmann поучаствовал в хакатоне от HuggingFace: нужно было сделать демо по использованию таких роботов. Илья в домашних условиях собрал робота и заимплементил крутейшее демо для телеоператоров с помощью телефона!

Результат на видосе, если хотите что-то такое же дома провернуть, то вот код: https://github.com/suessmann/daxie

Если вам интересно поработать с нами в направлении RL/VLA и около — скоро откроем набор тут.
А если уже горит и есть оформленные рисерч пропозалы, не ждите — пишите сразу @howuhh.

- - —
@dunnolab