Про возможности self-play и open-ended learning конечно давно известно. Например та же работа от DeepMind с крайне похожими результатами. Все что надо - чтобы симулятор был быстрым и разнообразным.

https://deepmind.google/discover/blog/generally-capable-agents-emerge-from-open-ended-play/

Уже довольно старая статья про перспективы скейлинга в роботике. Довольно занятная, есть примеры за и против, в конце - некоторые советы над чем стоит работать

https://nishanthjkumar.com/blog/2023/Will-Scaling-Solve-Robotics-Perspectives-from-CoRL-2023/

Самое время подвести итоги сабмитов на ICLR 2025. Не все успели довести до фулл статей, но и воркшопы тоже хорошо!

Что-то уже есть на архиве (и еще будет обновлятся с новыми результатами), так что делюсь:
1. XLand-100B: A Large-Scale Multi-Task Dataset for In-Context Reinforcement Learning (Main, Poster), by @howuhh and @suessmann and @zzmtsvv
2. Latent Action Learning Requires Supervision in the Presence of Distractors (Workshop, World Models), by @howuhh
3. Object-Centric Latent Action Learning (Workshop, World Models), by @cinemere
4. N-Gram Induction Heads for In-Context RL: Improving Stability and Reducing Data Needs (Workshop, SCOPE), by @suessmann
5. Yes, Q-learning Helps Offline In-Context RL (Workshop, SSI-FM), by @adagrad

Рисует и правда хорошо.

Interpreting Emergent Planning in Model-Free Reinforcement Learning [blogpost][code]

На мой взгляд самая интересная статья по RL с ICLR 2025 (ну или точно в топ 10). К сожалению сейчас нет времени разобрать подробно (привет ICML ребуталлы!), так что просто поделюсь тут. Работа во всех смыслах монументальная, чего стоит только аппендикс в 30+ страниц.

Отличная иллюстрация, что даже с помощью крайне простых инструментов (линейного пробинга) можно накопать кучу интересного если умеешь задавать правильные вопросы. Наверное для меня эта статья в целом ориентир качества в эмпирическом рисерче.

с большой вероятностью летом меня можно будет найти тут (как ментора и может быть лектора, но это не точно):

https://t.me/airi_research_institute/825

Только вернулся с ICLR 2025 в Сингапуре, вcтречают радостными новостями. Две статьи приняли на ICML 2025!

В скором времени расскажу о них чуть больше (в целом я выше уже их упоминал как воркшопные). Выложу постеры с ICRL и небольшое (но более подробное) описание каждого.

Не совсем по теме канала, да и сложно судить о достоверности, не читал пока оригинальные публикации. Но если это так, то это просто вау

https://www.wired.com/story/intelligence-evolved-at-least-twice-in-vertebrate-animals/

https://t.me/complete_ai/684

хорошая коллаба получилась, затащили рль для реверс инжиниринга деталей, топ работа как обычно от @adagrad @suessmann и @Howuhh

Знаю, что обещал рассказать в канале про каждую, но сил пока не нашлось. Как нибудь доберусь, а пока вот, небольшие итоги нашей совместной работы в лабе.

If there is no wind, row.

https://t.me/dunnolab/35

Сейчас суперактивно развивается сегмент бюджетной домашней робототехники на коленке — LeRobot от HuggingFace.

Можно на 3д принтере распечатать детали, за дешево купить приводы и дома на коленке собрать мини-робота.

Например, собрать SO-100 в домашних условиях стоит около 20k рублей, крутяк?

На прошлых выходных @suessmann поучаствовал в хакатоне от HuggingFace: нужно было сделать демо по использованию таких роботов. Илья в домашних условиях собрал робота и заимплементил крутейшее демо для телеоператоров с помощью телефона!

Результат на видосе, если хотите что-то такое же дома провернуть, то вот код: https://github.com/suessmann/daxie

Если вам интересно поработать с нами в направлении RL/VLA и около — скоро откроем набор тут.
А если уже горит и есть оформленные рисерч пропозалы, не ждите — пишите сразу @howuhh.

- - —
@dunnolab

Недавно @YulianaShakhvalievaa и @spirin_egor позвали меня прочитать небольшую лекцию о том, почему стоит заниматься RL-ем, да еще и именно рисерчем, в магистратуру по мл и анализу данных в вшэ (а я сам ее заканчивал!) Глобально курс был обзорный, чтобы ребята смогли познакомится с разными областями deep learning, поэтому приглашали разных экспертов из индустрии и около.

Лекцию я прочитал и вроде даже всем понравилось. Решил выложить слайды, вдруг кому-то будет еще интересно. Не стоит относится к некоторым (спорным!) тейкам серьезно. Основной целью было увлечь рлем, а тут все средства хороши! В конце подборка статей с интересными результатами.

Слайды лежат тут.

Прилетел в Томск на летнюю школу AIRI. Будут тут на протяжении всей школы, так что если вам по какой-то причине хочется со мной встретиться и поболтать об рле/рисерче и в целом, пишите!

Сегодня последний день школы. Был очень рад со всеми познакомиться, внезапно Томск понравился гораздо больше, чем я того ожидал.

Я на школе как раз прочитал небольшую лекцию о том, чем сейчас занят и о своей последней статье, принятой на ICML 2025. Все не дошли руки ее описать здесть отдельно (во всем прошу винить диссер)... Запись я надеюсь потом выложат, а пока опять же делюсь слайдами. Тема крайне интересная и перспективная, так что всем смотреть!

Слайды тут.