"Солевой, солевой, не хотим играть с тобой!"

Зато внутренний стейт какой красивый. Не то что у того грязного читера, который сквозь пол проваливается.

Ах вон оно что! У MuJoCo есть механизм, который позволяет отключить коллизии межу выбранными телами для ускорения вычислений!

Ну что, падла, больше не получается читерить?)

Смотрите, как у него стейт поменялся, когда он свалился - сетка никогда не видела такой ситуации, для нее это смерти подобно.

Ну не хочет выучить управляемость и все. Наруто, блеать!

Должен был переключаться между обычным бегом и чем-то вроде этого. Но опять выучивает среднюю стратегию, игнорируя мои управляющие сигналы.

Можно поставить Мужика из MuJoCo на колени, но не заставить выполнять чужие приказы!

После всех моих ухищрений он стал лучше бегать, но так и не стал отзываться на мои сигналы. В голову начинает навязчиво лезть мем "а ты знаешь, что такое безумие?"

Все-таки это черная магия. Я вот не могу заранее предсказать, чему научится мужик из MuJoCo при заданных параметрах алгоритма. А уж если код меняешь, то и вовсе.

Я вот переписал пайплайн немного - суть осталась та же, но распараллелил слегка по-другому. И они теперь стали на редкость изобретательны, хоть сейчас в Министерство Тупых Походок.

Это вот все при одной и той же архитектуре сетей, при одной и той же фиксированной функции наград. Просто несколько изменился порядок накопления эпизодов обучения в буфере.

https://www.youtube.com/shorts/d2-UFzujQnA

Попытался его двум стратегиям сразу научить. Кажется, ему не очень.

Да что ты такое творишь?

https://youtube.com/shorts/aupMp6RIZGc?si=T-q8mEkyLd6nqUmt

Нуу... В целом я не могу сказать, что он "не научился". Свою технику он определенно улучшил.
Странно, что ему это делать проще, чем просто идти или бежать.

https://youtube.com/shorts/HmKsQYN84-w?si=FdGCHyJ6vC98l0N2

Вообще, я переписал пайплайн, чтобы можно было в обучение примешивать примеры от разных агентов.
И сейчас смотрю, что будет, если обучать с примерами от этих трех мужиков из MuJoCo:

dauntless-dragon-312

logical-frost-200

glorious-dawn-308

Это три великих мастера, у которых учится юный падаван.
Weights & Biases им еще и рандомные имена генерит, чтобы проще было искать.

А вот и правильный ответ.
Этот товарищ, wobbly-firefly-334, определенно превзошел своих учителей и стал лучшим бегуном из всех, что у меня получались. Хотя, надо сказать, немного похожим на logical-frost-200

Я пробовал заставить его продолжить с чьего-нибудь чужого стейта, например с низко прыгающего dauntless-dragon-312. Но он не шмог. Хотя и попытался.

На 5й секунде видно, как меняется его внутренний стейт - это я загрузил сознание этого бегуна в тело, оставшееся от dauntless-dragon-312.

Хоба!
Он-таки смог.