Пока, к сожалению, этого сделать не получилось - сетка выучивает какую-то среднюю стратегию и игнорирует мои сигналы. На видео - два мужика из МуЖоКо, обученные в таком сеттинге. Увы, это не один и тот же с разными значениями управляющих сигналов - это две разные сетки сошлись к двум решениям. Оба игнорируют сигналы. Правда, один (обученный в облаке) оказался куда активнее - и опять у него внутренний стейт куда красочнее и интереснее! А обученный на моем компе вон еле ногами перебирает.

Так что сейчас я продолжаю эксперименты с целью научить их не просто бегать, а бегать в соответствии с моими управляющими сигналами. Тут бесконечное число вариантов реализации, а один эксперимент занимает час-два, так что будем искать решение дальше.

Не дает учить сетки)

Ой, блядь, у меня цензурных слов не осталось. Больше сотни этих дурачков обучил, каждый эксперимент по 2 часа минимум идет.
А он вон чего вытворяет.

Впрочем, это явно не мой баг, похоже, это что-то в MuJoCo. Написал разработчикам, посмотрим, что скажут.

"Солевой, солевой, не хотим играть с тобой!"

Зато внутренний стейт какой красивый. Не то что у того грязного читера, который сквозь пол проваливается.

Ах вон оно что! У MuJoCo есть механизм, который позволяет отключить коллизии межу выбранными телами для ускорения вычислений!

Ну что, падла, больше не получается читерить?)

Смотрите, как у него стейт поменялся, когда он свалился - сетка никогда не видела такой ситуации, для нее это смерти подобно.

Ну не хочет выучить управляемость и все. Наруто, блеать!

Должен был переключаться между обычным бегом и чем-то вроде этого. Но опять выучивает среднюю стратегию, игнорируя мои управляющие сигналы.

Можно поставить Мужика из MuJoCo на колени, но не заставить выполнять чужие приказы!

После всех моих ухищрений он стал лучше бегать, но так и не стал отзываться на мои сигналы. В голову начинает навязчиво лезть мем "а ты знаешь, что такое безумие?"

Все-таки это черная магия. Я вот не могу заранее предсказать, чему научится мужик из MuJoCo при заданных параметрах алгоритма. А уж если код меняешь, то и вовсе.

Я вот переписал пайплайн немного - суть осталась та же, но распараллелил слегка по-другому. И они теперь стали на редкость изобретательны, хоть сейчас в Министерство Тупых Походок.

Это вот все при одной и той же архитектуре сетей, при одной и той же фиксированной функции наград. Просто несколько изменился порядок накопления эпизодов обучения в буфере.

https://www.youtube.com/shorts/d2-UFzujQnA

Попытался его двум стратегиям сразу научить. Кажется, ему не очень.

Да что ты такое творишь?

https://youtube.com/shorts/aupMp6RIZGc?si=T-q8mEkyLd6nqUmt

Нуу... В целом я не могу сказать, что он "не научился". Свою технику он определенно улучшил.
Странно, что ему это делать проще, чем просто идти или бежать.

https://youtube.com/shorts/HmKsQYN84-w?si=FdGCHyJ6vC98l0N2

Вообще, я переписал пайплайн, чтобы можно было в обучение примешивать примеры от разных агентов.
И сейчас смотрю, что будет, если обучать с примерами от этих трех мужиков из MuJoCo:

dauntless-dragon-312

logical-frost-200

glorious-dawn-308

Это три великих мастера, у которых учится юный падаван.
Weights & Biases им еще и рандомные имена генерит, чтобы проще было искать.