Устал!

"Ах, оставьте!".
Ну актер. Лишь бы не стоять спокойно.

Он даже ручкой помахал на прощание. Серьезно, он это сам выучил, я никак не контролирую его движения.

"Ой, да идите все на хер, на хер, на хер, на хер!"

Здравствуйте, уважаемые подписчики.

Моё длительное отсутствие было связано с очень тяжёлым событием. Моя мама умерла от рака.

По этой причине у меня не было никаких сил заниматься проектами, да и вообще заниматься чем либо.
Сейчас я потихоньку пришел в норму, покодил немного один из проектов, которым я хотел бы посвятить этот год, и готов снова делиться с вами результатами своей работы.
В следующих постах я расскажу подробнее о том, над чем работаю сейчас и в каких направлениях собираюсь двигаться в дальнейшем. Спасибо всем, кто по-прежнему подписан на мой канал!

Силами глубинного машинного обучения заклинаю тебя, мужик из MuJoCo - ВСТАНЬ И ИДИ!

Да что ж одни зомбяки-то получаются, а?
"Мозгиииии! Мозгиииии!"

Писал в сообщении слова "...Легенду о Зельде", автокоррект предложил "Зельдин".
Зельдин - это чиновник из Хайрула, видимо.
Легенда о Зельдине - Ударим бюрократией по хаосу!

Попросил ИИ сгенерить - не разочаровался.

Переписал код сетки, управляющей "Мужиком из MuJoCo", сделав ее сверточной.
Вектор наблюдений отображается в матрицу 3х32х32 линейным слоем, а дальше уже сетка работает с этим представлением, как с картинкой.
Эта "картинка" проходит через несколько сверточных слоев, и в итоге формируется еще одна матрица 3x32x32 - внутренний стейт сети.
Так как обе эти матрицы имеют такую удобную конфигурацию, из них можно сделать настоящие картинки и сохранить в гифку.
Получаются такие вот "томограммы" этих бегающих болванчиков. Заметили некоторую цикличность? Она соответствует их движениям.

Еще один внутренний стейт, более красочный. Не очень понятно, от чего это зависит, но на это влияет процесс обучения - иногда получаются красочные внутренние стейты, с большим числом переливающихся пикселей, иногда - блеклые, с горсткой мигающих нейронов.

Ах, да. От зомбиизма я его излечил, использовав одну из самых могущественных волшебных субстанций нашего мира - деньги)

В смысле, что пришлось арендовать на несколько часов виртуальную машину с GPU, в которую влезли большие батчи (1024 и больше) - с ними процесс обучения идет стабильнее и сходится лучше.

Он теперь прям бегом бежит.

Этот бегает хорошо, а вот стейт у него какой-то блёклый.
Но он даже добежал до края мира.

Думали, я неделю груши околачивал?
А вот и нет. Учил мужиков из MuJoCo не покладая пайплайна.

Я, собственно, что сделать-то хочу. Бегать они научились, а значит потихоньку можно их и драться друг с другом заставлять. Это и есть конечная цель - файтинг с непрямым управлением, в котором сражаются нейросетевые болванчики.

Однако перед тем, как переходить к более сложной среде, нужно решить вопрос, собственно, с непрямым управлением.

Проблема вот в чем - они же, сцуко, личности, в смысле, я не управляю их действиями напрямую, решение принимает нейронная сетка на основе наблюдений. Соответственно, идея в том, чтоб добавить ей дополнительные входы, на которые подавать коэффициенты при разных членах функции наград, чтобы изменив эти значения можно было получить другое поведение - например, чтоб болванчик старался держать свой центр масс выше или ниже, работал активнее ногами или руками и т.п.

Пока, к сожалению, этого сделать не получилось - сетка выучивает какую-то среднюю стратегию и игнорирует мои сигналы. На видео - два мужика из МуЖоКо, обученные в таком сеттинге. Увы, это не один и тот же с разными значениями управляющих сигналов - это две разные сетки сошлись к двум решениям. Оба игнорируют сигналы. Правда, один (обученный в облаке) оказался куда активнее - и опять у него внутренний стейт куда красочнее и интереснее! А обученный на моем компе вон еле ногами перебирает.

Так что сейчас я продолжаю эксперименты с целью научить их не просто бегать, а бегать в соответствии с моими управляющими сигналами. Тут бесконечное число вариантов реализации, а один эксперимент занимает час-два, так что будем искать решение дальше.

Не дает учить сетки)

Ой, блядь, у меня цензурных слов не осталось. Больше сотни этих дурачков обучил, каждый эксперимент по 2 часа минимум идет.
А он вон чего вытворяет.

Впрочем, это явно не мой баг, похоже, это что-то в MuJoCo. Написал разработчикам, посмотрим, что скажут.

"Солевой, солевой, не хотим играть с тобой!"

Зато внутренний стейт какой красивый. Не то что у того грязного читера, который сквозь пол проваливается.

Ах вон оно что! У MuJoCo есть механизм, который позволяет отключить коллизии межу выбранными телами для ускорения вычислений!

Ну что, падла, больше не получается читерить?)

Смотрите, как у него стейт поменялся, когда он свалился - сетка никогда не видела такой ситуации, для нее это смерти подобно.