Я пробовал заставить его продолжить с чьего-нибудь чужого стейта, например с низко прыгающего dauntless-dragon-312. Но он не шмог. Хотя и попытался.

На 5й секунде видно, как меняется его внутренний стейт - это я загрузил сознание этого бегуна в тело, оставшееся от dauntless-dragon-312.

Хоба!
Он-таки смог.

Я вам больше скажу. После того, как я дописал пайплайн, чтобы можно было примешивать данные от референсных агентов к обучаемому, я их комбинировал в разных сочетаниях, крутил параметры, и в итоге обучил Мужика из МуЖоКо реагировать на мои сигналы. По-честному, без замены его сознания на ходу.

Вот, смотрите. Изначально у него отрицательная награда (штраф) за высоту его центра масс, поэтому ему выгодно держаться поближе к земле. На 05-00 я меняю сигнал на положительный - и он распрямляется!

После того, как Мужик из MuJoCo начал реагировать на мои сигналы, пришло время подумать о том, что с ним делать дальше.

Дело вот в чем: динамическая функция наград - штука сложная для выучивания, он в облаке учился несколько часов. Дальше, по идее, нужно делать среду, где их двое, чтобы они могли драться друг с другом. Но это многократно усложнит среду - нет, не в два раза, хотя вместо одного мужика там будет два, а намного сильнее. Помимо этого удвоения вычислений к сожалению еще придется включить расчет коллизий всего со всем. Пока мужик один, достаточно считать коллизии его "стоп" с полом. Ну, можно еще голени с полом, чтоб он не проваливался, если вдруг упадет на колени. Но в драке-то ему как-то надо попадать по противнику!

В общем, по моим прикидкам, придется не просто учить в облаке, а арендовать систему посерьезнее, минимум с парой видюх, на одной крутить симуляции, на другой обучение. Это требует уже совсем других ресурсов, так что пока я взял паузу, остановившись на этом майл-стоуне - работающем пайплайне с динамической функцией наград.

Сейчас я немного залип на эксперименты с уже обученной в облаке сеткой.
Алгоритм обучения, Soft Actor-Critic, порождает две сетки - сетку-агента, эктора, который получает на вход состояние среды и выдает вектор действий, и сетку-критика, которая получает на вход состояние среды и действие, и выдает свою оценку ожидаемой награды. Не только за это действие, заметьте, а суммарной ожидаемой награды с учетом discount-фактора (это довольно тонкий момент, я думаю написать статью-другую на Хабр по текущим результатам, где разберу этот вопрос подробнее).

И вот обученная в облаке сетка-критик прямо волшебная. Используя ее, получилось на хилом домашнем компьютере не только нового эктора обучить (это вообще влёт делается, за 25 минут!), но даже новую сетку-критика! Правда, критик учился 10 часов и не стал лучше своего учителя, но все же, разница между обучением с нуля и обучением с обученным в облаке критиком - разительная. С нуля выходят зомби, которые выучиваются не падать, но особо вперед не идут.

Теперь мне вот интересно, насколько хороших эктора и критика можно получить на домашнем компьютере таким образом. Кроме того, такой подход позволяет мне допиливать пайплайн, используя уже обученную в облаке сетку, чтобы проверять, насколько эффективно пайплайн из нее "дистиллирует" информацию в необученные.

Вообще, в расчете участвуют не две сетки, а целых пять - эктор, два критика (для стабильности, так алгоритм устроен), при помощи которых его учат и еще два критика, при помощи которых учат первых двух. Это теперь такой веселый паззл - есть N обученных сеток, по 5 из которых можно в разных сочетаниях использовать в системе, чтобы породить новые. Вот сидишь и ворочаешь их, раз в десять часов проверяя, стало лучше или нет.

Вот те графики, которые топчутся в единице и не набирают больше наград, чем просто за "не умер еще один ход" - это обучающиеся на моем локальном компьютере с нуля. Остальные - это я потихоньку фиксил пайплайн и все более эффективно вытягивал информацию из обученного в облаке критика.

Пока получился вот такой дурачок. Обучен на домашнем компьютере вместе с новым критиком при помощи критика из облака!

Решил написать на JAXе свой рендерер, чтоб им отрендерить бегущего дурачка.

Ощущения смешанные. С одной стороны, JAX как будто специально делали так, чтоб на нем изящно реализовывать ray marching - в несколько десятков строк влезает код, которым уже можно рендерить Мужика из MuJoCo.

С другой - там есть ряд ограничений, из-за которых код получается менее эффективным - например, приходится для каждого луча просчитывать фиксированное количество шагов вместо того, чтобы завершать расчет по условию.

В общем, у меня получилось 0.05с / кадр не смотря на JIT. Не реалтайм, и я забил на дальнейшее допиливание этого кода)

Зато где-то посадил какой-то баг, и вместо тестового рендера получил искусство - похоже на агит-плакат!

JOIN RAY MARCH!

Все же знают, что недавно открыли бесплатный доступ к нейросети, которая офигенно пишет музыку на заданные слова?

Я вот решил приобщиться, загнал туда одну из своих старых частушек, очень доволен результатом)

Не удержался, дописал еще два куплета киберпанк-частушек и собрал целую песню!

Ну я просто не мог этого не сделать. Положил на музыку стихотворение, которое я тут публиковал ранее - "Новый Век или Парадокс Моравека", при помощи все того же ИИ, Udio.

Много вариантов пробовал, некоторые по музыке и исполнению совсем не подходили под мое представление о том, как эта песня должна звучать, в некоторых ИИ почему-то сильно и стабильно лажал в словах (видимо, ритм стихотворения на выбранное сочетание жанров плохо ложился), но в итоге я нашел прямо то, что хотел.

Ждут, пока я им пайплайн для обучения допишу, чтобы наконец начать свою битву.

Уважаемые подписчики!
Наш небольшой творческий коллектив "Тандем Модемов" рад представить наш дебютный альбом, "Новый Век или Парадокс Моравека"!
К каждой песне мы создали клип при помощи современных ИИ.

Надеюсь, в эти нелегкие времена наши песни передадут вам частичку нашего оптимизма и уверенности в светлом будущем всего человечества.

Приятного просмотра!

Ссылка на плейлист:
https://www.youtube.com/playlist?list=PLcePLS792_7IPTx-vUBrWUWKYFl0VKxrY

https://habr.com/ru/articles/815865/

Написал про наш альбом статью на Хабр, сопроводив описаниями и ссылками на упомянутых в песнях людей и их открытия.

https://youtu.be/hVxk2jIOq-M?si=olfPE16SkQr_30xZ

Неудачные дубли из частушек, под соответствующую музыку.
Осторожно, местами крипово)

Однодневный проект. Ну, или скорее "одночасовой".

Вчера вышла Stable Diffusion 3, доступна для скачивания на Hugging Face.
В отличие от прошлых версий, она может генерить неплохой пиксель-арт (у прошлых всё было очень плохо с такими запросами).
И, что удивительно - она влезает в мою древнюю GTX 1080 (во всяком случае, версия SD 3 Medium).

Написал по-быстрому бота для телеги, который пинает локальную SD 3, генеря красивые пиксель-артные сцены, и постит их в отдельный канал. На моей железке такая генерация занимает минут 15, соответственно, постит он примерно каждые 15 минут.
Не думаю, что я буду в таком режиме его гонять прямо неделями, но пока пусть поработает, поисследует пространство состояний.

https://t.me/pixel_diffusion

Если кому нужно - запустить SD3 локально не просто, а очень просто:

from diffusers import StableDiffusion3Pipeline
from PIL import Image

pipeline = StableDiffusion3Pipeline.from_pretrained("stabilityai/stable-diffusion-3-medium-diffusers", text_encoder_3=None, tokenizer_3=None,  torch_dtype=torch.float16).to('cuda')

image = pipeline(prompt=prompt, width=1024, height=1024).images[0]

image.save(f_name)

С одной стороны в сложных сценах SD3 иногда допускает ошибки. Пейзажи ей удаются, как правило, лучше.
С другой - оно того иногда стоит. Ну где ещё увидишь, как по старой площади человек выгуливает жопу?)

Эх, я теперь хочу эту картинку анимированную.

Charming old town square during a festival, Pixel art with a monochrome palette and high detail

Кто там интересовался, может ли ИИ анимировать пиксель-арт картинки? Может. С психоделическим результатом.

Анимирующий ИИ Haiper плохо справляется с пиксель-артом. Но зато генерирует очень психоделические видео.