Да, я почти дописал новый пайплайн, надеюсь скоро порадовать себя и вас драками нейросетевых болванчиков. Начну все-таки с тех четвероногих вшей, потому что они вычислительно проще. Хотя новый пайплайн вселяет надежду, что и до хуманоидов дойдет.
Вот этот прекрасно бегающий дурачок в прошлом посте обучен на моей локальной машине, а не в облаке, с батчем в четыре раза меньше, чем "облачные" и за 30 минут вместо 5 часов.
Вот что джакс животворящий делает, новый пайплайн оказался эффективнее старого.

Стой, ну куда же ты? А как же эпичная битва?

Да что ты с ним совокупляешься, выкидывай его на хрен!

Пора учить его самосохранению.

Ну всё, теперь они могут доказывать состоятельность своего конфига обучения поединком.

Продолжаю готовить ползучих спортсменов к битве. Смотрите, какому удару научился оранжевый!

Да, я уменьшил арену, чтоб добавить драмы)

Тренировка выглядит так. Только при обучении параллельно проходит по 1024 таких битвы, и помимо битвы с сеткой-противником, обучающаяся сетка в отдельном потоке бьется сама с собой.

Ну как в волчьих цитатах, самый трудный бой - бой с самим собой, вот это всё.
Только, в отличие от волчьих цитат, тут это действительно работает - пайплайн периодически сохраняет копию текущих коэффициентов и некоторое время использует этот конфиг в качестве противника.

Чем меньше арена - тем лучше сходится обучение, потому что на мелкой арене агентам не надо никуда особенно двигаться - вон, на прошлых видео видно, как они друг-друга выбивают в первые же секунды.
Это, конечно, весело, но в итоге получаются агенты, которые не умеют драться - если не получилось выбить с первого раза, они просто сидят и ждут конца симуляции.

На арене побольше сходится намного хуже. Я пару недель экспериментировал, и выяснил, что большие штрафы за падение настолько пугают агентов в первые же итерации обучения, что они становятся жутко трусливыми и драться не хотят - только осторожно ползут друг к другу.

Подкрутил размеры наград за пинок противника, и обучение сошлось. Но получились совершенно безбашенные товарищи, которым главное - пнуть врага, а то, что потом и сам упадет - так и пофиг. Берсерки, блин.

Еще берсерки.

Зато потом я дообучил берсерков с другой функцией наград, и получил более осторожных бойцов.
effortless-snowflake-24 (оранжевый, осторожный) против balmy-valley-12 (синий, безбашенный берсерк)

А вот вам немного нейронного Бориса Гребенщикова - новая песня и музыкальное видео от Тандема Модемов!
Что интересно, я не просил сеть петь голосом БГ, это на нее так повлияло сочетание стиля Irish Folk и русского языка, bias датасета, однако.
Приятного просмотра!

https://youtu.be/d7P1vF3cuQY

Последний месяц я экспериментировал с агентами на большой арене. Теперь они куда умнее и настойчивее!
playful-capybara-68 (оранжевый) vs eternal-firefly-57 (синий)

Так выглядит каждое моё пробуждение, пока я не дам коту его баночку.

После того, как получилось обучить неплохого бойца, я начал экспериментировать с метапараметрами пайплайна с целью найти если не оптимальные, то по крайней мере более эффективные.
Очень быстро стало понятно, что на моей семилетней видюхе (GTX 1080) это пустая затея - тот самый чемпион, видео с которым я кидал выше, обучался пять с половиной суток.

Так что я подумал-подумал, и купил новую видюху - RTX 4070 Ti Super, на 16 гигабайт видеопамяти.
Эксперименты пошли бодрее, но даже с этой видюхой обучение одного агента занимает 30 часов - сами понимаете, за месяц я успел провести всего штук 20 экспериментов) Видюха все это время не вырубалась ни на минуту.

Печальнее всего то, что тот, первый чемпион, playful-capybara-68, по-прежнему остается в топ-3, найти существенно более эффективные параметры пока не удалось.
Так что я думаю проверить еще пару вещей (хочу немного повозиться с самим пайплайном, может, удастся улучшить результат), потом чуть причесать код и релизить его в опенсорс, чтобы кто угодно мог попробовать обучить себе бойца. А потом можем устроить соревнование)
Не уверен, что сделаю это до нового года - все-таки, мне не хочется торопиться, хочу спокойно привести код в порядок перед релизом, но точно уже скоро!

А еще новая видюха позволяет мне локально запускать один из лучших на сегодняшний день (и лучший опенсорсный) генератор изображений Flux, а также его файнтьюнить.

Одновременно учить агентов и флакс, разумеется, не получается, так что вот переключаюсь туда-сюда. На флакс я прямо залипаю, потому что он невероятно крут - смотреть, как он учится и дистиллирует стили можно бесконечно!

На видео - валидационные картинки, выводимые каждые 100 итераций, пиксель-артный датасет (один из).
Seed фиксирован, так что все изменения - результат обучения, а не рандома.

https://youtu.be/Q7S4KdISeDU

Вторая часть кибер-частушек от Тандема Модемов!

В этот раз генерил в Suno, после того, как Udio показал себя совершенно ужасно. Видимо, они что-то поломали в своей сетке, потому что раньше он был лучше, чем конкурент. Теперь же - просто не сравнить, небо и земля.

Suno же сходу выдал так любимые мной ирландские мотивы в сочетании с нашими, исконными частушечными, этот проигрыш заставил меня сразу позабыть про эксперименты в Udio и перейти на Suno окончательно)
Графика - в основном мой локальный Flux со вкраплениями Midjourney (Dall-e эту гонку проиграл).

Хорошего вам пятничного вечера и приятного просмотра!