Генерация графики для 2d платформера

Парень сделал простой платформер и прикрутил к нему редактор уровней со stable diffusion, чтобы игроки могли создавать собственные локации.

Пользователь может нарисовать свой уровень в виде карты глубины, которая потом будет обработана с помощью controlnet (штука, которая помогает нейронке лучше понимать, что нужно сгенерить). Для создания окружения он использовал эту модель, а спрайты персонажей делал с помощью этой

Понятно, что пока это может выглядит не очень, и геймплей не увлекает, но как демонстрация технологии штука отличная. Даже сейчас есть возможность обучить собственную модель, например на своих работах/работах своей студии чтобы генерировать локации в нужной стилистике. Так еще через пару лет доработают нейросети, оптимизируют под железо, а там глядишь и процедурная генерация подтянется.

Самому попробовать можно тут
Пост на реддите
Статья, в которой он рассказал как делал
Код платформера

Про SDXL

Новая модель от stability.ai (контора, которая разрабатывает stable diffusion), картинки от которой выглядят очень даже.

Прервемся на секунду. С моделями версий 1.x и 2.x у нас есть проблема - мы не можем генерировать большие изображения. Если попробуем сгенерировать картинку, с размерами сильно отличающимися от стандартных (512x512), то с высокой долей вероятности получим различные искажения и артефакты в виде дублирующихся головы/тела, повторяющегося фона и тому подобное. Это проблему решает hiresfix и работает он следующим образом:
1. Генерируем исходную картинку в txt2img, например 512x512
2. Прогоняем ее через апскейлер, чтобы просто увеличить картинку до нужного размера, например 1024x1024
3. Заапскейленую картинку прогоняем через img2img, чтобы добавить деталей

Как я понял, парни тоже самое решили сделать на уровне модели, точнее двух. Внутри SDXL у нас есть базовая модель (base) и дорабатывающая (хз как перевести, refiner). Первая генерирует картинку, вторая ее дорабатывает - процесс получается почти такой же как при уже знакомом нам hiresfix, с тем отличием, что вместо того чтобы создавать маленькую картинку и потом ее апскейлить, первая модель сразу создает изображение нужного размера, но не доделывает до конца, а оставляет чутка сыроватой и передает второй модели, которая уже доделает как надо. На выходе имеем красивую, большую картиночку. Поэтому новая модель (которая состоит из двух) и называется SDXL.

Но если играть, то по крупному, да? В моделях первой версии для обработки текста использовали openai'евский CLIP, во второй линейке OpenCLIP, а в SDXL решили использовать сразу оба и как говорят, промптится проще - результаты лучше, примерно как у Midjourney.

В итоге если в моделях первых версий было около 1млрд параметров, то с SDXL это около 6.6млрд. Это с одной стороны хорошо: больше параметров - лучше результат, больше разрешение, но и считать теперь сильно больше, и по идее нужно видеокарту помощнее, хотя ребята говорят, что все не так уж и плохо.

Кроме того, как пишет Эмад:
- готова поддержка Автоматика и ComfyUI
- уже готов Controlnet и t2i-адаптеры
- kohya обновил скрипты для тренировки и еще сделали какой-то свой тренер
- SDXL 1.0 будет под CreativeML license (такая же лицензия как у основных моделей)

Но работы еще ведутся и как в SDXL beta была только одна модель, а в SDXL 0.9 уже две, точно также у SDXL 1.0 может что-то поменяться/оптимизироваться так что когда выйдет - тогда и посмотрим. Грозятся выпустить в середине июля. Ну что ж, ждем.

Поиграться с пробной версией SDXL 0.9 можно тут

Без мема никуда

Сделал тут видео про clip-skip, лучшее в нем - переходы между блоками
https://www.youtube.com/watch?v=oh2TgZ8eQuU

Пробегал мимо одного чатика и там спрашивали про туториалы по deforum, интересующиеся могут ознакомиться:

🌉 Примеры анимации параметров можно посмотреть на страничке дефорума и на гитхабе

📄 Почитать можно и оф. доку по блокноту, и вики на гитхабе, и на rentry тоже есть

🎥 Неплохое видео у Сабатовского и продвинутое у Всеволода (который тоже моушн). Эти два видео вообще красота (на англ): один и два

Если нужон гайд ставьте🗿, наберем 15 - сделаю

Слили SDXL 0.9

Интересно потестить, чтобы потом сравнить с 1.0
Ссылки для любознательных (торренты):
Базовая: magnet:?xt=urn:btih:45ec120e40c68176ae5414250726cceaffe22001&dn=sd_xl_base_0.9.safetensors
Рефайнер: magnet:?xt=urn:btih:b2685d9ae2026df0697e5f1193406cba16bad435&dn=sd_xl_refiner_0.9.safetensors
Вся репа (обе): magnet:?xt=urn:btih:56d304b8c2a40a92af7f6ff52cdf8b80ace9220d&dn=SDXL%200.9

В автоматике вроде готова поддержка, но честно не знаю выгружали ли ее или она на другой ветке (сходу не заработало), поэтому проще в ComfyUI использовать. Закидываем приложенный файлик в интерфейс (просто перетащить и отпустить) и генерим. На моей кофемолке с 4гб, с lowvram, 1024x1024 делает несколько минут.

Я там в файлике накосячил
Пока генерил, думал, что это я с промптами туплю и все выглядит хуже чем в clipdrop (в SDXL другой обработчик текста (точнее два), поэтому промптить нужно немного по другому), или может это такая сырая версия? Разгадка, как это обычно бывает, куда проще: я просто наебался с нодами для обработки текста и с нодами для семплеров. Слева на картинке неправильно, справа - правильно.
Это все, до релиза про sdxl больше ни слова.
Приложил новый файлик с правильным пайплайном, а у тех, кто работал с неправильным

До этого вышел DragGAN, который позволял двигать картинки, но у него было два минуса:
- как несложно догадаться, он использует GAN'ы (мы с вами на диффузионных моделях сидим)
- Для всего что мы хотим двигать нужна отдельная модель

И теперь на нашей улице праздник, выпустили DragDiffusion и он:
- работает с нашими моделями
- для того чтобы что-нибудь двинуть нужно быстренько натренировать лору с нужной картинкой (в демке учат 200 шагов)

Ждем пока допилят, докрутят и завернут все в расширение для автоматика.

Страница проекта
Репозиторий с кодом
Бумага в архиве