Однодневный проект. Ну, или скорее "одночасовой".

Вчера вышла Stable Diffusion 3, доступна для скачивания на Hugging Face.
В отличие от прошлых версий, она может генерить неплохой пиксель-арт (у прошлых всё было очень плохо с такими запросами).
И, что удивительно - она влезает в мою древнюю GTX 1080 (во всяком случае, версия SD 3 Medium).

Написал по-быстрому бота для телеги, который пинает локальную SD 3, генеря красивые пиксель-артные сцены, и постит их в отдельный канал. На моей железке такая генерация занимает минут 15, соответственно, постит он примерно каждые 15 минут.
Не думаю, что я буду в таком режиме его гонять прямо неделями, но пока пусть поработает, поисследует пространство состояний.

https://t.me/pixel_diffusion

Если кому нужно - запустить SD3 локально не просто, а очень просто:

from diffusers import StableDiffusion3Pipeline
from PIL import Image

pipeline = StableDiffusion3Pipeline.from_pretrained("stabilityai/stable-diffusion-3-medium-diffusers", text_encoder_3=None, tokenizer_3=None,  torch_dtype=torch.float16).to('cuda')

image = pipeline(prompt=prompt, width=1024, height=1024).images[0]

image.save(f_name)

С одной стороны в сложных сценах SD3 иногда допускает ошибки. Пейзажи ей удаются, как правило, лучше.
С другой - оно того иногда стоит. Ну где ещё увидишь, как по старой площади человек выгуливает жопу?)

Эх, я теперь хочу эту картинку анимированную.

Charming old town square during a festival, Pixel art with a monochrome palette and high detail

Кто там интересовался, может ли ИИ анимировать пиксель-арт картинки? Может. С психоделическим результатом.

Анимирующий ИИ Haiper плохо справляется с пиксель-артом. Но зато генерирует очень психоделические видео.

Knock, knock, Neo.

Сетка выучила стиль портретов из старых RPG от Westwood.

Учу нейросетку, периодически валидирую результат на наборе промптов. Вообще-то в промпте был только Киану, но, похоже, тут рядом с ним сидит Шевчук. И Киану ему явно не очень доверяет.

Попробовал анимировать картинку при помощи Luma.
Оказалось, что Киану доверился Шевчуку, после того как тот сыграл ему на губной гармошке!

- Ничего моя сеть не оверфитнулась!

Тем временем моя сеть

По-моему этот инопланетянин слишком мало времени уделяет пилотированию своего корабля и слишком много - своим соц. сетям.
Хватит позировать, у тебя вон корабль уже в землю врос!

Интерполяция между двумя промптами в латентном пространстве

Разница между обучением сетки без нормализации получаемых от среды наблюдений (синий график) и с нормализацией (красный график).

Но если графики недостаточно красноречивы, то это разница между этим

И этим)

Одинаковые модели, одинаковые настройки, отличаются только нормализацией.

Да, я почти дописал новый пайплайн, надеюсь скоро порадовать себя и вас драками нейросетевых болванчиков. Начну все-таки с тех четвероногих вшей, потому что они вычислительно проще. Хотя новый пайплайн вселяет надежду, что и до хуманоидов дойдет.
Вот этот прекрасно бегающий дурачок в прошлом посте обучен на моей локальной машине, а не в облаке, с батчем в четыре раза меньше, чем "облачные" и за 30 минут вместо 5 часов.
Вот что джакс животворящий делает, новый пайплайн оказался эффективнее старого.

Стой, ну куда же ты? А как же эпичная битва?