Пу-пу-пу, так
➖ лучший редактор openpose, которым пользовался
➖ прикольный тестер для проверки фоток (сгенерированная или нет?)
➖ небольшая статья про модели, про технические детали/неисправности. Тем, кто работает с моделями или хочет узнать чуть больше можно почитать
➖ хорошая статья про блок-мерж моделей
➖ интересная портянка про тренировку моделей на сгенерированных картинках. Вывод: лучше всего, сгенерированные картинки разбавлять реальными (новыми), тогда все будет ок. Тут конечно речь про большие, полноценные тренировки с кучей картинок, но и для собственных тестов тоже интересный момент.
➖ завтра релиз sdxl, интересующиеся могут ознакомиться с этим и этим. До этого про неё уже писал, так что коротко:
- состоит из двух моделей: базовая делает основную часть, а рефайнер доделывает, поэтому использовать только вместе (что в общем-то стало понятно после игр с 0.9)
- предназначена для размеров 768-1024
- основные проблемы остаются: руки и остальные мелкие/сложные детали
- модель большая (2.6ярда параметров против 0.86ярда у моделей 1.x и 2.x) - требует видеокарточку помощнее (и для генерации и для тренировки)
- попутно в статье немного похуисосили MJ и Dalle за то что не делятся наработками и не имеют права говорить что они самые-самые, потому что модели закрытые и нормально потестировать их нельзя, а SDXL все равно уделывает их по красоте картинок (по тестам авторов, естественно)
- ждем версию 1.5 автоматика, с поддержкой sdxl и остальными плюшками

А в целом работал, поэтому отделаюсь только этим постом. Один из проектов nsfw направления, поэтому пришлось вникнуть в генерацию сисек-писек, так что теперь я обладатель разряда по генерации похабных и фотореалистичных картинок.

Сажусь за гайд по дефоруму

Уведомления в Automatic1111

Когда генерируешь и делаешь что-то параллельно, было бы удобно чтобы автоматик как-то оповещал, когда генерация завершена, чтобы не нужно было поглядывать на вкладку в браузере или сворачивать/разворачивать остальные программы.

Тут, как в известном анекдоте, у нас есть два путя:
1. Использовать звук для уведомлений
Закидываем в папку автоматика файл со звуком оповещения и обязательно обзываем его notification.mp3. Штука прикольная и если вам подходит - используйте, но скорее всего надоест через 10-20 генераций.
2. Включить оповещения в браузере
Переходим в Settings -> Actions и нажимаем на кнопку Request browser notifications и одобряем во всплывающем окне от браузера. картиночка

Мелочь, а удобно

Вариации изображения в Stable diffusion

У Midjourney есть отличная фишка с генерацией вариантов изображения. Он cгенерировал четыре картинки и одна из них мне понравилась. Я нажимаю кнопку V1-V4 и он нагенерит мне еще четыре картинки похожие на изначальную.

Такую же штуку мы можем сделать и у нас, в stable diffusion. Вот мы получили хорошую картинку, но хотелось бы посмотреть ее же, но немного другую. Нажатием на кнопку ♻️ фиксируем seed и ставим галочку в поле Extra рядом. У нас появляются дополнительные поля из которых нас интересует только Variation strength. Это то, насколько наша картинка будет отличаться от оригинала: 0 - получим исходную картинку, 1 - получим абсолютно новую. Ставим что-нибудь в диапазоне от 0.2 до 0.45, в зависимости от картинки и наслаждаемся.

Можно, конечно, делать и через controlnet reference, и через img2img, еще и такая крутая штука с self-attention есть, но как обычно есть несколько но:
1. Controlnet reference и fabric, тоже выполняют некоторую работу, что замедляет генерацию + слабый контроль над количеством изменений
2. img2img хорошая альтернатива и делает по сути тоже самое, но требует слишком много телодвижений. С extra тут два тыка и готово, а так надо send to img2img, проверить параметры, продублировать controlnet, если он был и играться с denoising strength вместо variation strength.

Пока занят работой и видео про дефорум (будет в субботу) отделываюсь небольшими постами, а так подумываю сделать большой материал про стабилку, в котором рассказал бы про нее все от и до. Держите мем на сдачу

Каждый раз, когда выходит обновление

По работе чутка разгрузился ближайшее время все будет

С дефорумом, конечно, затянул, но обещал сделать - сделал (там чисто про дефорум, обработку видео не разбирал)

Не отходя от кассы, сразу сажусь записывать следующие

Сделал бусти

Там будут подробные разборы, типа как по clip и vae (который выйдет) и гайды по решению конкретных задач. Трейн, создание миксов, автоматизация, nsfw, ваши запросы - все будет там.

Просили про то, как сгенерировать персонажа и потом его натренировать - уже тута

А видео про наше любимое слово из трех букв в работе. Будет на ютубе на следующей неделе.

Новое видео про VAE: https://www.youtube.com/watch?v=Afw-Edl61w0

Список VAE

Ссылки
Стандартные (официальные):
kl-f8: https://github.com/CompVis/latent-diffusion#pretrained-autoencoding-models
vae-ft-ema-560000-ema-pruned: https://huggingface.co/stabilityai/sd-vae-ft-ema-original
vae-ft-mse-840000-ema-pruned: https://huggingface.co/stabilityai/sd-vae-ft-mse-original

Для настоящих man of culture (мы в интернете, не доверяете - не качаете):
nai: https://huggingface.co/WarriorMama777/OrangeMixs/tree/main/VAEs
kl-f8-anime и kl-f8-anime2: https://huggingface.co/hakurei/waifu-diffusion-v1-4/tree/main/vae
Сlear: https://civitai.com/models/22354/clearvae
Blessed:https://huggingface.co/NoCrypt/blessed_vae/tree/main
Trinart: https://huggingface.co/naclbit/trinart_derrida_characters_v2_stable_diffusion/tree/main
Perfect Colors (последняя в списке main VAEs): https://rentry.org/sdvae#where-do-i-get-vaes-and-which-one-to-use

Описание
kl-f8 - жаль, конечно, этого добряка...
560 - как 840, но чуть-чуть более резкая
840 - классика. Как штаны, в которых и в ларек за темным козлом можно сбегать и с CEO фин-тех компании договор подписать

nai - лучше не брать, сниженная насыщенность + проблемы с NAN и ошибка или черная картинка по итогу (раньше решалось прописыванием --no-half-vae, сейчас автоматик автоматически применяет эту штуку, если выпала ошибка). Указал ссылку на AOM'овскую, но по сути тот же файл, что и nai'евская. Если нужна будет вот прям она самая, то сами торрент найдете
kl-f8-anime - сомнительно, но окей. Если вам нужна прям рафинированная-конфетная картинка, то можно брать
kl-f8-anime2 - нормальная, что даже сказать про нее нечего
clear - хорошая резкость, но слишком портит лицо/глаза
blessed - берем или blessed-fix, или blessed2, по сути blessed-fix - это nai c поправленной насыщенности и проблемой с NAN, blessed2 очень похожая
Trinart - что-то между kl-f8-anime и kl-f8-anime2
Perfect Colors - нашел на rentry, а туда закинули с hgd. Одна из любимых. Чуть насыщеннее чем стандартные 560 и 840, но далеко не так как kl-f8-anime

Я человек простой - для реализма использую 840/560. Для аниме или артов - perfect colors/kl-f8-anime2.

Дубликаты
Хотите проверить дубликат это или нет
cmd: certUtil -hashfile ФАЙЛ_НАШЕЙ_ВАИ md5
powershell: certutil.exe -hashfile ФАЙЛ_НАШЕЙ_ВАИ md5
Соответственно, получили посчитали хэш одной, посчитали хэш второй и сравнили полученные значения