Список VAE

Ссылки
Стандартные (официальные):
kl-f8: https://github.com/CompVis/latent-diffusion#pretrained-autoencoding-models
vae-ft-ema-560000-ema-pruned: https://huggingface.co/stabilityai/sd-vae-ft-ema-original
vae-ft-mse-840000-ema-pruned: https://huggingface.co/stabilityai/sd-vae-ft-mse-original

Для настоящих man of culture (мы в интернете, не доверяете - не качаете):
nai: https://huggingface.co/WarriorMama777/OrangeMixs/tree/main/VAEs
kl-f8-anime и kl-f8-anime2: https://huggingface.co/hakurei/waifu-diffusion-v1-4/tree/main/vae
Сlear: https://civitai.com/models/22354/clearvae
Blessed:https://huggingface.co/NoCrypt/blessed_vae/tree/main
Trinart: https://huggingface.co/naclbit/trinart_derrida_characters_v2_stable_diffusion/tree/main
Perfect Colors (последняя в списке main VAEs): https://rentry.org/sdvae#where-do-i-get-vaes-and-which-one-to-use

Описание
kl-f8 - жаль, конечно, этого добряка...
560 - как 840, но чуть-чуть более резкая
840 - классика. Как штаны, в которых и в ларек за темным козлом можно сбегать и с CEO фин-тех компании договор подписать

nai - лучше не брать, сниженная насыщенность + проблемы с NAN и ошибка или черная картинка по итогу (раньше решалось прописыванием --no-half-vae, сейчас автоматик автоматически применяет эту штуку, если выпала ошибка). Указал ссылку на AOM'овскую, но по сути тот же файл, что и nai'евская. Если нужна будет вот прям она самая, то сами торрент найдете
kl-f8-anime - сомнительно, но окей. Если вам нужна прям рафинированная-конфетная картинка, то можно брать
kl-f8-anime2 - нормальная, что даже сказать про нее нечего
clear - хорошая резкость, но слишком портит лицо/глаза
blessed - берем или blessed-fix, или blessed2, по сути blessed-fix - это nai c поправленной насыщенности и проблемой с NAN, blessed2 очень похожая
Trinart - что-то между kl-f8-anime и kl-f8-anime2
Perfect Colors - нашел на rentry, а туда закинули с hgd. Одна из любимых. Чуть насыщеннее чем стандартные 560 и 840, но далеко не так как kl-f8-anime

Я человек простой - для реализма использую 840/560. Для аниме или артов - perfect colors/kl-f8-anime2.

Дубликаты
Хотите проверить дубликат это или нет
cmd: certUtil -hashfile ФАЙЛ_НАШЕЙ_ВАИ md5
powershell: certutil.exe -hashfile ФАЙЛ_НАШЕЙ_ВАИ md5
Соответственно, получили посчитали хэш одной, посчитали хэш второй и сравнили полученные значения

На днях переустанавливал автоматик и решил заодно рассказать про свой "джентельменский" набор расширений. Ничего сверх, только то, чем регулярно пользуюсь.

Все расширения можно загрузить из списка во вкладке Extensions, по названию. Если что-то не получается найти в списке - у всех расширений указал ссылки.


◾️Первым сразу залетает ControlNet
sd-webui-controlnet
sd-webui-openpose-editor
DWPose (не актуально, идет в комплекте)

Собственно само расширение + нормальный редактор для openpose (открывается по кнопке edit в окошке препроцессора, картинка в описании). Также, чтобы меньше нужно было пользоваться редактором закидывал DWPose - это еще один препроцессор для определения позы, рук и лица - теперь он идет с контролнетом из коробки (картинка со сравнением в комментариях).


◾️Удобство, ускорение работы
Booru tag autocompletion
Wildcards
!After Detailer
Canvas Zoom
LoRA Block Weight
Agent Scheduler

Зачем печатать, если можно не печатать? Autocompletion добавляет автокомплит (неожиданно), а вайлдкарды позволяют чуть меньше напрягать фантазию на выдумывание каких-либо деталей.
Для тех, кто не знаком с автокомплитом, это примерно как предлагаемые слова над клавиатурой, когда сообщение в телефоне набираете. Есть как и заготовленные списки тегов, так можно и свой сделать.
Вайлдкарды - это большой список слов из которого случайным образом выбирается одно и подставляется в нужное место. Например, я не хочу выдумывать наряды персонажу. У меня есть файл в котором прописано что-то типа:

casual outfit
casually dressed
official outfit
cosplay costume
и тд

и потом в промпте я просто пишу название файла, как-то так 1girl, blonde, smile, __outfit__, full body Автоматически выберется что-то из списка и подставиться вместо __outfit__. И так можно сделать для чего угодно - прически, цвета, локации, действия, позы, эмоции. Есть готовые списки, но имейте в виду, что все модели разные и например список анимешных вайлдкардов может быть бесполезен с реалистичной моделью, потому что она таких слов не знает.

Чтобы не надо было работать с инпенитом ставлю !After Detailer - он ищет на изображении человека/лицо/руки/глаза/и тд и автоматически инпеинтит эту область.
Когда автоматика не справляется, чтобы удобно было работать с инпеинтом ставлю Canvas Zoom.

Если нужно заставить лору делать то, что нам нужно, а она сопротивляется - ломаем ей ноги пытаемся играться с блоками с помощью LoRA Block Weight

Agent Scheduler - отличная штука, можно заранее выставить промпты, размеры, параметры - закинуть это все в очередь и запустить, а оно спокойно друг за другом сгенерируется. Красота.


◾️Hiresfix/Апскейл
TiledDiffusion with Tiled VAE
Ultimate SD Upscale

Нужна картинка побольше - hiresfix. Для hiresfix недостаточно памяти? Ставим TiledDiffusion with Tiled VAE и используем tiled vae.
Нужна прям большая картинка - Ultimate SD Upscale или стандартный скрипт, который SD-upscale. (у TiledDiffusion в комплекте еще есть свой скрипт для апскейла, но им не пользуюсь)

◾️Работа с моделями
Model Converter
Merge Block Weighted
SuperMerger
Model toolkit

Все что больше 2гб сразу обрабатывается в Model Converter, потому что если хранить несколько крупных моделей не проблема (но в этом тоже нет смысла, только место забивает), то когда начинаешь мержить вместо 20 моделей по 2гб = 40гб, получаешь 20гб моделей по 4гб = 80гб на ровном месте. Мы такое не любим.
Для базовых мержей стандартного Checkpoint merger вполне достаточно. Докидываю сверху Merge Block Weighted и сижу довольный.
Как альтернатива - SuperMerger + там еще можно лоры мержить/выжимать лору из модели/вмерживать лору в модель, я это отдельными скриптами делаю поэтому не использую, а так штука хорошая.
Если нужно просто глянуть модель - Model toolkit

◾️Теггирование
Clip Interrogator (аккуратно, у меня что-то тупил последний раз, пока удалил)
BLIP 2 (его нет в списке в автоматике, ставим ручками)
WD 1.4 Tagger

Зависит от модели, на которой тренирую, реалистичное - clip/blip, аниме - wd. Если не лень, за тегером чистим и дополняем ручками. Также, по умолчанию, во вкладке train есть blip и deepbooru - можете использовать их.


◾️Все чем не пользуюсь - отключаю, потому что когда из-за какого-то расширения ломается автоматик, который и сам постоянно тупит, нагрев от моей пятой точки ускоряет глобальное потепление.

Ну и раз уж, закончили на теггировании.

- Нам нужен автотеггер, чтобы размечать картинки
- У нас дома есть теггер

Теггер дома:

Пока в мире ничего не происходит, подумываю сделать гайд по трейну, пишите, что натренировать в каждой категории. Нам надо:
- объект/субъект (какой-либо предмет или персонаж/человек)
- стиль (стиль художника или стилистика)
- концепт (поза, ракурс или кадр должен строиться по другому, как например on/off лора)

Предлагайте что угодно, сделаю самые залайканые

С трейном в итоге так:
- персонаж: Mercy, из overwatch и Кодзима (чтобы показать и тренировку персонажа, и тренировку на лицо)
- стиль: выбирал между Жан Жиро (Мебиус) и Anato Finnstark, остановился на последнем
- концепт: сделать что-то горящим - прикольная идея, посмотрим получиться или нет

Были разные предложения и интересно узнать кто-нибудь тренирует стиль на своих работах, чтобы потом проще было делать концепт арты, учит нейронку на графике своей мобилки и теперь генерит фоны и предметы или просто развлекаетесь тренируя на свое лицо, чтобы превратиться в фею винкс? Короче, как потом используете?

Инпеинт само по себе дело непростое, а без инпеинт-модели - просто боль. Поэтому держите рецептик для создания кастомной inpaint-модели. Тема не новая, но оказывается многие не в курсе.
На низком denoising strength можно и обычной моделью делать или использовать controlnet, который inpaint_only, но иногда проще сделать себе модельку чем танцевать с бубном. Так что переходим во вкладку checkpoint merger и делаем по инструкции на фотке. Если нужен pix2pix, то ставим дефолтный pix2pix вместо дефолтной inpaint-модели (Primary model (A))

Модели
SD 1.5: https://huggingface.co/runwayml/stable-diffusion-v1-5/tree/main
Inpainting: https://huggingface.co/runwayml/stable-diffusion-inpainting/tree/main
Instruct pix2pix: https://huggingface.co/timbrooks/instruct-pix2pix/tree/main

P.S: видео по animatediff в работе, будет на следующей неделе, а затем и трейн разберу