Я часто пишу, как решаю задачу, и очень редко о том, как я прихожу к решению. Марика тут подкинула задачку, о которой вот прям хочется рассказать.

Задача
Есть огромное количество фото купальников на белом фоне.
Требуется сделать фото для соцсетей, где купальники будут на моделях в соответствующем окружении. Просто, правда ведь?

Решение

Переодеваторы
Самое очевидное решение — это использовать сервисы по переодеванию, которых выпустили за последние 2 года чуть больше чем ундециллион.
Что пробовал:
https://github.com/levihsu/OOTDiffusion
https://huggingface.co/spaces/HumanAIGC/OutfitAnyone
https://huggingface.co/spaces/xichenhku/AnyDoor-online
https://huggingface.co/spaces/yisol/IDM-VTON
https://github.com/REDact324/ComfyUI-Cloth-Swap-Workflow/blob/main/workflow.png
https://huggingface.co/spaces/feishen29/IMAGDressing-v1
https://github.com/chflame163/ComfyUI_CatVTON_Wrapper
https://github.com/ShineChen1024/MagicClothing
https://huggingface.co/spaces/texelmoda/try-on-diffusion
https://huggingface.co/spaces/fashn-ai/LookSwap
Даю ссылки сразу на демо. Репо гуглите по названиям.
Не подошел ни один. Не могут сохранить детализацию, посадку, цвета. Фантазируют. Артефакты. Пару фото я приложил. Точно не для профессионального использования.

Натренировать лору на Flux
В теории, разрешение модели Flux может хватить, чтобы сохранить детализацию купальника. И если получится натренировать лору, то, возможно, получится сгенерировать модель в купальнике в любом ракурсе и позе. На Flux до этого лоры никогда не тренировал (но был опыт с SD 1.5 и SDXL). И как поведет себя лора, до конца не понимал.
Тренировал на Onetrainer и FluxGym (портативку можно скачать в боте @AINetSD_bot).
Собирал инфу по чатам и тренировал 4 дня. Может, дело в руках, датасете или настройках, но получилось «похоже» (см. фото), но не «так же». Тем более по времени тренировать лору на каждый купальник — это такое.

Inpaint + IC-Light
Если не получается сохранить детализацию купальника при генерации, тогда пусть он живет своей жизнью, а девушку мы в него «вгенерируем». На случай, если инпэйнт-модель не справится со светом и цветом, поверх сделать проход IC-Light . Чтобы каждый купальник не выделять ручками, прикрутил BrushNet. Причем лучше всего себя показала старая добрая 1.5. Результат на фото, и он уже ближе к искомому. К этому моменту я уже смирился с отсутствием новых ракурсов, но такой каскад нейронок очень плохо слушается промпта. Поэтому, когда появляется токен swimsuit, модель начинает рисовать пляж, тропические растения и т. д. К слову, купальники спортивные.

Inpaint Flux
Попробовал убрать недостатки предыдущего метода, генерируя всё на Flux. Стало намного лучше. Однако, если есть те, кто когда-либо инпэйнтил на неинпэйнт-моделях, знает, что они действую очень грубо. Чтобы получить искомую картинку, нужно для каждой генерации точно настраивать денойз. Если этого не делать, то либо у купальника не отрастут руки, либо какую-нибудь дичь, если задерешь значение денойза (см. фото). К слову, девушку в купальнике мне получить удалось, а вот девушку на фоне — уже нет.

Seg+ CN Inpaint
Докрутил прошлый метод. Использовал инпэйнт-модель Flux через Controlnet, добавил сегментацию через SAM и допилил мелочи. Результатом доволен как слон, но он не идеален, и приходится делать несколько круток.
Если есть предложения, как сделать эту задачу по-другому или как допилить алгоритм — добро пожаловать в комментарии.

P. S. Как обычно, все workflow прикреплю в комментах.
P. S. S. Очень часто вижу посты «нейросеть сгенерировала...», «дизайнеры не нужны...», или заказы типа «сделайте фильм со мной в главной роли на полтора часа. Есть 500 р. Что, вам на кнопку тяжело нажать?» Мой ответ прост. Такой кнопки нет - есть люди, которые пытаются выжить в этом безумии технологий. 😊😊😊
#tutor

Ко мне обратился знакомый владелец типографии. Печатаем, говорит, на холсте картины. В газете, говорит, писали, что дизайнеры больше не нужны. Ибо они хотят кушать, спят и затягивают сроки. А с нейросетями нажимаешь на кнопку — и всё, осталось только согласовать с заказчиком. Покажи мне, Андрей, где эту кнопку нажать. Спасибо.

Задача.
Имеем одно фото лица заказчика. На выходе нужно получить портрет заказчика с арт-стилизацией. Предусмотреть возможность настройки стилей. Предусмотреть возможность задавать пропорции портрета.
ВАЖНО. Лицо должно быть узнаваемо.

1. У меня уже был пост о подобных сервисах https://t.me/dAIpotestit/20. Признаюсь, я думал, что за вечер найду в этой куче что-то подходящее и представлю как достойное решение. Но нет. Либо теряется сходимость лица, либо не желает работать со стилями. Часть скриптов уже давненько не обновлялось, поэтому и качество на выходе получаем очень посредственное. Для проф. деятельности не подходит. А жаль.

2. Отдельно выделю Photomaker, который недавно обновился до версии 2. Лицо в нем «слегка» похоже. Стилистику не вывозит. Но выглядит увереннее остальных. Работает на SDXL.
Примеры и workflow в комментариях.

3. IP-Adapter (Face-ID)
Оговорюсь сразу, я не тестировал на моделях SD1.5 и SDXL, потому что большая часть сервисов из списка выше основана как раз на них. Сосредоточился на Flux и Kolors. Чистый IP-Adapter может перенести композицию или стиль. Должного внимания лицу не уделяет. Поэтому и не устроил.
IP-Adapter FaceID умеет работать с лицом, но очень "ленивенько". Что-то вменяемое удалось получить только на Kolors.
Кстати, сама по себе Kolors очень хороша в стилистику.
Примеры и workflow положу в комменты.

4. PullID
Использовал только для Flux. Если долбить впрямую, то результат ужасный. Я не исключаю, что проблема в руках. У кого получилось, отпишите в комменты.
Однако, если его использовать через RF-inversion (огромное спасибо @imba_pericia и @Mggram за терпеливые объяснения), то картина сразу становится ок. Есть проблемы в малой детализации (каша). Есть проблемы с настройкой ведь чтобы управлять генерацией нужно иметь удостоверение пилота космического корабля. Но уже что-то.
Примеры и workflow в комментах.

5. InstantID
Подходим к вкусненькому. Т.к. Flux плох в стилизацию, поэтому рабочий процесс сделал такой: генерация в Stable Cascade - меняем лицо в instantID SDXL. Почему я взял Stable Cascade а не Kolors я пока понять не могу. Либо это действие кофеина, либо нужно чаще проветривать комнату. За основу взял этот workflow. Результаты уверенные, слушается стиля в промпте. Лицо очень похоже, но эстетически меня не устроило. Можно пробовать докрутить промптом, возможно лорами (они вообще есть для Stable Cascade?), но зачем?
Подставил вместо Stable Cascade в начало Flux. В workflow зарядил пару нод для загрузки лор. Стиль будем задавать ими. Сразу все заиграло свежими красками. Результат всех устроил.
Примеры и workflow в комментах.

P.S. Уже перед публикацией, попробовал прогнать в Flux и поверх изменить лицо в Reactor (привет @DmitryK1111). Результаты также в комментариях.
#StyleFace #tutor
P.S.S. Извените за много букв, больше не буду
#tutor

Поменял лицо на видео, а результат не похож?
Одна из причин - это несоответствие овалов лиц донора и жертвы. Записал, как можно быстренько пофиксить в Photoshop или Capcut.
Приятного аппетита!
#faceswap #tips

Раз уж начал про столы. Переделал этот ☝️ рабочий процесс для интеграции мебели в комнату. Попутно прикрутил возможность генерировать комнату по референсу, частично решил проблему с "лишними ножками", еще что-то, но уже забыл. Писать много не буду, лень.
P.S. workflow в комментах.
P.P.S. Устал от макарон😊😊, хочется чего-то полегче.
#tutor

В Facefusion в ветке Next добавили поддержку DFM моделей (это те, которые тренируют в DeepFaceLab). Если, как и я, не знаете, что такое DeepFaceLab, и относите его к виду особого колдовства, поясню: это софт, в котором меняют лица серьезные дядьки в студиях.
Чтобы не тратить половину молодости на обучение и остаток на ожидание, пока модель дотренится, разраб предусмотрел возможность скачивать модели прямо из интерфейса FF. Если поставить галку напротив Huggingface, их количество увеличится.

Если мало, то вот:
https://discord.gg/cJppjTEwED
https://discord.gg/wCKytPHKHr
https://discord.gg/bpmEskGpFz
https://discord.gg/UKbjTY6t9Q
https://mega.nz/folder/37AyTAbR#0jWfi97MKGPIp5i1CEMXIg
https://drive.google.com/drive/folders/1ixWWO7WbtItGcYoibvkU-GN1iF5bKtl3
https://drive.google.com/drive/folders/1CU9-2CHtIkTYdcvRqqG0xjv1-H7BvnHW
https://drive.google.com/file/d/1TC3OURe3MxSnnyRFNp2xpw2o-eWeTA2O/view
https://cloud.mail.ru/public/hLxn/gYjzqFrmh
https://drive.google.com/file/d/1v_P9nXtRpvOx4sOrNikiUzLunhBQijtC/view
https://drive.google.com/file/d/1_IevH4r6GCfo_PQ14kxxI6plgGT0K_e4/view
https://drive.google.com/drive/folders/1ixWWO7WbtItGcYoibvkU-GN1iF5bKtl3
https://drive.google.com/file/d/1ioMWsfchnetc7VTG8aqbzbGcaPyo6Rd8/view
https://drive.google.com/file/d/18RvO3NH26oMIlBWP2PNgXnHveY_IeUUC/view

P. S. Если интересна тема DFL, то сюда @vlad_pedro. Много инфы, которой в русскоязычном интернете нет.

Как использовать Facefusion
Upd1

#faceswap

Улучшаем кожу и мелкую детализацию лица на фото
Недавно, в нашем чатике меня познакомили с Detail Daemon, и это прям ВАУ. Такой детализации лица я никогда не получал. Есть и ноды в вашем любимом ComfyUI и экстеншен для Automatic1111. В Forge у меня поставилось, но эффекта от работы не заметил. Разбираться не стал. Люблю страдать в ComfyUI. Теперь все по порядку.

Установка
1. Качаем fluxunchained-dev-q4-1.gguf в ComfyUI\models\unet
2. Качаем t5xxl_fp8_e4m3fn.safetensors и clip_l.safetensors в ComfyUI\models\text_encoders
3. Качаем ae.safetensors в ComfyUI\models\vae
4. Качаем 4x_NMKD-Siax_200k.pth в ComfyUI\models\upscale_models
5. Скачиваем workflow из комментариев и кидаем в окно ComfyUI
6. Накатываем красные ноды через менеджер.

Методика настройки
1. Делаем тестовый прогон. Смотрим изменение черт лица. Если да, крутим denoise (см. 1) в меньшую сторону
2. Снова крутим. Если шума на фотке слишком много, на лице появляются пятна или родинки, уменьшаем detail_amount (см. 2)
3. Если не устаревает крупность деталей ("че он мне кожу делает, а глаза нет??"), пропорционально уменьшаем параметры start, end (см.3)

P.S. Если кому интересно как эта штука работает, почитать можно здесь. Кто не понял, пишите в комменты, обсудим.
P.S.S. Я описал метод, который удобно использовать мне. Например @li_aeron настраивает так.

Результат апскейла положил в комменты👇.
#upscale