Немного гармонизации Вам в ленту:
Вышел IC-light v2. Теперь слушается промпта лучше, а главное не меняет лицо и это прям ВАУ.
В каких задачах успел попробовать, и рекомендую:
+ Реставрация фото
+ Создание карточек товара для маркетплейсов
+ Улучшение аватарки какого-то челика
Ручками приходилось допиливать, но это точно намного лучше чем с нуля.
Из не очень хорошего, разраб пока не готов делиться весами, значит доступ только через демку. Подробности тут https://github.com/lllyasviel/IC-Light/discussions/98
На фотках какой то начинающий стример и источник безусловных знаний а эру "до интернета".
#light

Закончим тему гармонизации пока этим.
INR-Harmon
Если забыл как крутить Hue/Saturation в фотошопе нужно адаптировать только цвет и контраст одной картинки относительно другой, без дополнительных генераций. Я крутил через демо. Готовых портативных сборок не нашел, да наверно и не нужно.
P.S. У этого же разраба есть еще свежее алгоритм https://github.com/WindVChen/Diff-Harmonization на диффузии. Но их картинки меня не впечатлили.
Раньше пользовался https://github.com/ZHKKKe/Harmonizer прямо в демо. По качеству сопоставимо.
#light

Псевдо 3d для видео
Оказывается у DepthFlow появились ноды для ComfyUI. Не смог пройти мимо и прикрутил в workflow карту глубины от DepthCrafter. Теперь можно делать псевдо 3д для видео. Выглядит скучновато, если не выкручивать настройки в максимум (последние 2 видео).
P.S. Как обычно, workflow приложу в комментах. Не забудьте обновить ноды в менеджере. Модель должна скачаться при первом запуске.
#3d #tutor

Я часто пишу, как решаю задачу, и очень редко о том, как я прихожу к решению. Марика тут подкинула задачку, о которой вот прям хочется рассказать.

Задача
Есть огромное количество фото купальников на белом фоне.
Требуется сделать фото для соцсетей, где купальники будут на моделях в соответствующем окружении. Просто, правда ведь?

Решение

Переодеваторы
Самое очевидное решение — это использовать сервисы по переодеванию, которых выпустили за последние 2 года чуть больше чем ундециллион.
Что пробовал:
https://github.com/levihsu/OOTDiffusion
https://huggingface.co/spaces/HumanAIGC/OutfitAnyone
https://huggingface.co/spaces/xichenhku/AnyDoor-online
https://huggingface.co/spaces/yisol/IDM-VTON
https://github.com/REDact324/ComfyUI-Cloth-Swap-Workflow/blob/main/workflow.png
https://huggingface.co/spaces/feishen29/IMAGDressing-v1
https://github.com/chflame163/ComfyUI_CatVTON_Wrapper
https://github.com/ShineChen1024/MagicClothing
https://huggingface.co/spaces/texelmoda/try-on-diffusion
https://huggingface.co/spaces/fashn-ai/LookSwap
Даю ссылки сразу на демо. Репо гуглите по названиям.
Не подошел ни один. Не могут сохранить детализацию, посадку, цвета. Фантазируют. Артефакты. Пару фото я приложил. Точно не для профессионального использования.

Натренировать лору на Flux
В теории, разрешение модели Flux может хватить, чтобы сохранить детализацию купальника. И если получится натренировать лору, то, возможно, получится сгенерировать модель в купальнике в любом ракурсе и позе. На Flux до этого лоры никогда не тренировал (но был опыт с SD 1.5 и SDXL). И как поведет себя лора, до конца не понимал.
Тренировал на Onetrainer и FluxGym (портативку можно скачать в боте @AINetSD_bot).
Собирал инфу по чатам и тренировал 4 дня. Может, дело в руках, датасете или настройках, но получилось «похоже» (см. фото), но не «так же». Тем более по времени тренировать лору на каждый купальник — это такое.

Inpaint + IC-Light
Если не получается сохранить детализацию купальника при генерации, тогда пусть он живет своей жизнью, а девушку мы в него «вгенерируем». На случай, если инпэйнт-модель не справится со светом и цветом, поверх сделать проход IC-Light . Чтобы каждый купальник не выделять ручками, прикрутил BrushNet. Причем лучше всего себя показала старая добрая 1.5. Результат на фото, и он уже ближе к искомому. К этому моменту я уже смирился с отсутствием новых ракурсов, но такой каскад нейронок очень плохо слушается промпта. Поэтому, когда появляется токен swimsuit, модель начинает рисовать пляж, тропические растения и т. д. К слову, купальники спортивные.

Inpaint Flux
Попробовал убрать недостатки предыдущего метода, генерируя всё на Flux. Стало намного лучше. Однако, если есть те, кто когда-либо инпэйнтил на неинпэйнт-моделях, знает, что они действую очень грубо. Чтобы получить искомую картинку, нужно для каждой генерации точно настраивать денойз. Если этого не делать, то либо у купальника не отрастут руки, либо какую-нибудь дичь, если задерешь значение денойза (см. фото). К слову, девушку в купальнике мне получить удалось, а вот девушку на фоне — уже нет.

Seg+ CN Inpaint
Докрутил прошлый метод. Использовал инпэйнт-модель Flux через Controlnet, добавил сегментацию через SAM и допилил мелочи. Результатом доволен как слон, но он не идеален, и приходится делать несколько круток.
Если есть предложения, как сделать эту задачу по-другому или как допилить алгоритм — добро пожаловать в комментарии.

P. S. Как обычно, все workflow прикреплю в комментах.
P. S. S. Очень часто вижу посты «нейросеть сгенерировала...», «дизайнеры не нужны...», или заказы типа «сделайте фильм со мной в главной роли на полтора часа. Есть 500 р. Что, вам на кнопку тяжело нажать?» Мой ответ прост. Такой кнопки нет - есть люди, которые пытаются выжить в этом безумии технологий. 😊😊😊
#tutor