ControlNeXt: Powerful and Efficient Control for Image and Video Generation

Контроль генерации для различных базовых моделей (SD1.5, SDXL, SD3, SVD) и задач (генерация изображений / видео в различных условиях). Насколько я понял, отличается от #Controlnet компактностью и быстрой сходимостью на обучении (уже на нескольких сотнях шагов)

Код

#conditioning

CtrLoRA: An Extensible and Efficient Framework for Controllable Image Generation

Какой-то гибрид лоры и контролнет. Они обучили базовый контролнет на базовые знания всех видов управляющих изображений. И чтобы дообучить на что-то конкретное надо всего 1000 пар картинок. И объем дообученного CtrLoRA в 10 раз меньше чем контролнет

На данный момент сделано под SD 1.5. Требует от 9Гб VRAM для 512*512

Код

#finetuning #conditioning #lora #controlnet

Edify Image: High-Quality Image Generation with Pixel Space Laplacian Diffusion Models

Генерация фотореалистичных изображений с пиксельной точностью от Nvidia. Отсутствует CLIP, пиксельное пространство вместо латентного.

Фичи:
- картинки по тексту
- ControlNet-апсемплинг до 4K (генератор выдает 1K)
- поддерживает Controlnet, сети управления
- HDR панорамы 360°
- дообучение, в том числе на несколько объектов

Впечатляет, но

Кода нет

#text2image #panorama #HDR #conditioning #upscale

FLUX.1 Tools

BlackForest Labs выпустили пачку контролнетов для FLUX.1 под названием FLUX.1 Tools

Вернее, это полноценные модели по 24Гб со встроенным функционалом контролнета. Depth и Canny есть также в виде лоры

FLUX.1 Fill: современные модели #inpainting и #outpainting, позволяющие редактировать и расширять реальные и сгенерированные изображения с текстовым описанием и бинарной маской.

FLUX.1 Depth: Модели, обученные для обеспечения структурного руководства на основе карты глубины, извлеченной из входного изображения и текстовой подсказки.

FLUX.1 Canny: модели, обученные для обеспечения структурного руководства на основе тонких контуров, извлеченных из входного изображения и текстовой подсказки.

FLUX.1 Redux: адаптер, позволяющий смешивать и воссоздавать входные изображения и текстовые подсказки.

Доступно по API для [pro] и в опенсорсе для [dev]
А также на сайтах партнеров

fal.ai
Replicate
Together.ai
Freepik
krea.ai

Гитхаб
Веса на HF

ComfyUI

#controlnet #conditioning #image2image #text2image #news #flux

In-Context LoRA (IC-LoRA)

Lora - дообучение генераторов картинок для создания наборов изображений в общем контексте. Иначе говоря, консистентность объектов и их взаимоотношений.

Примеров применения море

Уже на tost.ai

Дружит с ComfyUI
Воркфлоу для раскадровок

Код
Flux Simple Try On на Civitai

#personalization #conditioning #text2image

OminiControl

Что-то вроде универсального контролнета-айпиадаптера, как я понял. Легковесная система управления для диффузионных трансформеров типа FLUX.

Поддерживает предметно-ориентированное управление и пространственное управление (например Canny, inpainting).

Пусть эта 50-мегабайтная штука заменит 100Гб флюкс тулзов, ну пожалуйста

Код
Демо

#text2image #conditioning

ControlNets for Stable Diffusion 3.5 Large

Какое совпадение - 2
Вслед за Blackforest Labs, Stability AI выпускают пачку контролнетов к SD 3.5 Large

Blur - апскейлер до 8К и 16К
Canny
Depth

Веса на HF
Гитхаб
Уже в ComfyUI

#conditioning #controlnet #sd35 #text2image #upscale #depth2image

OneDiffusion

Единая модель для разных задач, связанных с генерацией и пониманием изображений

- генерация по тексту
- персонализация
- многоракурсная генерация - сразу несколько ракурсов объекта, заданного текстом или референсным изображением
- генерация по техническим картам (по принципу контролнет) и наоборот - генерация карт по картинке

Обучена на 512px и 1024px

Код ждем через 1-2 недели

#text2image #image2image #conditioning #personalization #multiview