ControlNeXt: Powerful and Efficient Control for Image and Video Generation

Контроль генерации для различных базовых моделей (SD1.5, SDXL, SD3, SVD) и задач (генерация изображений / видео в различных условиях). Насколько я понял, отличается от #Controlnet компактностью и быстрой сходимостью на обучении (уже на нескольких сотнях шагов)

Код

#conditioning

FLUX.1-dev-Controlnet-Union-alpha

А вот и универсальный контролнет для Flux, альфа версия (недоношенная) на 7.3 Гб.

#flux #controlnet

flux controlnet collections

Ну и обновки от XLabs

Canny ControlNet, Depth ControlNet, HED ControlNet

ComfyUI

#flux #controlnet

Новые версии #Controlnet от XLabs

1024*1024

flux-controlnet-hed-v3
flux-controlnet-depth-v3
flux-controlnet-canny-v3

#flux

FLUX.1-dev-Controlnet-Inpainting-Alpha

Контролнет для инпейнтинга #Flux
Альфа версия, еще в процессе тренировки
Рекомендуемое значение controlnet_conditioning_scale составляет 0,9 - 0,95

P.S. кто такие alimama?

#controlnet #inpainting

Держите три новые #Controlnet модели для #Flux, в том числе апскейлер

Flux.1-dev: Upscaler ControlNet
Flux.1-dev: Depth ControlNet
Flux.1-dev: Surface Normals ControlNet

#upscale #depth2image #normals2image

CtrLoRA: An Extensible and Efficient Framework for Controllable Image Generation

Какой-то гибрид лоры и контролнет. Они обучили базовый контролнет на базовые знания всех видов управляющих изображений. И чтобы дообучить на что-то конкретное надо всего 1000 пар картинок. И объем дообученного CtrLoRA в 10 раз меньше чем контролнет

На данный момент сделано под SD 1.5. Требует от 9Гб VRAM для 512*512

Код

#finetuning #conditioning #lora #controlnet