Нейронавт | Нейросети в творчестве
ControlNeXt: Powerful and Efficient Control for Image and Video Generation

Контроль генерации для различных базовых моделей (SD1.5, SDXL, SD3, SVD) и задач (генерация изображений / видео в различных условиях). Насколько я понял, отличается от #Controlnet компактностью и быстрой сходимостью на обучении (уже на нескольких сотнях шагов)

Код

#conditioning

Нейронавт | Нейросети в творчестве
CtrLoRA: An Extensible and Efficient Framework for Controllable Image Generation

Какой-то гибрид лоры и контролнет. Они обучили базовый контролнет на базовые знания всех видов управляющих изображений. И чтобы дообучить на что-то конкретное надо всего 1000 пар картинок. И объем дообученного CtrLoRA в 10 раз меньше чем контролнет

На данный момент сделано под SD 1.5. Требует от 9Гб VRAM для 512*512

Код

#finetuning #conditioning #lora #controlnet

Нейронавт | Нейросети в творчестве
Edify Image: High-Quality Image Generation with Pixel Space Laplacian Diffusion Models

Генерация фотореалистичных изображений с пиксельной точностью от Nvidia. Отсутствует CLIP, пиксельное пространство вместо латентного.

Фичи:
- картинки по тексту
- ControlNet-апсемплинг до 4K (генератор выдает 1K)
- поддерживает Controlnet, сети управления
- HDR панорамы 360°
- дообучение, в том числе на несколько объектов

Впечатляет, но

Кода нет

#text2image #panorama #HDR #conditioning #upscale

Нейронавт | Нейросети в творчестве
In-Context LoRA (IC-LoRA)

Lora - дообучение генераторов картинок для создания наборов изображений в общем контексте. Иначе говоря, консистентность объектов и их взаимоотношений.

Примеров применения море

Уже на tost.ai

Дружит с ComfyUI
Воркфлоу для раскадровок

Код
Flux Simple Try On на Civitai

#personalization #conditioning #text2image

Нейронавт | Нейросети в творчестве
OminiControl

Что-то вроде универсального контролнета-айпиадаптера, как я понял. Легковесная система управления для диффузионных трансформеров типа FLUX.

Поддерживает предметно-ориентированное управление и пространственное управление (например Canny, inpainting).

Пусть эта 50-мегабайтная штука заменит 100Гб флюкс тулзов, ну пожалуйста

Код
Демо

#text2image #conditioning

Нейронавт | Нейросети в творчестве
ControlNets for Stable Diffusion 3.5 Large

Какое совпадение - 2
Вслед за Blackforest Labs, Stability AI выпускают пачку контролнетов к SD 3.5 Large

Blur - апскейлер до 8К и 16К
Canny
Depth

Веса на HF
Гитхаб
Уже в ComfyUI

#conditioning #controlnet #sd35 #text2image #upscale #depth2image

Нейронавт | Нейросети в творчестве
OneDiffusion

Единая модель для разных задач, связанных с генерацией и пониманием изображений

- генерация по тексту
- персонализация
- многоракурсная генерация - сразу несколько ракурсов объекта, заданного текстом или референсным изображением
- генерация по техническим картам (по принципу контролнет) и наоборот - генерация карт по картинке

Обучена на 512px и 1024px

Код ждем через 1-2 недели

#text2image #image2image #conditioning #personalization #multiview