Небольшой обзор свежих (относительно) возможностей дистрибутива Автоматик1111. Добавлена поддержка весов unclip на базе SD 2.1. Основное отличие этих весов - они, при генерации изображения, подмешивают шум оригинальной картинки в CLIP. По сути - вставляют эмбендинг картинки в дополнение к промту. Это позволит более чётко соблюсти изначальную картинку, добавив ей вариативности. Естественно, веса работают только через вкладку имг2имг. По ссылке выше двое весов, L - работают с дополнительными скриптами диффузеров, h - базовые. В Автоматике1111 работают оба чекпоинта плюс/минус одинаково. Официальный пример генерации на первой картинке, дальше я покрутил в автоматике несколько вариантов. Идут по очереди: оригинал/низкий денойз/максимальный денойз (единица).

Обновление лучшего чекпоинта для генераций комиксовой рисовки до версии 3.0! Как и всегда в отличных чекпоинтах - повысилось качество, улучшился контроль над промтом. https://civitai.com/models/16164

Если вдруг кто пропустил. Набор весов для работы с Контролнетом для SD 2.0+. Доступны следующие модели: canny, depth, zoe-depth, hed, scribble, openpose, color. По ссылке есть полноценные веса (10 гб каждый), и их обрезанные версии (по 700 мб), прекрасно работающие в дистрибутиве Автоматика1111.
https://huggingface.co/thibaud/controlnet-sd21
Не забывайте, что для работы 2.1 весов нужно зайти в настройки-Контролнет и вручную вписать модель cldm_v21.yaml в поле конфига (искать конфиг не нужно, он уже лежит в нужной папке).