Кратенький обзор небольшого, но крайне полезного расширения для Автоматика1111. Информация касается моделей на базе SD XL (надеюсь - только пока).
Все мы знаем, что XL делает куда более качественные картинки, в силу технических причин. У моделек на SD 1.5 что бы получить хорошее качество без багов-задвоений использовались разные ухищрения: Хайресфикс, регионал промтинг, латентный апскелинг и т.п. Собственно, за неимением альтернатив, все способы борьбы с несовершенством общего латентного пространства переехали в новую модель. Но, в большинстве случаев, они излишни. Кастомные модели XL рисуют очень качественные картинки вплоть до 2028х2048, но из-за дублирований приходится всё так же использовать Хайрес-скрипт. Но вы знаете, сколько он жрёт???😱😱😱 Даже картинку 1024х1024 сделать х2 "стоит" 10 гб VRAM и х2-х4 по времени!

Итак, к сути! Все помнят товарища Кохю (Kohya) - создателя основного скрипта для тренировок Лор, дримбутов и т.п., а так же кучи различных полезных скриптов и чекпоинтов? Так вот, этот Нихонец поигрался с U-net-ом SD XL и сделал скрипт, который избавляет модель от дублирований и подобных багов латента! Его недавний пост об этом: https://twitter.com/kohya_tech/status/1724273551937786164

Вот тут он выложил оригинал кода: https://gist.github.com/kohya-ss/3f774da220df102548093a7abc8538ed

А тут у нас знаете что? Простенький экстенжин для включения этой фитчи! https://github.com/wcde/sd-webui-kohya-hiresfix

Весь интерфейс на картинке 1. Пояснение по ползункам на второй. Дальше я приложил тесты. Картинки идут попарно: Без/с опцией. Первые 6 сделаны в разрешении 896х2048, последние 2 - 2048х2048. Результат, думаю, понятен.

"А что по ресурсам", спросите вы? Там всё отлично! :) Основной ползунок (Upsampling scale) на стандартной настройке "2" отбирает всего полгигабайта дополнительной VRAM, избавляя от дубликатов и даже слегка повышает качество. Скорость? Как ни странно, она выше! Где-то на 3-7%, но это точно не погрешность, провёл несколько десятков сравнений. Если повысить данную характеристику до "4" визуальное качество станет повыше, но и памяти скушается больше. Самое интересное, если поставить значение на "1" памяти не отъесца ни сколько, но дублирования удалятся! Качество чуть упадёт, но не так критично.

Что получаем по итогу. Отличную замену Хайрес фикса для качественных моделей, без лишних телодвижений за минимальную "стоимость" в ресурсах, а главное - без замедления работы и перебора апскелеров.