Всем привет! Угадайте, кто вернулся? Правильно, одна гулящая нейросеть! 😼 А значит будем снова с вами глядеть (и использовать!) крутые чекпоинты и Лоры, а так же будем разбираться в различных фишках SD и Автоматика.

А начать предлагаю с относительно недавней SD XL. Более мощная, более красивая, куда лучше понимает ваш промт и легко рисует в разрешении 1024х1024. Так же в ней появился Refainer - модель обученная на более меньшем датасете, но картинки туда были выбраны вручную и они более эстетичные. Т.е. это такой инструмент "допилки" основного изображения, после базового чекпоинта. Что бы у вас запустилась XL ничего особо сложного делать не нужно. Обновите Автоматик до актуальной версии, скачайте базовый чекпоинт XL и Refainer (если он вам нужен, для кастомных чекпоинтов он вообще не обязателен), положите их оба в папку с моделями и пользуйтесь как и ранее обычными чекпоинтами.

Теперь перейдём к проблемам и их решениям (ну вы же не думали что в нейросетях всё совсем просто? 🥸 ). Самое главное - вместе с качеством значительно возросли и сиcтемные требования. Базово, для одной картинки 1024х1024 даже в Автоматике нужно 12 гигабайт видеопамяти и около 8-12 гб оперативной 😱 Но не спешите останавливать скачивание чекпоинтов, сейчас мы с вами немного пошаманим и включим SDXL на 6 гигабайтах видеопамяти (а то и на 4-х).

Первым делом используем специальный ключ для для уменьшения видеоаппетитов SDXL. Пописываем --medvram-sdxl (картинка 3 выше) в батник запуска и вуаля - мы уже можем генерить картинки на 8 гигабайтах VRAM! Производительность, при этом, падает незначительно, однако вырастают требования к оперативной памяти - желательно иметь 16+ гигабайт (а лучше 32) и увеличить файл подкачки windows до 40 гигабайт.

Едем дальше. SDXL безобразно работает в размерности fp16, заставить её можно, но сложно. Однако, энтузиасты придумали простой и надёжный способ - пофикшенный VAE-автоэнкодер. Качаем его отсюда и принудительно подкидываем к любой SDXL модели (как на картинке 4, к примеру). Таким образом мы получим довольно значительный прирост в скорости (до 3х как пишут, у меня вышло почти в 2 раза), плюс экономия видеопамяти.

Уже после этих шагов у вас должна появиться возможность генерировать на новых моделях с 6 гигабайтами VRAM. Но мы не остановимся, пока не выжмем из Автоматика всё! ⚡️

Если вы ещё не юзаете unCodn, то самое время начать! Вот в этом посте глядите пункт 1 (не про 4090 😢), включайте анКонд (от давно уже в основной ветке есть), получайте экономию в несколько сотен мегабайт видеопамяти и 20%+ прирост скорости. Проведённые тесты показали, что в SDXL можно свободно выставлять значение 5, абсолютно без потери качества (группа независимых 😎экспертов😎 даже заметила поднятие детализации с этой фитчей).

Тут у вас уже точно всё запустится на 6Gb VRAM. Ниже пара советов для тех, кто хочет попробовать XL на 4 гигабайтах. ⚡️⚡️⚡️
Во-первых, меняем ключ запуска с медврам на старый добрый --lowvram. Он всё так же отлично работает, но очень сильно снижает скорость генераций.
Во-вторых, Автоматик накатил ещё оптимизаций. Заходим в Настройки - VAE и выбираем в энкодере и декодере TAESD (картинка 5). Это мини-VAE автоэнкодер, который ещё сэкономит памяти и даст неплохой буст к скорости, но довольно заметно "размылит" картинку. Сама "сцена" сохраняется, так что порекомендую его использовать только во время прогона тестовых вариантов (а после переключать на полный и генерить конечный результат), либо если у вас прям напряг с видеокартой (4 гигабата или меньше).

Во так легко и быстро можно обуздать неуёмных разработчиков которым сколько не дай ресурсов - всё мало будет!

Обсудить / пообщаться
Наш чат @text2image