DeepFloydIF
• Попробовать

Новый полезный (ну, я надеюсь) пост. Поговорим о ускорении генераций в SD. Пост большой, но манипуляции простые. По итогу, у меня получилось +50-60% скорости в обычных задачах с ~8.6 ит\сек при батчсайзе 8 до ~14-16 ит\сек на GTX 3060.
Итак, как повысить скорость генераций?
1) Купить 4090... 😢
1) (настоящий пункт 1) Ну а если у вас, как и у меня, нет денюжек на своих хотелки, то накатим оптимизаций.
И первая из них - Negative Guidance minimum sigma. Принцип работы этой функции описан тут. Если кратко - на высоких шагах генераций опция снижает CFG до 1, тем самым ускоряя работу генератора в разы, не теряя в итоговом качестве картинки. Итак, как её включить?
Начнём с того, что уважаемый Автоматик чуть-чуть изменил подход к своей разработке. Для того, что бы обкатывать новые изменения он завёл dev-ветку а так же Релиз-ветку - это то, что будет в новой версии Автоматика после тестов. На данный момент ветки одинаковы, и судя по тестам - всё работает хорошо. Лог релиза есть тут. Помимо всего прочего там есть строчка:

option to remove negative conditioning at low sigma values

И это - то, что нам нужно. Соответственно, если вы хотите использовать данную оптимизацию, нужно обновиться до любой из веток, либо дождаться когда это выкатят в релиз (думаю - пара дней).
2) Token Merging for Stable Diffusion. Принцип работы этой оптимизации описан тут. Если кратко - то оптимизация смешивает некоторые избыточные токены в один, увеличивая скорость их перебора.
Использовать эту опцию ещё проще. Есть расширение. Ставим его, перезапускаем SD, в настройках появляется новая оптимизация (картинка 2).
Итак, всё поставили, давайте к тестам.
Во-первых, накатив dev/релиз ветку мы получим то, что многие давно ждали - PyTorch 2 и искформерсы чуть поновее. Только от этой фишки прирост в скорости будет 5-20%, судя по многочисленным отзывам. Я не стал тестить разницу 1/2 пайторч, тестов в интернете уже полно. Советую при установки ветки/обновления удалить папку venv - и всё пройдёт безболезненно.
Для начала unCond sigma. Найти эту оптимизацию можно в Настройках - Параметры семплеров (картинка 3). Если вы просмотрели информацию по ссылкам выше - то выставляем его на значение "3", как рекомендует автор.
Для вас я потестил и значения "1" и "2" дополнительно - конкретной разницы в качестве я не увидел. Так что тоже порекомендую поставить 3 и не парится. Результаты сравнений есть на картинке 4. Тест проводил на 512х512, 40 шагов, Эулер а, 10 батчсайз. Сравнил скорости с xFormers/SDP (замена xFormers в Пайторч 2, у некоторых даёт значительный прирост в скорости. У меня - на уровне погрешности, но памяти ест чуть меньше), а так же новую оптимизацию. На 5 картинке коты сгенерированные с этими вариантами - попробуйте найти отличия в худшую сторону (у меня не вышло).
И что, спросите вы, это всё? Жалкие 9% ускорения? Нет, товарищи, фишка обоих этих ускорений в экспоненциальном росте скорости тем выше, чем выше разрешение и нагрузка. При очень высоких расширениях (и хайресе), прирост будет в 200-300%, смотрим ниже.
На картинке 6 я протестил СДП оптимизацию, unCond и ToMe последовательно.
Небольшое отступление. ToMe, в отличие от unCond, уже начинает заметно менять картинку (кот на картинке 7 - с тем же сидом и настройками, что и раньше). Но, опять же, я бы не сказал, что в худшую сторону. Рекомендуемое автором значение - 0.5. Человек давно пользующейся этой опцией порекомендовал ставить 0.4 - меньше замыленности картинки, и серьёзное ускорение генераций.
Снова к тестам. Сначала я добавил ToMe к прошлой оптимизации на SDP. Получил ещё +8%. Далее затестил на высоких разрешениях - 1536х1536. Только с unCond скорость сразу выросла на 21%. С обоими опциями - 126% прироста! 2048х2048 - картинка не вывелась, падала на последнем этапе, но скорости видны. Итого +242% прироста!
После провёл ещё немного тестов. В моих обычных задачах (512х768, 768х768+, Хайрес) скорости, поднимались на 40-60% без итогового ухудшения картинки. Ещё раз - да, картинка менялась. Но пролистывая пару сотен генераций я не смог сказать где тут ToMe, где unCond, а где без всего.

Всё, товарищи, как я и говорил - вчерашние новшества обновили и в основной ветке Автоматика1111. Можете смело обновляться и пользоваться unCond + ToMe (через расширение), и радоваться скоростям генераций!😼