⚡️Как ускорить диффузию ч1 - Model Distillation

Начинаю серию постов про основные методы для ускорения диффузионных моделей, т.к это один из моих главных научных интересов. В первой части поговорим про дистилляцию. Говорить будем в разрезе text2img, но многие из этих техник могут применяться и для видео.

Мы знаем, что диффузии из коробки требуется много прогонов по сети (шагов), чтобы сгенерить картинку во время инференса. Поэтому появился целый пласт работ, которые выдают вообще адовые ускорения. Ну такой вот примерно рецепт усредненный для дистиляции text2image моделей, потому что вариаций масса: берешь огромную модель учителя, которая генерит медленно, но качественно, и учишь студента предсказывать за 1-4 шага выходы учителя, полученные за много шагов. Магическим образом это работает. Но есть много нюансов, понять которые можно из следующих работ:

Model Distillation:
➖Guidance and Progressive Distillation - классика жанра, где впервые провели дистилляцию до 4 шагов.
➖ Consistency Models - Более хитрая дистилляция, где на каждом шагу пытаемся предсказать конечный результат.
➖ Improved Techniques for Training Consistency Models - то же самое, но с улучшенным расписанием шагов
➖SnapFusion - пруним архитектуру Unet и дистиллируем в меньшее число шагов с помощью Progressive Distillation.
➖ InstaFlow - формулируем диффузии как линейный Flow Matching и дистиллируем в несколько раундов, пока не достигнем генерации за один шаг.
➖ UfoGen - это Diffusion + GAN, где дискриминатор инициализируется UNet-ом диффузии.
➖ Adversarial Diffusion Distillation (SDXL-Turbo) это дистилляция Diffusion + GAN, но дискриминатор тут основан на фичах DINOv2.
➖Latent Adversarial Diffusion Distillation (SD3 Turbo) — тоже самое только в latent фичах.
➖Imagine Flash — моя статья о дистилляции в 3 шага.

>> Читать часть 2

#ликбез
@ai_newz

Hardware EM @ Apple ⮕ Head of Hardware @ Midjourney

Давно не обсуждали Midjourney. В твиттере пробежал слух, что мол Midjourney переманила к себе одного из сеньерных чуваков, который возглавлял хардварную команду в Apple, работавшей над Vision Pro.

Я его нашел на линкедине (имя писать не стану), и чел не только работал над Vision Pro, так он еще и у Маска в Neuralink был Member Of Technical Staff по хардвару. То есть парень очень опытный. И вот теперь он стал Head of Hardware в Midjourney.

Интересно, какого рода девайс затевают в Midjourney? Это может быть как что-то вроде VR очков с полностью генерируемым контентом, так и какой-то wearable device, который стримит вам диффузионный контент прямо в мозг 🤯 (шутка).

@ai_newz