🔥Adversarial Diffusion Distillation или SDXL-Turbo

Мои кореша из Stability AI зарелизили новый метод дистилляции для SDXL.

Показывают, что из дистиллированной SD-XL (ADD-XL) теперь можно семплить за 4 шага без существенной потери в качестве.

Судя по метрикам - это новая сота. Может работать и за один шаг семплера, но тогда генерирует меньше деталей и картинка выходит чуть более замыленная.

❓Как это работает?
Это гибрид GAN-а и диффузии.
Тренировка основана на классическом методе дистилляции, но с дискриминатором! Когда число шагов снижается до одного, дискриминатор сильно добрасывает, ведь он не позволяет генерить полную кашу (это было уже показано в нескольких статьях в этом году).

1. Студент и учитель инициализируется весами SD-XL. Далее между предиктами студента и учителя накладывается L2 лосс. Любопытно, что учитель делает только 1 шаг, но начинает с зашумленного предикта студента, а не из случайного шума.

2. В качестве дискриминатора берутся фичи из ViT-S, натренированного в self-supervised режиме с помощью DINOv2. Затем эти фичи подают в тренируемую голову, которая выдает "Real" или "Fake". Тут важно именно брать сильный претренированный энкодер фичей, типа DINOv2.

Картиночки выглядят хорошо, но ниже 4х шагов - уже не то пальто.

Тренировочный код не выложили, и, кажется, его ждать не стоит.

Статья
Код и веса
Демо на ClipDrop (1 шаг)

@ai_newz

Вы уже заметили, что есть две конкурентные статьи со схожей идеей: Наша Cache Me if You Can и работа DeepCache, которая появилась на архиве пару дней назад.

Основная разница в том, что в DeepCache алгоритм кеширования примитивный, мы же предлагаем более общий и адаптивный подход:

1️⃣ В DeepCache авторы вручную выбирают, какие блоки кешируются, и алгоритм пересчета кеша для всех блоков фиксированный. У нас же все адаптивно - автоматически подбираем какие блоки кешировать и как часто пересчитывать кеш. На картинке как раз показан алгоритм пересчета кеша, котрый мы получили для LDM c 20 шагами DPM++.

2️⃣ За счет этого наш алгоритм из коробки работает на разных text2image архитектурах, мы протестили на LDM c 900 млн параметров (аналог SD 1.5) и на Emu с 2.7 млрд параметров.

3️⃣ Мы предложили трюк с обучением shift & scale для кешируемых блоков, что сильно добрасывает качества, убирая мелкие артифакты.

4️⃣ У нас метрики от кеширования не падают как в DeepCache. И картинки получаются лучшего качества.

5️⃣ Мы показали, что при фиксированном бюджете на вычисления, Cache Me if You Can улучшает результаты генерации по сравнению с бейзлайном без кеширования, так как с нашим кешированием можно успеть прогнать большее число шагов солвера за фиксированное время. Например, вместо 14 шагов DPM++ для бейзлайна можно успеть прогнать 20 шагов DPM++ с нашим кешированием.

6️⃣ У нас можно варьировать trade-off между скоростью и качеством, меняя один гиперпараметр, который адаптивно определяет время жизни кеша для разных блоков. Чем больше врмя жизни кеша - тем быстрее инференс. После определенного порога скорость идет в урон качеству.

@ai_newz

Не хотел писать про Gemini, который на днях анонсировали как мультимодальную модель уровня GPT-4, пока сам не пощупаю. Но Google обделался в пиаре своего Gemini, что тут грех не написать.

Демо-видео Gemini оказалось смонтированным, а не отражающим реальные возможности модели в реал-тайм. Видео нарезали, ускорили и смонтировали, выбросив то, какие именно промпты и какие кадры подавались модели, чтобы получить красивые ответы для демки.

Google признал монтаж, но утверждает, что целью было вдохновить разработчиков. ПРОСТО ГЕНИИ 🤣.

Кстати, у Гугла был похожий PR-провал во время анонса Bard 👍.

@ai_newz

БОЛЬШИЕ НОВОСТИ - Согласован Европейский The AI Act!

TL;DR: На большие AI модели наложено очень много ограничений. Кончилась лафа для компаний, строящих LLM в EU.

Основные последствия The AI Act:

1️⃣Система рисков по уровням: Для систем AI, классифицированных как высокорисковые, были согласованы четкие обязательства и требования прозрачности. Теперь потребуется обязательная оценка потенциально негативных воздействий на здравоохранение, безопасность, базовые права человека, и общество в целом.

2️⃣ Foundation модели будут регулироваться, если на их обучение ушло как минимум 10^25 flops вычислительной мощности - в эту категорию попадут модели как минимум уровня GPT-3.5.

3️⃣Благодаря немцам, французам и итальянцам удалось добиться значительных поблажек для Open-Source моделей. Это слегка снимает стресс с некоторых компаний которые публикуют опенсорсные модели, включая французскую компанию Mistral и немецкую Aleph Alpha, а также Meta с ее моделями LLaMA. Ян Лекун поспособствовал.

4️⃣ Следующие системы будут запрещены, и у компаний будет всего шесть месяцев, чтобы обеспечить соблюдение:
▪️системы биометрической категоризации, использующие чувствительные характеристики (например, политические, религиозные, философские убеждения, сексуальная ориентация, раса);
▪️ненаправленное скрейпинг изображений лиц из интернета или с камер видеонаблюдения для создания баз данных распознавания лиц;
▪️распознавание эмоций на рабочем месте и в образовательных учреждениях;
▪️социальное скоринг на основе социального поведения или личных характеристик;
▪️ AI, которые манипулируют человеческим поведением, чтобы обойти их свободную волю;
▪️AI, используемый для эксплуатации уязвимостей людей (из-за их возраста, инвалидности, социального или экономического положения).

5️⃣Системы AI высокого риска будут особенно тщательно проверяться на наличие байесов, предвзятости, обеспечивая их недискриминационность и уважение основных прав человека.

6️⃣Поставщики систем AI высокого риска должны вести тщательную документацию, чтобы продемонстрировать свое соответствие регуляциям. Это включает запись методов обучения и используемых наборов данных.

7️⃣ Санкции: Несоблюдение может привести к значительным штрафам, варьирующимся от 35 миллионов евро или 7% от глобального оборота до 7,5 миллиона евро или 1,5% от оборота, в зависимости от нарушения и размера компании.

Усиленные требования к прозрачности могут вызвать проблемы с защитой интеллектуальной собственности, требуя баланса между раскрытием информации и сохранением коммерческой тайны.

Все это потенциально увеличит операционные затраты и наложет значительную административную нагрузку, что потенциально может повлиять на время выхода на рынок новых AI продуктов в Европе.

А скоро, думаю, и другие страны подтянутся со своими законами. В долгосрок выиграют те, кто не так сильно закинет удавку на разработчиков AI. Как же сейчас британские компании радуются, что они не в EU.

@ai_newz

Мой кент Yann LeCun зашерил пост про нашу недавнюю статью к себе на страницу.

Мелочь, а приятно. 🚬

#personal
@ai_newz