Всем привет! Еще раз поздравляю с наступившим 2023 годом🎄🎅🎉

⚡️⚡️⚡️
Начну год с одного из ключевых достижений команды в 2022 году. Сделали крутую модель для быстрого переноса лица с фото на фото или видео - GHOST (Generative High-fidelity One Shot Transfer). За основу была первично взята архитектура FaceShifter, которая в начале наших исследований казалась наиболее удачной.

В итоге мы доработали её для переноса лица с изображения на видео и внесли ряд изменений, ключевые из которых:
💡дополнительный лосс на направление взгляда
💡адаптивная сглаженная маска переноса лица
💡блок устранения эффекта дрожания (jittering) при переносе на видео

По результатам экспериментов выбили SoTA среди известных моделей (FaceSwap, DeepFakes, FaceShifter, SimSwap и HifiFace) на ряде валидационных сетов по таким метрикам как сохранение identity, shape и направления взгляда. По метрике переноса позы наша модель близка к SoTA, и мы постараемся еще улучшить показатели в этом году.

Некоторые примеры переноса лиц с фото на фото можно увидеть в закрепе к посту. Более подробно с материалами исследований можно ознакомиться в опубликованной статье в IEEE Access (пробились со второго раунда ревью 🏆), а репозиторий модели можно найти тут.

Ну и конечно же, не могли обойти стороной и любимых пользователей. Запустили ТГ-бот для того, чтобы поиграться с моделью (ограничение на длину загружаемого видео - 20 секунд).

⚡️Скорость переноса на FullHD видео высокая - около 12 FPS.

Все ссылки скопом для удобства ⬇️

📘статья
📕Хабр
🖥 GitHub + коллаб
🔥TG_Bot

@complete_ai

🔥🔥🔥Команда Berkley на днях представила новую модель InstructPix2Pix, которая позволяет редактировать изображения в соответствии с текстовой инструкцией.

#простой_ai: авторы учат модель для управления изменениями на изображении через текстовые инструкции («добавь корабль на воду», «замени человека инопланетянином» и т.д.) - сначала учится одна модель для синтеза этих инструкций, а затем вторая - учится генерировать похожее изменённое в соответствии с инструкцией изображение.

Задача редактирования изображений решается в классическом supervised режиме:
1. На первом этапе создаётся датасет обсечения, который включает в себя текстовые инструкции, исходные и соответствующие изменённых изображений
2. На втором обучается диффузионная модель для редактирования изображений на этом синтезированном наборе данных

При этом обучение на синтетических данных (вопреки принятому мнению, что лучше учить на реальных чистых данных) не портит модель синтеза изображений.

Синтез инструкций выполняется посредством файнтюна модели GPT3 Davinci на 700 промтах из LAION-Aesthetics V2 6.5+ в течение одной эпохи. В результате на основе входного текстового описания синтезируется как сама текстовая инструкция для редактирования изображения, так и изменённое в соответствии с интукцией текстовое описание изображения. Затем два текстовых промта преобразуются в пару соответствующих изображений с помощью модели, основанной на StableDiffusion (по 100 сэмплов на каждую пару описаний). Для того, чтобы генерации по двум близким промтам не сильно отличались (что свойственно в обычном режиме генерации), авторы используют метод Prompt-to-Prompt, который позволяет увеличить сходство нескольких генераций диффузионной модели. Это делается с помощью переноса весов cross attention на некотором количестве шагов деноизинга.

Больше деталей можно как всегда найти в статье⬇️

📕 статья
🖥 GitHub
🏆HF demo - медленная:(

@complete_ai