🐈 Давайте поговорим об одной из моих любимых тем — о дипфейках.

Есть там одно направление, которое открывает очень любопытные перспективы. Называется оно real time deepfake. По контексту, думаю, вы понимаете о чем речь — нейросети в прямом эфире накидывают маску на актера. Без монтажа, все live.

Есть два известных кейса где это было использовано, и оба они с шоу America Got Talent. Вот первый ролик (май прошлого года). Вот второй, посвежее.

Смотрится довольно весело и прикольно, суть доносит сразу. Важное НО — по мнению всех экспертов в дипфейк-комьюнити это монтаж, они в реальности не делали realtime. Для ТВ слишком велики риски, смысла нет. Не очень красиво с их стороны обманывать аудиторию, но это же телек, там подобное принято.

Мы в Agenda Media, естественно, протестировали технологию — и всё работает. Ролик прикрепляю. Да, мылит чуть край маски, да, нужно мощнее сервера, но работает, можно сделать! И тут открываются невероятные возможности.

😌 Давайте зажмуримся... и представим концерт Виктора Робертовича Цоя или Егора Летова. Это вообще не сложно сделать, а человек не заметит разницы. Артиста на больших выступлениях обычно видят очень издалека, а на экранах по бокам будет то самое лицо. Из колонок — те самые песни.

Что думаете? Пойдете на концерт? И в целом очень интересно узнать ваше мнение насчет этического аспекта. Т.к. естественно речь идет прежде всего о концертах артистов, которых уже нет с нами.

На днях наткнулся на канал интересного актера Кувицына Вадима.
Решил прогнать одно его видео, очень напоминающее фильм Сплит, через DeepFaceLive модель Джеймса МакЭвоя (делать полноценный качественный дипфейк сейчас нет времени, но, может быть, в будущем я это сделаю).
Оригинал видео
Лайв модель взял на канале Druuzil Tech & Games

✍️ Заметки

Наш нереальный Роберт Дауни - младший настолько произвел на всех впечатление в TikTok (меньше, чем за месяц, набрал 1500000 подписчиков), что крупный букмекер Fonbet пригласил его к себе на съёмки нового рекламного ролика.

Предлагаю вам оценить новый кейс от ReFace Technology!

✍️ Заметки

Изи дипфейк в один клик

В последнее время часто вижу в чатах и на каналах этот репозиторий https://github.com/s0md3v/roop, который основан на https://github.com/deepinsight/insightface. Он подкупает всех своей простотой использования.

+ скорость
+ достаточно одного фото
+ графический интерфейс
+ неплохой перенос освещения
+- узнаваемость лица на среднем уровне
+- направление глаз не всегда синхронизируется с исходным видео
- низкая детализация лица (это можно частично исправить с помощью энхансеров по типу Remini, GPEN, GFPGAN)

Еще примеры от автора: https://drive.google.com/drive/folders/1KHv8n_rd3Lcr2v7jBq1yPSTWM554Gq8e

Нашел несколько гайдов для желающих опробовать:
https://youtu.be/sy4kA3JVNy4
https://youtu.be/87Xw2DM0ROI
https://youtu.be/Py0wxCoJ4xA
https://youtu.be/kKOGRxpQcwM
https://youtu.be/OI1LEN-SgLM
https://youtu.be/jD1ZSd9aFHg

✍️ Заметки

Альтернатива хайпанувшему roop, которая позволяет одновременно заменять разные лица на видео.

Работает на macOSX, Windows, Linux

Инструкция на русском https://youtu.be/35BUWZv7Ybc

Пример использования https://youtu.be/mXk1Ox7B244
Репозиторий https://github.com/xaviviro/refacer

✍️ Заметки

Real-time roop

Какой-то энтузиаст смог заставить работать roop в реальном времени.

Напомню, что для замены лица достаточно одного фото.

Из недостатков остаётся такое же плохое качество лица. Улучшить можно, использовав опцию face_enhancer в frame processors.

Репозиторий GitHub https://github.com/hacksider/roop-cam

✍️ Заметки

Обновление DeepFaceLive

Добавлена возможность менять лицо, используя всего лишь одно фото (пример на прикрепленном видео).

Никто обнову уже не ждал (репозиторий улетел в архив и обновлять его не планировалось), но так как на днях энтузиаст поделился своим методом запуска roop в реалтайме, было решено добавить его и в DFLive.

Если меняете лицо на видео, то советую использовать дополнительно эту сборку для улучшения деталей лица либо Topaz Photo AI https://drive.google.com/file/d/1YJJVnPGq90e_mWZxSGGTptNQilZNfOEO/view?usp=drivesdk

Скачать свежую версию DFLive можно тут https://mega.nz/folder/m10iELBK#Y0H6BflF9C4k_clYofC7yA

update:
- c,x,y лучше оставить по дефолту
- ставим 128 res в face aligner

✍️ Заметки

ПМЖейсон. Свой среди чужих.

Вот и долгожданное продолжение, бегом смотреть!
А тем, кто не видел первый сезон, ссылочка на плейлист со всеми сериями.

✍️ Заметки