ViT/L-14 почти вывозит лица.
Думаю, какой-нибудь стайлган-энкодер мог бы спасти ситуацию.

#discodiffusion

NeuralRecon: Real-Time Coherent 3D Reconstruction from Monocular Video

Дождались. Исследователи разработали метод для риал-тайм 3D реконструкции сцены с помощью айфона.

Под капотом рекуррентная сетка, которая во время сканирования фьюзит TSDF представление со всех кадров, учитывая информацию с новых кадров онлайн.

И дрифт камеры в ARKit как-то решили, и есть код!

Это прям круто!

>> Сайт проекта >> Код

Угадайте город по фотографии

Вышло обновление GPEN!

Добавлена модель разрешением 2048.

Скачать версию для Windows можно тут https://drive.google.com/file/d/1YJJVnPGq90e_mWZxSGGTptNQilZNfOEO/view

Официальный GitHub https://github.com/yangxy/GPEN

Если GPEN для Win уже установлен, то просто запустите misc) Install or update GPEN.bat, чтобы скачалось обновление.

Прикрепляю тесты новой модели.
Original -> 512 res -> 2048 res

Документ с очень подробным разбором ключевых параметров наших любимых колабов с диффузными моделями.
В картинках!

Такими темпами скоро книгу выпустят :D