https://coma.is.tue.mpg.de/
spectral convolutions, 12 subjects with 20466 meshes of extreme expressions;
Data, code, model are available.
#dataset #3D #face_reconstruction
spectral convolutions, 12 subjects with 20466 meshes of extreme expressions;
Data, code, model are available.
#dataset #3D #face_reconstruction
https://ringnet.is.tue.mpg.de/challenge
The dataset contains 2054 2D images of 100 subjects, and a separate 3D head scan for each subject. Meshes aren't available (sic!)
#face_reconstruction #3D
The dataset contains 2054 2D images of 100 subjects, and a separate 3D head scan for each subject. Meshes aren't available (sic!)
#face_reconstruction #3D
https://studios.disneyresearch.com/wp-content/uploads/2019/03/State-of-the-Art-on-Monocular-3D-Face-Reconstruction-Tracking-and-Applications-1.pdf
State of the Art on Monocular 3D FaceReconstruction, Tracking, and Applications
This state-of-the-art report provides an overview of monocular 3D face reconstruction and tracking, and highlights applications.
#survey #face_reconstruction #face_tracking
State of the Art on Monocular 3D FaceReconstruction, Tracking, and Applications
This state-of-the-art report provides an overview of monocular 3D face reconstruction and tracking, and highlights applications.
#survey #face_reconstruction #face_tracking
* project page
* code
Есть код для генерации датасета (тени синтетические), нет кода для обучения модели, как и самой модели. Но уже что-то.
#face #single_image
* code
Есть код для генерации датасета (тени синтетические), нет кода для обучения модели, как и самой модели. Но уже что-то.
#face #single_image
https://github.com/HavenFeng/photometric_optimization
It seems here they optimize jointly mesh and texture from image with differential rendering, pytorch3d.
It takes ~20sec on 1 gpu GTX1080Ti to optimize for one image. Texture comes from PCA model which is more than 1Gb in size. It doesn't support well asian faces, because it optimizes only based on landmarks projected to 3d mesh.
But the results sometimes look quite promising.
#differentiable_rendering #face #face_reconstruction #morphable_model
It seems here they optimize jointly mesh and texture from image with differential rendering, pytorch3d.
It takes ~20sec on 1 gpu GTX1080Ti to optimize for one image. Texture comes from PCA model which is more than 1Gb in size. It doesn't support well asian faces, because it optimizes only based on landmarks projected to 3d mesh.
But the results sometimes look quite promising.
#differentiable_rendering #face #face_reconstruction #morphable_model
https://github.com/tencent-ailab/hifi3dface
#face_reconstruction #face #3d #morphable_model #depth
#face_reconstruction #face #3d #morphable_model #depth
We present a fully automatic system that can produce high-fidelity, photo-realistic 3D digital human characters with a consumer RGB-D selfie camera. The system only needs the user to take a short selfie RGB-D video while rotating his/her head, and can produce a high quality reconstruction in less than 30 seconds. Our main contribution is a new facial geometry modeling and reflectance synthesis procedure that significantly improves the state-of-the-art. Specifically, given the input video a two-stage frame selection algorithm is first employed to select a few high-quality frames for reconstruction. A novel, differentiable renderer based 3D Morphable Model (3DMM) fitting method is then applied to recover facial geometries from multiview RGB-D data, which takes advantages of extensive data generation and perturbation. Our 3DMM has much larger expressive capacities than conventional 3DMM.
#depth #morphable_modelDeep 3D Portrait from a Single Image
* paper
* github
В работе использован алгоритм реконструкции лица из другой работы майкрософта 2х-летней давности, при этом реконструкция дополнена восстановлением прически и ушей за счет использования нейронки, предсказывающей глубину сегментированной области (волос и ушей).
#single_image #face_reconstruction #face #depth
* paper
* github
В работе использован алгоритм реконструкции лица из другой работы майкрософта 2х-летней давности, при этом реконструкция дополнена восстановлением прически и ушей за счет использования нейронки, предсказывающей глубину сегментированной области (волос и ушей).
#single_image #face_reconstruction #face #depth
* paper
* супер видос короткий без смс
В результате ночного залипания на artstation была найдена вот эта замечательная работа, использующая style-gan для генерации 3д лиц с albedo, displacement maps и возможностью сделать super-resolution меша в используемой топологии (топология здесь — соответствие вершин и их номеров). Текстуры и альбедо можно генерить в размерности 4k.
Меши проецируются в 2D представление, которое подается в ган.
Независимо от identity меша предсказывается также face expression меш.
Из возможных применений — регистрация скана лица в топологию гана. Как это делается — с помощью лэндмарок исходный скан проецируется в 2D, далее в латентном пространстве генератора ищется энкодинг наиболее близкий к данному. Очень хитро придумано. Демонстрируется, что такое нелинейное представление меша помогает лучше заврапить скан, чем существующие популярные линейные морфологические модели.
Уверена что в будущем авторы дотянут модель и до восстановления меша по одной картинке.
#3d #gan #face
* супер видос короткий без смс
В результате ночного залипания на artstation была найдена вот эта замечательная работа, использующая style-gan для генерации 3д лиц с albedo, displacement maps и возможностью сделать super-resolution меша в используемой топологии (топология здесь — соответствие вершин и их номеров). Текстуры и альбедо можно генерить в размерности 4k.
Меши проецируются в 2D представление, которое подается в ган.
Независимо от identity меша предсказывается также face expression меш.
Из возможных применений — регистрация скана лица в топологию гана. Как это делается — с помощью лэндмарок исходный скан проецируется в 2D, далее в латентном пространстве генератора ищется энкодинг наиболее близкий к данному. Очень хитро придумано. Демонстрируется, что такое нелинейное представление меша помогает лучше заврапить скан, чем существующие популярные линейные морфологические модели.
Уверена что в будущем авторы дотянут модель и до восстановления меша по одной картинке.
#3d #gan #face
https://github.com/microsoft/DiscoFaceGAN
Еще одна работа на базе стайл гана2
Еще одна работа на базе стайл гана2
Abstract: We propose DiscoFaceGAN, an approach for face image generation of virtual people with DISentangled, precisely-COntrollable latent representations for identity of non-existing people, expression, pose, and illumination. We embed 3D priors into adversarial learning and train the network to imitate the image formation of an analytic 3D face deformation and rendering process. To deal with the generation freedom induced by the domain gap between real and rendered faces, we further introduce contrastive learning to promote disentanglement by comparing pairs of generated images. Experiments show that through our imitative-contrastive learning, the factor variations are very well disentangled and the properties of a generated face can be precisely controlled. We also analyze the learned latent space and present several meaningful properties supporting factor disentanglement. Our method can also be used to embed real images.#face