https://github.com/HavenFeng/photometric_optimization
It seems here they optimize jointly mesh and texture from image with differential rendering, pytorch3d.
It takes ~20sec on 1 gpu GTX1080Ti to optimize for one image. Texture comes from PCA model which is more than 1Gb in size. It doesn't support well asian faces, because it optimizes only based on landmarks projected to 3d mesh.
But the results sometimes look quite promising.
#differentiable_rendering #face #face_reconstruction #morphable_model
It seems here they optimize jointly mesh and texture from image with differential rendering, pytorch3d.
It takes ~20sec on 1 gpu GTX1080Ti to optimize for one image. Texture comes from PCA model which is more than 1Gb in size. It doesn't support well asian faces, because it optimizes only based on landmarks projected to 3d mesh.
But the results sometimes look quite promising.
#differentiable_rendering #face #face_reconstruction #morphable_model
https://github.com/tencent-ailab/hifi3dface
#face_reconstruction #face #3d #morphable_model #depth
#face_reconstruction #face #3d #morphable_model #depth
We present a fully automatic system that can produce high-fidelity, photo-realistic 3D digital human characters with a consumer RGB-D selfie camera. The system only needs the user to take a short selfie RGB-D video while rotating his/her head, and can produce a high quality reconstruction in less than 30 seconds. Our main contribution is a new facial geometry modeling and reflectance synthesis procedure that significantly improves the state-of-the-art. Specifically, given the input video a two-stage frame selection algorithm is first employed to select a few high-quality frames for reconstruction. A novel, differentiable renderer based 3D Morphable Model (3DMM) fitting method is then applied to recover facial geometries from multiview RGB-D data, which takes advantages of extensive data generation and perturbation. Our 3DMM has much larger expressive capacities than conventional 3DMM.
#depth #morphable_model
echoinside
* paper * супер видос короткий без смс В результате ночного залипания на artstation была найдена вот эта замечательная работа, использующая style-gan для генерации 3д лиц с albedo, displacement maps и возможностью сделать super-resolution меша в используемой…
вот эти ребята выложили под MIT лицензией морфологическую модель головы из тех же сканов, что они использовали в этой работе
https://github.com/ICT-VGL/ICT-FaceKit
#morphable_model
https://github.com/ICT-VGL/ICT-FaceKit
#morphable_model
GitHub
GitHub - USC-ICT/ICT-FaceKit: ICT's Vision and Graphics Lab's morphable face model and toolkit
ICT's Vision and Graphics Lab's morphable face model and toolkit - USC-ICT/ICT-FaceKit
https://arxiv.org/pdf/1909.01815.pdf
Обзорная статья про морфологические модели лица — т.е. параметрические 3д модели лица с возможностью морфить в 3д одно лицо в другое.
Такие модели наиболее успешно используются для создания 3д аватаров и реалистичного фейс трекинга.
Обычно это не только 3д меш, но также параметрическая модель текстур и освещения. Подробнее про применения и современное состояние этого подхода можно посмотреть в статье.
#review #survey #morphable_model #face_reconstruction
Обзорная статья про морфологические модели лица — т.е. параметрические 3д модели лица с возможностью морфить в 3д одно лицо в другое.
Такие модели наиболее успешно используются для создания 3д аватаров и реалистичного фейс трекинга.
Обычно это не только 3д меш, но также параметрическая модель текстур и освещения. Подробнее про применения и современное состояние этого подхода можно посмотреть в статье.
#review #survey #morphable_model #face_reconstruction