Forwarded from Savva
#neural_rendering #3d #review
State of the Art on Neural Rendering
https://arxiv.org/pdf/2004.03805.pdf
State of the Art on Neural Rendering
https://arxiv.org/pdf/2004.03805.pdf
Learning Gradient Fields for Shape Generation
* github
* paper
In this work, we propose a novel technique to generate shapes from point cloud data. A point cloud can be viewed as samples from a distribution of 3D points whose density is concentrated near the surface of the shape. Point cloud generation thus amounts to moving randomly sampled points to high-density areas. We generate point clouds by performing stochastic gradient ascent on an unnormalized probability density, thereby moving sampled points toward the high-likelihood regions. Our model directly predicts the gradient of the log density field and can be trained with a simple objective adapted from score-based generative models. We show that our method can reach state-of-the-art performance for point cloud auto-encoding and generation, while also allowing for extraction of a high-quality implicit surface.
#3d #generative
* github
* paper
In this work, we propose a novel technique to generate shapes from point cloud data. A point cloud can be viewed as samples from a distribution of 3D points whose density is concentrated near the surface of the shape. Point cloud generation thus amounts to moving randomly sampled points to high-density areas. We generate point clouds by performing stochastic gradient ascent on an unnormalized probability density, thereby moving sampled points toward the high-likelihood regions. Our model directly predicts the gradient of the log density field and can be trained with a simple objective adapted from score-based generative models. We show that our method can reach state-of-the-art performance for point cloud auto-encoding and generation, while also allowing for extraction of a high-quality implicit surface.
#3d #generative
GitHub
GitHub - RuojinCai/ShapeGF: Learning Gradient Fields for Shape Generation
Learning Gradient Fields for Shape Generation. Contribute to RuojinCai/ShapeGF development by creating an account on GitHub.
Довольно интересная лекция от Sanja Fidler, Nvidia AI Lab (Toronto) на тему синтеза 3D контента с помощью AI.
Цель лекции — вдохновить на изучение данной области.
Однако поясняется очень много интересных моментов.
* Синтез единичных объектов с фото и как при этом помогает StyleGAN.
* Как смержить процедурную генерацию сцен с ML/DL подходами.
* Поясняется за различные репрезентации 3D объектов для выхода сети, поясняется за их плюсы и минусы. Новое для меня — tetrahedral meshes формат, удобный для представления физических симуляций над объектами.
* История с GameGAN и нейронным пакманом все еще свежа в памяти, а тут люди уже подключают Kaolin для синтеза играбельных 3Д игр типа GTA. Однако (спойлер) пока что AI не выглядит как конкурентноспособная замена игровых движков.
Однако создавать модели машинок с текстурами по одной картинкe можно в довольно неплохом качестве.
А мультивью нейронная 3д реконструкция булочек работает по виду не хуже NERF.
#3d #differentiable_rendering
Цель лекции — вдохновить на изучение данной области.
Однако поясняется очень много интересных моментов.
* Синтез единичных объектов с фото и как при этом помогает StyleGAN.
* Как смержить процедурную генерацию сцен с ML/DL подходами.
* Поясняется за различные репрезентации 3D объектов для выхода сети, поясняется за их плюсы и минусы. Новое для меня — tetrahedral meshes формат, удобный для представления физических симуляций над объектами.
* История с GameGAN и нейронным пакманом все еще свежа в памяти, а тут люди уже подключают Kaolin для синтеза играбельных 3Д игр типа GTA. Однако (спойлер) пока что AI не выглядит как конкурентноспособная замена игровых движков.
Однако создавать модели машинок с текстурами по одной картинкe можно в довольно неплохом качестве.
А мультивью нейронная 3д реконструкция булочек работает по виду не хуже NERF.
#3d #differentiable_rendering
Forwarded from Sgryob
echoinside
Довольно интересная лекция от Sanja Fidler, Nvidia AI Lab (Toronto) на тему синтеза 3D контента с помощью AI. Цель лекции — вдохновить на изучение данной области. Однако поясняется очень много интересных моментов. * Синтез единичных объектов с фото и как при…
Я писала как-то про интересную лекцию, но тут увидела статью тут.
Image GANs meet Differentiable Rendering for Inverse Graphics and Interpretable 3D Neural Rendering
https://arxiv.org/pdf/2010.09125.pdf
#gan #3d
Image GANs meet Differentiable Rendering for Inverse Graphics and Interpretable 3D Neural Rendering
https://arxiv.org/pdf/2010.09125.pdf
#gan #3d
https://github.com/tencent-ailab/hifi3dface
#face_reconstruction #face #3d #morphable_model #depth
#face_reconstruction #face #3d #morphable_model #depth
We present a fully automatic system that can produce high-fidelity, photo-realistic 3D digital human characters with a consumer RGB-D selfie camera. The system only needs the user to take a short selfie RGB-D video while rotating his/her head, and can produce a high quality reconstruction in less than 30 seconds. Our main contribution is a new facial geometry modeling and reflectance synthesis procedure that significantly improves the state-of-the-art. Specifically, given the input video a two-stage frame selection algorithm is first employed to select a few high-quality frames for reconstruction. A novel, differentiable renderer based 3D Morphable Model (3DMM) fitting method is then applied to recover facial geometries from multiview RGB-D data, which takes advantages of extensive data generation and perturbation. Our 3DMM has much larger expressive capacities than conventional 3DMM.
#depth #morphable_model* paper
* супер видос короткий без смс
В результате ночного залипания на artstation была найдена вот эта замечательная работа, использующая style-gan для генерации 3д лиц с albedo, displacement maps и возможностью сделать super-resolution меша в используемой топологии (топология здесь — соответствие вершин и их номеров). Текстуры и альбедо можно генерить в размерности 4k.
Меши проецируются в 2D представление, которое подается в ган.
Независимо от identity меша предсказывается также face expression меш.
Из возможных применений — регистрация скана лица в топологию гана. Как это делается — с помощью лэндмарок исходный скан проецируется в 2D, далее в латентном пространстве генератора ищется энкодинг наиболее близкий к данному. Очень хитро придумано. Демонстрируется, что такое нелинейное представление меша помогает лучше заврапить скан, чем существующие популярные линейные морфологические модели.
Уверена что в будущем авторы дотянут модель и до восстановления меша по одной картинке.
#3d #gan #face
* супер видос короткий без смс
В результате ночного залипания на artstation была найдена вот эта замечательная работа, использующая style-gan для генерации 3д лиц с albedo, displacement maps и возможностью сделать super-resolution меша в используемой топологии (топология здесь — соответствие вершин и их номеров). Текстуры и альбедо можно генерить в размерности 4k.
Меши проецируются в 2D представление, которое подается в ган.
Независимо от identity меша предсказывается также face expression меш.
Из возможных применений — регистрация скана лица в топологию гана. Как это делается — с помощью лэндмарок исходный скан проецируется в 2D, далее в латентном пространстве генератора ищется энкодинг наиболее близкий к данному. Очень хитро придумано. Демонстрируется, что такое нелинейное представление меша помогает лучше заврапить скан, чем существующие популярные линейные морфологические модели.
Уверена что в будущем авторы дотянут модель и до восстановления меша по одной картинке.
#3d #gan #face
BSP-Net: Generating Compact Meshes via Binary Space Partitioning
* paper
* project page
#furniture_reconstruction #3d
We present BSP-Net, a network that generates compact meshes via binary space partitioning.* github
Our generated meshes are low-poly and guaranteed to be watertight.
The edges can reproduce sharp details, yet can still approximate curved boundaries.
* paper
* project page
#furniture_reconstruction #3d
* project page
* paper
* paper
We introduce DefTet as a particular parameterization that utilizes volumetric tetrahedral meshes for the reconstruction problem. Unlike existing volumetric approaches, DefTet optimizes for both vertex placement and occupancy, and is differentiable with respect to standard 3D reconstruction loss functions. We show that it can represent arbitrary, complex topology, is both memory and computationally efficient, and can produce high-fidelity reconstructions with a significantly smaller grid size than alternative volumetric approaches. The predicted surfaces are also inherently defined as tetrahedral meshes, thus do not require post-processing. We demonstrate that DefTet matches or exceeds both the quality of the previous best approaches and the performance of the fastest ones. Our approach obtains high-quality tetrahedral meshes computed directly from noisy point clouds, and is the first to showcase high-quality 3D tet-mesh results using only a single image as input.
#single_image #3d