Довольно интересная лекция от Sanja Fidler, Nvidia AI Lab (Toronto) на тему синтеза 3D контента с помощью AI.
Цель лекции — вдохновить на изучение данной области.
Однако поясняется очень много интересных моментов.
* Синтез единичных объектов с фото и как при этом помогает StyleGAN.
* Как смержить процедурную генерацию сцен с ML/DL подходами.
* Поясняется за различные репрезентации 3D объектов для выхода сети, поясняется за их плюсы и минусы. Новое для меня — tetrahedral meshes формат, удобный для представления физических симуляций над объектами.
* История с GameGAN и нейронным пакманом все еще свежа в памяти, а тут люди уже подключают Kaolin для синтеза играбельных 3Д игр типа GTA. Однако (спойлер) пока что AI не выглядит как конкурентноспособная замена игровых движков.
Однако создавать модели машинок с текстурами по одной картинкe можно в довольно неплохом качестве.
А мультивью нейронная 3д реконструкция булочек работает по виду не хуже NERF.
#3d #differentiable_rendering
Цель лекции — вдохновить на изучение данной области.
Однако поясняется очень много интересных моментов.
* Синтез единичных объектов с фото и как при этом помогает StyleGAN.
* Как смержить процедурную генерацию сцен с ML/DL подходами.
* Поясняется за различные репрезентации 3D объектов для выхода сети, поясняется за их плюсы и минусы. Новое для меня — tetrahedral meshes формат, удобный для представления физических симуляций над объектами.
* История с GameGAN и нейронным пакманом все еще свежа в памяти, а тут люди уже подключают Kaolin для синтеза играбельных 3Д игр типа GTA. Однако (спойлер) пока что AI не выглядит как конкурентноспособная замена игровых движков.
Однако создавать модели машинок с текстурами по одной картинкe можно в довольно неплохом качестве.
А мультивью нейронная 3д реконструкция булочек работает по виду не хуже NERF.
#3d #differentiable_rendering
https://github.com/HavenFeng/photometric_optimization
It seems here they optimize jointly mesh and texture from image with differential rendering, pytorch3d.
It takes ~20sec on 1 gpu GTX1080Ti to optimize for one image. Texture comes from PCA model which is more than 1Gb in size. It doesn't support well asian faces, because it optimizes only based on landmarks projected to 3d mesh.
But the results sometimes look quite promising.
#differentiable_rendering #face #face_reconstruction #morphable_model
It seems here they optimize jointly mesh and texture from image with differential rendering, pytorch3d.
It takes ~20sec on 1 gpu GTX1080Ti to optimize for one image. Texture comes from PCA model which is more than 1Gb in size. It doesn't support well asian faces, because it optimizes only based on landmarks projected to 3d mesh.
But the results sometimes look quite promising.
#differentiable_rendering #face #face_reconstruction #morphable_model
https://people.csail.mit.edu/tzumao/diffvg/
Это должно думаю сильно помочь с генерацией новых шрифтов ганами или vae.
* code
#vector #differentiable_rendering
Это должно думаю сильно помочь с генерацией новых шрифтов ганами или vae.
* code
#vector #differentiable_rendering
И сразу вдогонку еще одна статья про применение дифференцируемого рендера для регистрации облаков точек с RGB-D сенсора.
* github
* project page
#differentiable_rendering #indoor
* github
* project page
Aligning partial views of a scene into a single whole is essential to understanding one's environment and is a key component of numerous robotics tasks such as SLAM and SfM. Recent approaches have proposed end-to-end systems that can outperform traditional methods by leveraging pose supervision. However, with the rising prevalence of cameras with depth sensors, we can expect a new stream of raw RGB-D data without the annotations needed for supervision. We propose UnsupervisedR&R: an end-to-end unsupervised approach to learning point cloud registration from raw RGB-D video. The key idea is to leverage differentiable alignment and rendering to enforce photometric and geometric consistency between frames.#differentiable_rendering #indoor
gradSim: Differentiable simulation for system identification and visuomotor control
* youtube
* project page
* paper under review
* youtube
* project page
* paper under review
Our main contributions are:
* gradSim, a differentiable simulator that demonstrates the ability to backprop from video pixels to the underlying physical attributes.
* We demonstrate recovering many physical properties exclusively from video observations, including friction, elasticity, deformable material parameters, and visuomotor controls (sans 3D supervision)
* A PyTorch framework facilitating interoperability with existing machine learning modules.
#differentiable_rendering #physics #simulation