https://arxiv.org/pdf/1912.07372.pdf
https://github.com/autonomousvision/differentiable_volumetric_rendering

#implicit_geometry #single_image_reconstruction #differential_rendering

Deformed Implicit Field: Modeling 3D Shapes with Learned Dense Correspondence
* paper
* github (пока пустой)
1) we propose DIF, a novel implicit field based 3D shape representation modeling shape deformations across an object category; 2) we propose DIF-Net, the first method devoted to 3D shape modeling with dense correspondences learned in an unsupervised fashion for objects with structure variation; 3) we show that our method can achieve high-quality dense correspondences and compelling texture transfer and shape editing results that can not be achieved by previous methods. We believe our method can be applied in a wide range of 3D shape analysis and manipulation tasks.
#implicit_geometry

https://dellaert.github.io/NeRF/

Очень хороший пост чтобы вкатиться в понимание что же там такое в nerf, deepSDF и implicit differentiable renderer. Пост охватывает и связывает последние работы, которые в том числе появлялись в этом канале.

Также оригинальный тред автора в твитторе 😌
https://twitter.com/fdellaert/status/1339236843263569922

* Alex Mordvintsev's tutorial for implicit sdf in colab
#nerf #implicit_geometry #sdf

Воспользовавшись blend файлом, который любезно выложил Ferhat Tanman мне удалось сделать вот такую анимацию в блендере. Это полностью sdf-шейдер. Я также воспользовалась шпаргалками sdf функций от iquilezles.
Однако, православные люди говорят что надо использовать Houdini для таких штук.
Ferhat и мой коллега Sercan сделали целую игру на sdf функциях в 2D движке Love2D.
Также в тему sdf, вот вам няшная библиотека на python для создания и отрисовки SDF, а также экспорта этих SDF сразу в меш для 3д печати.
#sdf #implicit_geometry #blender

Neural Geometric Level of Detail:
Real-time Rendering with Implicit 3D Surfaces
[Nvidia]

Real-time rendering of high quality neural 3d SDFs with a sparse octree feature volume and a tiny MLP. 🔥

* Project page
* Paper
* twitter
#implicit_geometry #LOD #octree #sdf #real_time #3d

Holistic 3D Scene Understanding from a Single Image with Implicit Representation [Google, ETH Zurich, Microsoft 🤔]
- paper
(more images are in the comments)
We present a new pipeline for holistic 3D scene understanding from a single image, which could predict object shape, object pose, and scene layout. As it is a highly ill-posed problem, existing methods usually suffer from inaccurate estimation of both shapes and layout especially for the cluttered scene due to the heavy occlusion between objects. We propose to utilize the latest deep implicit representation to solve this challenge. We not only propose an image-based local structured implicit network to improve the object shape estimation, but also refine 3D object pose and scene layout via a novel implicit scene graph neural network that exploits the implicit local object features. A novel physical violation loss is also proposed to avoid incorrect context between objects.#implicit_geometry #single_image_reconstruction

#sdf #tools #implicit_geometry
Автор видео @ephtracy в твиттер делиться прогрессом по созданию собственного 3д редактора работающего с signed distance field.
В том же блендере возможно моделировать hard surface объекты с помощью metaballs, что даёт похожие возможности для редактирования: пример один, пример два, но там не настолько круто конечно.

IDR & NLR

В работе [1] предлагается подход под названием IDR — Implicit Differentiable Renderer. Нейронка обучается на наборе фотографий (с бинарными масками объекта) снятыми с разного ракурса с примерно известным положением камер. В результате получается отдельно sdf представление геометрии и отдельно обученный рендерер текстуры. Эта архитектура также позволяет переиспользовать рендерер для другой геометрии, таким образом перекрасить зайцев в лосей. Обе части представлены MLP нейронками. Обучение занимает 6.5-8 часов на одной V100 GPU для сета из 49-64 картинок. При этом уже обученная нейронка рендерит картинку размером 1200 x 1600 примерно 30с (для нового вью).
* гитхаб
* папер
* страница проекта

В работе [2] предлагается метод NLR (Neural Lumigraph Rendering). Здесь также обучается отдельно нейронка для sdf, отдельно для NeRF, замешивается всё это с SIREN. Проблема с риал-таймом в инференсе решается возможностью экспортнуть полученную геометрию в меш и сгенерить текстуру для конкретного ракурса.
Меш получается марширующими кубами. Текстуры оптимально пререндерятся с разных ракурсов, а затем для заданного ракурса создается их взвешенная сумма в риал-тайме.
Однако даже версия модели c неявным представлением геометрии и текстуры (NLR-ST) рендерит картинки заметно быстрее чем IDR (~ раза в 3) и имеет заметно более тонкую модель за счет использования SIREN (~ в 5 меньше параметров).
Обучается все на одной RTX 2080Ti за 150000 батчей (про время не написано, но один батч это 50000 просэмплированных лучей).
Также на странице проекта можно скачать датасет с людьми и другими сущностями.
* видос
* папер
* страница проекта

Детализация меша не очень, что в одном методе, что в другом, но с текстурой выглядит норм.
#implicit_geometry #nerf

iMAP, first real-time SLAM system to use an implicit scene network as map representation
* Project page
* Paper: https://arxiv.org/abs/2103.12352
* twitter

iMAP is a new way to do SLAM: we learn an implicit neural representation *in real time* and track an RGB-D camera against it. The implicit map fills holes; completes the unseen backs of objects; and maps a whole room in only 1MB of weights. From the Dyson Robotics Lab, Imperial.
#implicit_geometry #depth #slam #indoor