Обожаю такой формат презентации статьи, где достаточно потребить информацию с сайта и всё станет понятно


Авторы обнаружили, что за camera-to-world projection матрицу, в некой степени, отвечает часть эмбеддинг спейса текстового промпт-а в text-2-image диффузных моделях

Ребята обучали небольшую нейронку предсказывать этот вектор, в зависимости от подаваемой матрицы, и генерировать novel views диффузкой с нужного нам ракурса

Работает не всегда идеально, можно пронаблюдать что структура сцены с разных углов немного, но всё же меняется. Но бьёт оригинальный нёрф в сухую и все SOTA nerf решения по LPIPS (персепшен метрика)

Главный философский вывод, так же подтверждаемый в некой степени иными работами: внутри диффузок наверняка есть "консистентное" 3Д представление сцены и мы наверняка сможем научиться его качественно визуализировать\"взаимодействовать" с ним
Т.е. сделать рендер-физ-движок 😁

На сигграфе и других площадках, можно наблюдать большое число примеров генерации text(+image/point clouds)->3D

Stability AI выпустили супер быстрое решение, генерирующее модель из картинки всего за 0.5 секунды

Nvidia встроила в Omniverse генерацию моделей, окружений и даже environment map для достижения желаемого освещения

Meta зарелизила несколько качественных статей на эту интересную тему, а также китайцы (из Tencent и универов, о чём я писал ранее) очень сильно продвинулись в этой теме

Мне порой пишут и спрашивают о том, как можно впрыгнуть в это направление, особенно со знаниями графики, рендера. Ведь text->3D это по сути Differentiable Render guided by AI, а еще там денег часто побольше и это что-то новое, трендовое

Я обычно всем рекомендую генеральный прекрасный курс от Vincent Sitzmann (MIT, основатель text-> gamedev 3D стартапа Yellow - писал тут).
А если хочется больше про обратный рендер, и меньше про ИИ, то безусловно работы RGL и 2 часовой курс от них и американцев будут лучшим подспорьем 😊

Advances in Real-Time Rendering in Games

Наконец-таки опубликовали слайды ежегодного воркшопа по реал-тайм рендеру!

В этом году выступили с докладами по темам:

- Neural Light Grid: Modernizing Irradiance Volumes with Machine Learning (pptx, pdf)

- Seamless Rendering on Mobile: The Magic of Adaptive LOD Pipeline (pptx, pdf).

Brian Karis, Epic Games, подтвердил что это клон Nanite и был разочарован данным докладом. Соглашусь с ним, что отсутствие double-blind peer view презентаций, очень сильно опускает их качество по сравнению со статьями того же Siggraph-а

- Flexible and Extensible Shader Authoring in Frostbite with Serac (pptx)

- Announcing The Call of Duty Open-Source USD Caldera Data Set (dataset)

- Variable Rate Shading with Visibility Buffer Rendering (pptx)

- Shipping Dynamic Global Illumination in Frostbite (ещё ждём слайдов)

- Hemispherical Lighting Insights from the Call of Duty Production Lessons (pptx)

- Achieving scalable performances for large scale components with CBTs (pdf)

Walkin’ Robin: Walk on Stars with Robin Boundary Conditions (статья, код)

Просимулировали нагрев вездехода NASA на Марсе через "рендер" движок на GPU
____________________________________________

WoS недавно революционно изменил обработку геометрии и решение диффуров на её поверхности. Тогда авторы показали что для решения задачи распространения тепла на поверхности (точнее Laplace Eq) не обязательно дискретизировать геометрию и использовать FDTD или иной biased global and memory consumption метод

можно переписать диффуры в виде интегралов и использовать стохастический но точный Monte Carlo метод, прям как в рендере. Эксплуатируя уже выведенные: Russian Roulette, Control Variates, "Radiance" Cache, "Light" Tracing для снижение дисперсии. И прям на GPU c шейдерами через Point\Ray Queries. Со 100% скалируемостью


В новой статье авторы вывели же поддержку Neumann и Robin Boundary Conditions, которые позволяют нам описывать через производные граничные значения. к примеру через ожидаемый поток тепла.

Neural Fields meet Explicit Geometric Representations for Inverse Rendering of Urban Scenes (статья)

Разобрался тут с новым ИИ-рендер движком от Nvidia, который позиционируется как окружение для тренировки беспилотных авто

Я бы сказал, что фактический мы можем наблюдать "классический" рендер с deferred shading-ом, но с парочкой различий:
- первичные поверхности мы находим через трассировку SDF и далее экстрактим surface properties (albedo, normal etc) c помощью сетки типа InstantNGP

- каждые 20 итераций преобразуем SDF в мешку, используя Marching Cubes. далее полагаясь на RTX пускаем 512 вторичных лучей для шейдинга поверхности на основе инвайромент мапы. естественно без GI 😢

из интересного как всегда танцы с бубном с регуляризацией из-за ill-posed проблемы: "это у нас albedo около 1.0 или же солнце сильно светит?" - вечный вопрос (но похожее мы видели и ранее)

имхо, это просто отличный кейс, доказывающий что рендер-скиллы можно применять не только для игр\кино. рекомендую кому последнее наскучило 👍

В дополнение другая простенькая статья основанная на Mitsuba от них же, где оптимизация параметров сцены (источники света, инвайромент мапы, тонмапер) идет с помощью гайдинга зафайнтьюненной диффузной модели.

По сути здесь ИИ выступает в качестве кнопки: "подкорректируй сцену так, чтобы она выглядела более реалистично"

#ии #статья