High Performance Graphics 2024 начнется уже через 1.5 часа. Онлайн трансляция и расписание

Напоминаю, что это конференция о прикладном ресерче алгоритмов реал тайм рендера. В этот раз проходит в Денвере

В программе рейтрейсинг, денойзинг, DLSS, work graphs, воксели, Vulkan, restir, mesh шейдера и многое другое


Рекомендую заценить работу моих коллег (в 21:50 по CEST), где они пытаются ответить на вопрос: На каком же отскоке нужно использовать Radiance Cache и как адаптивно принимать это решение, таргетируясь на требуемый уровень шума\MSE

Также в 19 вечера Edward Liu, автор оригинального DLSS, поведает нам технические подробности DLSS 3.5.
Оочень любопытно насколько подробно он это сделает! или же все интересности всё ещё под NDA

Другие мои коллеги расскажут как адаптировали ReSTIR для real-time subsurface scattering-а (рекомендую посмотреть видео, 180 МБ)

А также Peter Shirley (Activision) планирует рассказать о будущем реалистичного рендера в ночь с субботы по воскресенье

Обожаю такой формат презентации статьи, где достаточно потребить информацию с сайта и всё станет понятно


Авторы обнаружили, что за camera-to-world projection матрицу, в некой степени, отвечает часть эмбеддинг спейса текстового промпт-а в text-2-image диффузных моделях

Ребята обучали небольшую нейронку предсказывать этот вектор, в зависимости от подаваемой матрицы, и генерировать novel views диффузкой с нужного нам ракурса

Работает не всегда идеально, можно пронаблюдать что структура сцены с разных углов немного, но всё же меняется. Но бьёт оригинальный нёрф в сухую и все SOTA nerf решения по LPIPS (персепшен метрика)

Главный философский вывод, так же подтверждаемый в некой степени иными работами: внутри диффузок наверняка есть "консистентное" 3Д представление сцены и мы наверняка сможем научиться его качественно визуализировать\"взаимодействовать" с ним
Т.е. сделать рендер-физ-движок 😁

На сигграфе и других площадках, можно наблюдать большое число примеров генерации text(+image/point clouds)->3D

Stability AI выпустили супер быстрое решение, генерирующее модель из картинки всего за 0.5 секунды

Nvidia встроила в Omniverse генерацию моделей, окружений и даже environment map для достижения желаемого освещения

Meta зарелизила несколько качественных статей на эту интересную тему, а также китайцы (из Tencent и универов, о чём я писал ранее) очень сильно продвинулись в этой теме

Мне порой пишут и спрашивают о том, как можно впрыгнуть в это направление, особенно со знаниями графики, рендера. Ведь text->3D это по сути Differentiable Render guided by AI, а еще там денег часто побольше и это что-то новое, трендовое

Я обычно всем рекомендую генеральный прекрасный курс от Vincent Sitzmann (MIT, основатель text-> gamedev 3D стартапа Yellow - писал тут).
А если хочется больше про обратный рендер, и меньше про ИИ, то безусловно работы RGL и 2 часовой курс от них и американцев будут лучшим подспорьем 😊

Advances in Real-Time Rendering in Games

Наконец-таки опубликовали слайды ежегодного воркшопа по реал-тайм рендеру!

В этом году выступили с докладами по темам:

- Neural Light Grid: Modernizing Irradiance Volumes with Machine Learning (pptx, pdf)

- Seamless Rendering on Mobile: The Magic of Adaptive LOD Pipeline (pptx, pdf).

Brian Karis, Epic Games, подтвердил что это клон Nanite и был разочарован данным докладом. Соглашусь с ним, что отсутствие double-blind peer view презентаций, очень сильно опускает их качество по сравнению со статьями того же Siggraph-а

- Flexible and Extensible Shader Authoring in Frostbite with Serac (pptx)

- Announcing The Call of Duty Open-Source USD Caldera Data Set (dataset)

- Variable Rate Shading with Visibility Buffer Rendering (pptx)

- Shipping Dynamic Global Illumination in Frostbite (ещё ждём слайдов)

- Hemispherical Lighting Insights from the Call of Duty Production Lessons (pptx)

- Achieving scalable performances for large scale components with CBTs (pdf)

Walkin’ Robin: Walk on Stars with Robin Boundary Conditions (статья, код)

Просимулировали нагрев вездехода NASA на Марсе через "рендер" движок на GPU
____________________________________________

WoS недавно революционно изменил обработку геометрии и решение диффуров на её поверхности. Тогда авторы показали что для решения задачи распространения тепла на поверхности (точнее Laplace Eq) не обязательно дискретизировать геометрию и использовать FDTD или иной biased global and memory consumption метод

можно переписать диффуры в виде интегралов и использовать стохастический но точный Monte Carlo метод, прям как в рендере. Эксплуатируя уже выведенные: Russian Roulette, Control Variates, "Radiance" Cache, "Light" Tracing для снижение дисперсии. И прям на GPU c шейдерами через Point\Ray Queries. Со 100% скалируемостью


В новой статье авторы вывели же поддержку Neumann и Robin Boundary Conditions, которые позволяют нам описывать через производные граничные значения. к примеру через ожидаемый поток тепла.