Шок. Гауссианы выебали JPEG по скорости декодирования изображения при низком битрейте. Аж под 1000-2000 FPS.😱😱😱

В сухую обогнали все SOTA нейронные методы по PSNR/Decoding time, на основе multi-level hash-encodings, SIREN и прочего.

пока лишь проблема это время кодирования изображения + отсутствие по-пиксельного random access-а. было бы полезненько для текстур конечно.

Проект + код

Коллеги по цеху (кажется это Nvidia) проделали громоздкую работу и попытались выяснить как же лучше рендерить сферические гауссианы рейтрейсингом

Вопросов же много:
1. Какими мешами надо описывать гауссианы для BVH чтобы RTX давал лучший FPS? Ответ: вытянутый icosahedron с клампнингом границ по минимальному респонсу гауссиан

2. Как быстрее их трассировать с учетом alpha-bleding-а? Ответ:
Ищем пересечение с K гауссианами с помощью any-hit -> сортируем по глубине -> считаем редианс (и трансмиттенс) -> переходим к следующим K частиц пока они не закончатся\transmittance > eps

3. Что больше влияет на перформанс? Ответ: число hit-ов, а не число частиц. Поэтому авторы попробовали использовать не стандартные, а генерализированные гауссианы (там в степень N возводится расстояние до центра частицы) + 2D splats. Удалось увеличить перформанс. Использовали дифф. рендер чтобы получить новые параметры.

Все эти ответы обоснованы экспериментами. По FPS все равно проигрыш 2-3х раза растеризации. пока. По VRAM же наоборот

High Performance Graphics 2024 начнется уже через 1.5 часа. Онлайн трансляция и расписание

Напоминаю, что это конференция о прикладном ресерче алгоритмов реал тайм рендера. В этот раз проходит в Денвере

В программе рейтрейсинг, денойзинг, DLSS, work graphs, воксели, Vulkan, restir, mesh шейдера и многое другое


Рекомендую заценить работу моих коллег (в 21:50 по CEST), где они пытаются ответить на вопрос: На каком же отскоке нужно использовать Radiance Cache и как адаптивно принимать это решение, таргетируясь на требуемый уровень шума\MSE

Также в 19 вечера Edward Liu, автор оригинального DLSS, поведает нам технические подробности DLSS 3.5.
Оочень любопытно насколько подробно он это сделает! или же все интересности всё ещё под NDA

Другие мои коллеги расскажут как адаптировали ReSTIR для real-time subsurface scattering-а (рекомендую посмотреть видео, 180 МБ)

А также Peter Shirley (Activision) планирует рассказать о будущем реалистичного рендера в ночь с субботы по воскресенье

Обожаю такой формат презентации статьи, где достаточно потребить информацию с сайта и всё станет понятно


Авторы обнаружили, что за camera-to-world projection матрицу, в некой степени, отвечает часть эмбеддинг спейса текстового промпт-а в text-2-image диффузных моделях

Ребята обучали небольшую нейронку предсказывать этот вектор, в зависимости от подаваемой матрицы, и генерировать novel views диффузкой с нужного нам ракурса

Работает не всегда идеально, можно пронаблюдать что структура сцены с разных углов немного, но всё же меняется. Но бьёт оригинальный нёрф в сухую и все SOTA nerf решения по LPIPS (персепшен метрика)

Главный философский вывод, так же подтверждаемый в некой степени иными работами: внутри диффузок наверняка есть "консистентное" 3Д представление сцены и мы наверняка сможем научиться его качественно визуализировать\"взаимодействовать" с ним
Т.е. сделать рендер-физ-движок 😁

На сигграфе и других площадках, можно наблюдать большое число примеров генерации text(+image/point clouds)->3D

Stability AI выпустили супер быстрое решение, генерирующее модель из картинки всего за 0.5 секунды

Nvidia встроила в Omniverse генерацию моделей, окружений и даже environment map для достижения желаемого освещения

Meta зарелизила несколько качественных статей на эту интересную тему, а также китайцы (из Tencent и универов, о чём я писал ранее) очень сильно продвинулись в этой теме

Мне порой пишут и спрашивают о том, как можно впрыгнуть в это направление, особенно со знаниями графики, рендера. Ведь text->3D это по сути Differentiable Render guided by AI, а еще там денег часто побольше и это что-то новое, трендовое

Я обычно всем рекомендую генеральный прекрасный курс от Vincent Sitzmann (MIT, основатель text-> gamedev 3D стартапа Yellow - писал тут).
А если хочется больше про обратный рендер, и меньше про ИИ, то безусловно работы RGL и 2 часовой курс от них и американцев будут лучшим подспорьем 😊