И знаете, размышляя об этой статье (и гуляя в парке), я попытался для себя сформулировать ещё раз, почему же задача обратного рендера может быть важна.

С одной стороны, да, имея "фото" какой-то сцены из "реального" мира, мы можем её реконструировать в виртуальном пространстве, вставить в игру, использовать для AR/VR и т.д. Это круто! 🔥

Но мне пришла одна очевидная, но фундаментальная мысль: устранив множество текущих инженерных и исследовательских проблем обратного рендера, мы сможем понять, почему наш рендер движок не в состоянии, в конечном итоге, реалистично воспроизвести настоящую сцену в виртуальном пространстве. Ведь если разрешить проблему оптимизации, то должен всегда найтись вектор параметров сцены (текстуры, положение вершин, источники света и их свойства, экспозиция), который приводит к той же картинке, что и камера нашего смартфона запечатлела в реальности!

Если же не находится, это значит, что или описательная способность наших BSDF моделей материалов слаба, или же то, как мы представляем источники света, или же модель камеры, GI лажает, или атмосфера не та! А может, волновую оптику надо лучше учитывать. Самое главное, что можно будет понять, какие дорогие "элементы" нашего рендера не так важны, и их можно оптимизировать. возможно, SSAO достаточен и RTAO нахер не сдался, если сравнить рендеры, используя perception-based AI: VGG/CLIP.

Пишите тоже, если есть мысли на этот счёт.... кажется и правда интересным вопросом 🤔🤔🤔

Кажется в особенности данный пример демонстрирует возможности text->video Dream Machine генерировать кадры, которые мы бы ожидали от супер реалистичного игрового рендера какого-то шутера.

Пока не понятно, что значит 120 second per 120 frames, на каком железе и т.д. но всего месяц назад я предполагал что генеративки являются угрозой лишь для рынка оффлайн рендера, но сейчас допускаю конкуренцию в будущем и на рынке реал тайм решений.

но вопрос контроля за тем, что происходит в сцене и как оно должно быть визуализировано. и конечно нам также нужны физические представления объектов. чтобы трекать коллизии пуль, как пример

но очень интересно.... надо думать как это все "соединить" 🤔🤔🤔

https://fixupx.com/i/status/1803181568451641487

хреновое качество с CVPR но OpenAI заявляют что в SORA виртуальный персонаж остается консистентным не только при движение камеры вокруг него, как будто бы это игра от 3го лица, но и в разных сценах. всё больше и больше признаков полноценного 3Д движка

Простой, понятный и прекрасный доклад о новой фиче под названием GPU Work Graphs, позволяющей наконец таки эффективно исполнять множество пассов в генеральном случаи, где объем и тип работы зависит от предыдущих вычислений

Показали как сократили использование памяти для Software Rasterization на 2 порядка по сравнению с ExecuteIndirect

Эх где они были пару лет назад, когда мой пафф трейсинг пасс генерил неравномерную работу для компьют шейдера, исполняющего ИИ 🥹

ещё один интересный пример, демонстрирующий что text->video может исполнять роль ограниченного (возможно лишь пока...) 3Д движка, на основе китайской модели Kling

проекция и геометрия конечно жёстко выдают ИИ, о чем я писал ранее

Это тот самый момент, когда я рад видеть статью, разрешившую часть задач, которыми я сейчас занимаюсь 😁. Просто в связи с тем, что раз таааакие крутые авторы бросились копать в это направление, значит и я не дурак, что потратил последние недели на то чтобы разобраться с Larsen’s Generalized Boltzmann Equation. Larsens GBE - это генеральный случай Radiative Transfer Equation, т.к. последний вводит ряд предположений, которые отрицательно влияют на качество итоговых рендеров как раз таки в представленных выше кейсах)
Для интересующихся полезные ссылки на эту тему:
1 2 3

https://fixupx.com/HPG_Conf/status/1807818683324289469

объявлены призы в виде Meta Quest 3 и RTX 4080 за лучшие шейдера. победитель выбирает, что ему больше понравится!

напоминаю что 19го июля дедлайн