This media is not supported in your browser
VIEW IN TELEGRAM
В Unreal Engine 5 анонсировали MegaLights c поддержкой тысяч динамических источников света с полноценным затенением!
Поддержка "всех" источников света:
- Spot Light
- Area Lights (c текстурами)
- Point Lights и другие аналитические модели
и вольюметрик эффектов!
По демо пока не очень понятно как они смогли этого добиться на обычном PS5 в 60 фпс. Brian Karis также не раскрыл никаких интересных деталей.
Я лишь смог заметить стандартные темпоральные лаги, присущие вычислению освещения методом Monte Carlo и последующим его денойзингом... Также демка была взята с довольно "скучной" сценой, без микро-геометрии, на которых соответственно и интереснее всего проверять точность теней. хотя скорее всего компрессия ютуба всё подпортила
Понятно, что с высокой вероятностью это какая-то версия ReSTIR-а, но буду рад ошибиться! Ждём докладов :)
Update: подписчик, следящий за репой, добавляет что ранние версии стоили ~4-7ms с 256 лайтами на PS5/2080TI в 1080p -> приходилось использовать в 1/4 экрана. мб ускорили
#графон
Поддержка "всех" источников света:
- Spot Light
- Area Lights (c текстурами)
- Point Lights и другие аналитические модели
и вольюметрик эффектов!
По демо пока не очень понятно как они смогли этого добиться на обычном PS5 в 60 фпс. Brian Karis также не раскрыл никаких интересных деталей.
Я лишь смог заметить стандартные темпоральные лаги, присущие вычислению освещения методом Monte Carlo и последующим его денойзингом... Также демка была взята с довольно "скучной" сценой, без микро-геометрии, на которых соответственно и интереснее всего проверять точность теней. хотя скорее всего компрессия ютуба всё подпортила
Понятно, что с высокой вероятностью это какая-то версия ReSTIR-а, но буду рад ошибиться! Ждём докладов :)
Update: подписчик, следящий за репой, добавляет что ранние версии стоили ~4-7ms с 256 лайтами на PS5/2080TI в 1080p -> приходилось использовать в 1/4 экрана. мб ускорили
#графон
🔥16❤4🆒2🤡1
Ben Mildenhall, создатель NeRF-ов, объявил о своем новом стартапе World Labs, который кафаундит вместе с Fei-Fei Li (профессорка Стенфорда, ex-VP Google, "godmother of AI") и с Christoph Lassner. Все три с PhD 😊
Фандинг 230$ млн 🤯🤯🤯
И они хайрят! Им нужны графические инженеры, ресерчеры, опыт VFX и геймдева лишь только поощряется. Пишут о бенефитах в размере 150к-250к, что ожидаемо на таком уровне стартапов (имею ввиду кэш). Наверняка можно и об удаленке договорится
Как я предполагаю их цель занять нишу Gen3D, как Tencent, пока все генерят картинки и видео. Но эти крутые ребята понимают, что для такого нужно нормальное представление сцены, с (нейронным) рендером и pbr уравнениями, интерактивное и контролируемые
В последней же статье от Бена ребята адаптировали идею отражений по microfacet models в NeRF, для понимания уровня развития этого направления (см. картинку)
Мой опыт общения с ним на Eurographics 23 исключительно положительный, так что рекомендую к ним постучаться! 😊
#индустрия
Фандинг 230$ млн 🤯🤯🤯
И они хайрят! Им нужны графические инженеры, ресерчеры, опыт VFX и геймдева лишь только поощряется. Пишут о бенефитах в размере 150к-250к, что ожидаемо на таком уровне стартапов (имею ввиду кэш). Наверняка можно и об удаленке договорится
Как я предполагаю их цель занять нишу Gen3D, как Tencent, пока все генерят картинки и видео. Но эти крутые ребята понимают, что для такого нужно нормальное представление сцены, с (нейронным) рендером и pbr уравнениями, интерактивное и контролируемые
В последней же статье от Бена ребята адаптировали идею отражений по microfacet models в NeRF, для понимания уровня развития этого направления (см. картинку)
Мой опыт общения с ним на Eurographics 23 исключительно положительный, так что рекомендую к ним постучаться! 😊
#индустрия
🤯5🔥2
Дайджест за неделю 30.09
продолжаем экспериментировать с таким форматом!
Графон:
- Faster Ray Tracing through Hierarchy Cut Code вводит идею сортировки лучей для обхода BVH через этот же самый BVH 😁. Идея проста, но прирост в 1.81х раза
- Более точные Real-Time Anisotropic Specular Reflections на основе Image-Based Lighting
- АМД представила unbiased семплирование конволюции между Spherical Gaussians, описывающие BRDF и Light Sources, для давления шумов от прямого освещения
ИИ:
- ETH+Disney поправили кислотные цвета от Classifier-free Guidance в диффузках
Индустрия:
- Luma Labs ускорила генерацию видео в 10х до 20 секунд для 5 секундного результата, без потери качества. Призывают к ним идти, если шарите за CUDA
- RunWay ML планируют делать фильмы и ищут сценаристов, продюсеров и т.д.
- Создатель NeRFов вместе с "god mother of AI" анонсировали стартап c 230$ млн
- Chaos добавил поддержку Gaussian Splatting в V-Ray 7 Beta
Риск частичного вытеснения оффлайн-рендер движков в мире кино повышается
#дайджест
продолжаем экспериментировать с таким форматом!
Графон:
- Faster Ray Tracing through Hierarchy Cut Code вводит идею сортировки лучей для обхода BVH через этот же самый BVH 😁. Идея проста, но прирост в 1.81х раза
- Более точные Real-Time Anisotropic Specular Reflections на основе Image-Based Lighting
- АМД представила unbiased семплирование конволюции между Spherical Gaussians, описывающие BRDF и Light Sources, для давления шумов от прямого освещения
ИИ:
- ETH+Disney поправили кислотные цвета от Classifier-free Guidance в диффузках
Индустрия:
- Luma Labs ускорила генерацию видео в 10х до 20 секунд для 5 секундного результата, без потери качества. Призывают к ним идти, если шарите за CUDA
- RunWay ML планируют делать фильмы и ищут сценаристов, продюсеров и т.д.
- Создатель NeRFов вместе с "god mother of AI" анонсировали стартап c 230$ млн
- Chaos добавил поддержку Gaussian Splatting в V-Ray 7 Beta
Риск частичного вытеснения оффлайн-рендер движков в мире кино повышается
#дайджест
👍4👏1
This media is not supported in your browser
VIEW IN TELEGRAM
Довольно интересная история происходит в индустрии генерации видео, напоминающая мир тулзов для 3Д
KREA AI добавила поддержку под своим капотом основных топовых моделей для генерации картинок и видео (Runway, Luma Labs, Kling, Pika и т.д.), тем самым избавляет последних от нужны кодить соответствующие тулзы
Очень напоминает историю 3д редакторов с поддержкой множества разных рендер-движков. Вопрос лишь один: Adobe же может сделать абсолютно также c Photoshop и Premiere Pro и зачем нужны будут какие-то иные тулзы типа KREA?
Так или иначе всё чётче и чётче вырисовывается рыночная цепочка нового ИИ-рынка, что я считаю положительной новостью
#индустрия #ии
P.s. я последние недели в активном ресерче из-за возможного breakthrough... так что соррян за временно меньший поток интересной дичи
KREA AI добавила поддержку под своим капотом основных топовых моделей для генерации картинок и видео (Runway, Luma Labs, Kling, Pika и т.д.), тем самым избавляет последних от нужны кодить соответствующие тулзы
Очень напоминает историю 3д редакторов с поддержкой множества разных рендер-движков. Вопрос лишь один: Adobe же может сделать абсолютно также c Photoshop и Premiere Pro и зачем нужны будут какие-то иные тулзы типа KREA?
Так или иначе всё чётче и чётче вырисовывается рыночная цепочка нового ИИ-рынка, что я считаю положительной новостью
#индустрия #ии
P.s. я последние недели в активном ресерче из-за возможного breakthrough... так что соррян за временно меньший поток интересной дичи
🆒4🤔1
Обратный "рендер" движок но для 3Д томографии и оптимизации ДВС для эффективной теплопроводности
Вензел Якоб со своими студентами как всегда в очередной раз повышает планку серьезности исследований в Computer Graphics и выкатывает просто бомбу, а не статью. Я конечно был в курсе что они занимаются применением идей и фреймворков Dr.Jit (основа Mitsuba 3, эффективный auto-diff для CPU\GPU) из сферы обратного рендера для серьезных обратных задач физики, но не мог себе представить что они всего за пару лет дойдут до такого
Ведь всё началось с сильной магистерской работы Ekrem Fatih Yilmazer, которую ребята выложили на архив еще в далеком 22ом году
Всем интересующимся советую почитать статью, а тем кто хотел бы позаниматься чем-то похожим и сейчас учится в вузе, я напоминаю что в их лабе проходит Summer Research School с дедлайном подачи 1го декабря. Виза, перелеты, проживание (1800 франков в месяц) - все оплачивается
0 ИИ
#графон #статья
Вензел Якоб со своими студентами как всегда в очередной раз повышает планку серьезности исследований в Computer Graphics и выкатывает просто бомбу, а не статью. Я конечно был в курсе что они занимаются применением идей и фреймворков Dr.Jit (основа Mitsuba 3, эффективный auto-diff для CPU\GPU) из сферы обратного рендера для серьезных обратных задач физики, но не мог себе представить что они всего за пару лет дойдут до такого
Ведь всё началось с сильной магистерской работы Ekrem Fatih Yilmazer, которую ребята выложили на архив еще в далеком 22ом году
Всем интересующимся советую почитать статью, а тем кто хотел бы позаниматься чем-то похожим и сейчас учится в вузе, я напоминаю что в их лабе проходит Summer Research School с дедлайном подачи 1го декабря. Виза, перелеты, проживание (1800 франков в месяц) - все оплачивается
0 ИИ
#графон #статья
🔥7👍1
3Д Диффузки для генерации 3Д сцен с гауссианами
Ребята из TUM показали свою новую работу, примечательную тем, что диффузная сеть работает в трехмерном латентном пространстве, из которого далее декодируются гауссианы через vector-quantized variational autoencoder (VQ-VAE). Формально можно сделать тоже самое и с треугольниками с pbr материалами
Учитывая возросшие косты на разработку игр, имхо работа очень актуальна!
Но вопрос скалируемости + костов на исполнение. 3Д конволюции это довольно дорогое удовольствие по моему опыту и быстро упирается в VRAM Bandwidth
#графон #ии #статья
Ребята из TUM показали свою новую работу, примечательную тем, что диффузная сеть работает в трехмерном латентном пространстве, из которого далее декодируются гауссианы через vector-quantized variational autoencoder (VQ-VAE). Формально можно сделать тоже самое и с треугольниками с pbr материалами
Учитывая возросшие косты на разработку игр, имхо работа очень актуальна!
Но вопрос скалируемости + костов на исполнение. 3Д конволюции это довольно дорогое удовольствие по моему опыту и быстро упирается в VRAM Bandwidth
#графон #ии #статья
👍5
Бесит шум в рендере? просто минимизируйте его! - именно c такой идеей выпустили статью исследователи из Weta FX (Аватар, Планета Обезьян), выведя unbiased variance gradient estimator of Monte Carlo Light Transport estimator... ну вы поняли в общем (надеюсь)
По делу: unidirectional path-tracer (т.е. "обычный"), Dr. Jit для генерации auto-diff кода на GPU, RTX 4090
Авторы провели эксперименты, где попытались оптимизировать дисперсию (читай шум) сцен, корректируя градиентным спуском параметры как сцены, так и алгоритма трассировки лучей (к примеру Russian Roulette probability). Заняло 0.25-10 минут в их случаи, но делается это всё заранее 1 раз
Далее все рендерится тем же алгоритмом, который использовался и до оптимизации но уже с меньшим шумом, но порой с небольшим bias-ом. Такой variance-bias tradeoff. Cоответственно звучит как очень интересная идея для gamedev индустрии: нам часто важнее получить стабильный предсказуемый уровень шума, нежели чем unbiasedness и 100% качество освещения
#графон #статья
По делу: unidirectional path-tracer (т.е. "обычный"), Dr. Jit для генерации auto-diff кода на GPU, RTX 4090
Авторы провели эксперименты, где попытались оптимизировать дисперсию (читай шум) сцен, корректируя градиентным спуском параметры как сцены, так и алгоритма трассировки лучей (к примеру Russian Roulette probability). Заняло 0.25-10 минут в их случаи, но делается это всё заранее 1 раз
Далее все рендерится тем же алгоритмом, который использовался и до оптимизации но уже с меньшим шумом, но порой с небольшим bias-ом. Такой variance-bias tradeoff. Cоответственно звучит как очень интересная идея для gamedev индустрии: нам часто важнее получить стабильный предсказуемый уровень шума, нежели чем unbiasedness и 100% качество освещения
#графон #статья
👍7
Autodesk заэквайрила Wonder Dynamics, предлагающий AI, но в рамках классического 3Д пайплайна
Их server-based решения позволяют вытянуть анимацию из видео, наложив её на нужную модельку со скелетной\лицевой анимацией с сохранением динамики камеры, освещения и пост-эффектов. В итоге, артисты могут все подредактировать в Autodesk\UE\Blender, как и делали ранее 😊 т.е. сохранение артистик контроля что безумно важно для индустрии
Инструмент предлагает как и анимирование уже существующей 3Д сцены на основе видео, так и реалистичную вставку в уже существующие видео (кино) 3д моделей
Сумма сделки, к сожалению, не разглашается... Из интересного: кофаундером является Tye Sheridan (главный актер "Первому игроку приготовиться"), а в адвейзер-боард входит аж Стивен Спилберг!
постучался к некоторым ребятам на линкедине 😊
#индустрия #графон #ии
Их server-based решения позволяют вытянуть анимацию из видео, наложив её на нужную модельку со скелетной\лицевой анимацией с сохранением динамики камеры, освещения и пост-эффектов. В итоге, артисты могут все подредактировать в Autodesk\UE\Blender, как и делали ранее 😊 т.е. сохранение артистик контроля что безумно важно для индустрии
Инструмент предлагает как и анимирование уже существующей 3Д сцены на основе видео, так и реалистичную вставку в уже существующие видео (кино) 3д моделей
Сумма сделки, к сожалению, не разглашается... Из интересного: кофаундером является Tye Sheridan (главный актер "Первому игроку приготовиться"), а в адвейзер-боард входит аж Стивен Спилберг!
постучался к некоторым ребятам на линкедине 😊
#индустрия #графон #ии
👍7🔥5⚡1
This media is not supported in your browser
VIEW IN TELEGRAM
"Реал-Тайм" Майнкрафт в браузере зарендеренный полностью диффузной моделью на специальном железе Sohu, заточенном исключительно на матричные операции
Да да, можно поиграть прямо сейчас
Это коллаб Etched (Sohu) и нового израильского стартапа Decart, который уже стал прибыльным. Ребята разработали свой закрытый фреймворк для обучения и исполнение диффузок, с максимально оптимизированными ядрами и коммуникацией между GPUшками. Пишут про 47ms и 156ms для 1-итерации исполнения и соответственно обучения диффузной модели. И его продают тем, кто использует кластеры c более чем 1000ми H100
Также утверждают, что на H100 их Майнкрафт-моделька исполняется в 360p в 20 фпс, а на Sohu разрешение вырастает до 4к + энергоэффективность в 10х выше. звучит ооочень сладко для будущего клауд-ИИ-гейминга\кино
Фундаментально ничего нового, т.к. игровые-диффузки изобрели не сегодня (писал тут про Doom от Google), но доступ к ним прямо через браузер + очень амбициозные числа конечно удивляют!
#ии #индустрия
Да да, можно поиграть прямо сейчас
Это коллаб Etched (Sohu) и нового израильского стартапа Decart, который уже стал прибыльным. Ребята разработали свой закрытый фреймворк для обучения и исполнение диффузок, с максимально оптимизированными ядрами и коммуникацией между GPUшками. Пишут про 47ms и 156ms для 1-итерации исполнения и соответственно обучения диффузной модели. И его продают тем, кто использует кластеры c более чем 1000ми H100
Также утверждают, что на H100 их Майнкрафт-моделька исполняется в 360p в 20 фпс, а на Sohu разрешение вырастает до 4к + энергоэффективность в 10х выше. звучит ооочень сладко для будущего клауд-ИИ-гейминга\кино
Фундаментально ничего нового, т.к. игровые-диффузки изобрели не сегодня (писал тут про Doom от Google), но доступ к ним прямо через браузер + очень амбициозные числа конечно удивляют!
#ии #индустрия
🔥3
Pixel Science
"Реал-Тайм" Майнкрафт в браузере зарендеренный полностью диффузной моделью на специальном железе Sohu, заточенном исключительно на матричные операции Да да, можно поиграть прямо сейчас Это коллаб Etched (Sohu) и нового израильского стартапа Decart, который…
This media is not supported in your browser
VIEW IN TELEGRAM
Пример реальной "памяти" диффузной модели в диффузном Minecraft-е
Тоже самое вы можете пронаблюдать, если несколько раз нырнете в воду и тут же из неё выплывете - каждый раз окружение будет совершенно разное
Поэтому, как я и писал в посте про Doom, я верую что текущие "игровые"-диффузные модели = тупо DLSS с экстраполяцией кадров на максималках, conditioned on user input. Для решения фундаментальной проблемы надо вводить блоки памяти\game state. Возможно для этого им надо реализовывать подобие Long short-term memory (LSTM) но там afaik проблемы с обучением (не обучал их с домашек по универу). Или обучаемая MLP-память, но тут лучше скажут ИИ-ученые
Или же идти через призму классического 3д рендер пайплайна, с введением понятия "сцены". Но таким образом наследуются все, или почти все, проблемы классического дифференциального рендера и light transport simulation (простой пример: зеркала)
незадача 😔
#ии
Тоже самое вы можете пронаблюдать, если несколько раз нырнете в воду и тут же из неё выплывете - каждый раз окружение будет совершенно разное
Поэтому, как я и писал в посте про Doom, я верую что текущие "игровые"-диффузные модели = тупо DLSS с экстраполяцией кадров на максималках, conditioned on user input. Для решения фундаментальной проблемы надо вводить блоки памяти\game state. Возможно для этого им надо реализовывать подобие Long short-term memory (LSTM) но там afaik проблемы с обучением (не обучал их с домашек по универу). Или обучаемая MLP-память, но тут лучше скажут ИИ-ученые
Или же идти через призму классического 3д рендер пайплайна, с введением понятия "сцены". Но таким образом наследуются все, или почти все, проблемы классического дифференциального рендера и light transport simulation (простой пример: зеркала)
незадача 😔
#ии
👍5
Предпосылка к темпорально-консистентной "world-model" с 90 FPS на 1ой A100
Работа предлагает end-to-end рендер:
1️⃣ Таргет-лучи кодируются как токены
2️⃣ В случаи encoder-decoder кодируется латентное представление сцены и последовательно обновляется на основе токенов подаваемых опорных изображений
В случаи decoder-only просто предсказываем исходя из токенов изображений. не скалируемо и не интересно
3️⃣ Autoregressive модель, как LLMка, предсказывает рендер на основе серии вышеописанных токенов
Всё прекрасно, авторы побили алгоритмы с идеями из классического 3Д. какбы отсылая к "The Bitter Lesson"...
Но я вижу это немного иначе: encoder-decoder существенно проигрывает decoder-only (на уровне гауссиан) из-за компрессии всей сцены в 1 латентный-вектор и потери деталей
но можно же сделать его в 2х длиннее? да, но косты трансформеров O(N^2) рейтрейсинг - O(logN)-O(N)
и хз насколько window\stochastic\X-attentions достигающие ~O(N) подойдут. моя гипотеза, что не особо по ряду причин. но.. будем проверять 😊
Работа предлагает end-to-end рендер:
1️⃣ Таргет-лучи кодируются как токены
2️⃣ В случаи encoder-decoder кодируется латентное представление сцены и последовательно обновляется на основе токенов подаваемых опорных изображений
В случаи decoder-only просто предсказываем исходя из токенов изображений. не скалируемо и не интересно
3️⃣ Autoregressive модель, как LLMка, предсказывает рендер на основе серии вышеописанных токенов
Всё прекрасно, авторы побили алгоритмы с идеями из классического 3Д. какбы отсылая к "The Bitter Lesson"...
Но я вижу это немного иначе: encoder-decoder существенно проигрывает decoder-only (на уровне гауссиан) из-за компрессии всей сцены в 1 латентный-вектор и потери деталей
но можно же сделать его в 2х длиннее? да, но косты трансформеров O(N^2) рейтрейсинг - O(logN)-O(N)
и хз насколько window\stochastic\X-attentions достигающие ~O(N) подойдут. моя гипотеза, что не особо по ряду причин. но.. будем проверять 😊
🔥3