Дайджест за неделю 23.09
решил попробовать в такой формат новостей, так что если считаете полезным лайкайте и кидайте в чатики!
Графон:
- Falcor обновился до 8.0. Завезли полноценную оптимизацию геометрии и поддержку Mitsuba 3 сцен из мира оффлайн рендера
- Device Generated Commands in Vulkan. Более генеральный platform-agnostic extension в противовес D3D12 ExecuteIndirect
Статейки:
- Диффузки для семплирования BSDF в реальном времени на 4090. Новая SOTA с поддержкой pdf estimation для MIS!
- Albedo + Diffuse Lighting + Specular Lighting Decomposition in the Wild! Восхитительные результаты
- Text(Image)->3D c PBR материалами за 5 секунд. Диффузия над компактными кубиками, описывающие локальный SDF и его материалы
ИИ:
- Эксперименты над Runway Gen-3 Alpha для симуляции освещения поверхности от искусственного источника света (1, 2, 3)
Индустрия:
- Анонс бюджетного Oculus 3S с Hyperscape на основе Gaussian Splatting
- Ubisoft начинает внутреннее расследование из-за финансовых неудач
#дайджест
решил попробовать в такой формат новостей, так что если считаете полезным лайкайте и кидайте в чатики!
Графон:
- Falcor обновился до 8.0. Завезли полноценную оптимизацию геометрии и поддержку Mitsuba 3 сцен из мира оффлайн рендера
- Device Generated Commands in Vulkan. Более генеральный platform-agnostic extension в противовес D3D12 ExecuteIndirect
Статейки:
- Диффузки для семплирования BSDF в реальном времени на 4090. Новая SOTA с поддержкой pdf estimation для MIS!
- Albedo + Diffuse Lighting + Specular Lighting Decomposition in the Wild! Восхитительные результаты
- Text(Image)->3D c PBR материалами за 5 секунд. Диффузия над компактными кубиками, описывающие локальный SDF и его материалы
ИИ:
- Эксперименты над Runway Gen-3 Alpha для симуляции освещения поверхности от искусственного источника света (1, 2, 3)
Индустрия:
- Анонс бюджетного Oculus 3S с Hyperscape на основе Gaussian Splatting
- Ubisoft начинает внутреннее расследование из-за финансовых неудач
#дайджест
👍14❤5🔥4
This media is not supported in your browser
VIEW IN TELEGRAM
В Unreal Engine 5 анонсировали MegaLights c поддержкой тысяч динамических источников света с полноценным затенением!
Поддержка "всех" источников света:
- Spot Light
- Area Lights (c текстурами)
- Point Lights и другие аналитические модели
и вольюметрик эффектов!
По демо пока не очень понятно как они смогли этого добиться на обычном PS5 в 60 фпс. Brian Karis также не раскрыл никаких интересных деталей.
Я лишь смог заметить стандартные темпоральные лаги, присущие вычислению освещения методом Monte Carlo и последующим его денойзингом... Также демка была взята с довольно "скучной" сценой, без микро-геометрии, на которых соответственно и интереснее всего проверять точность теней. хотя скорее всего компрессия ютуба всё подпортила
Понятно, что с высокой вероятностью это какая-то версия ReSTIR-а, но буду рад ошибиться! Ждём докладов :)
Update: подписчик, следящий за репой, добавляет что ранние версии стоили ~4-7ms с 256 лайтами на PS5/2080TI в 1080p -> приходилось использовать в 1/4 экрана. мб ускорили
#графон
Поддержка "всех" источников света:
- Spot Light
- Area Lights (c текстурами)
- Point Lights и другие аналитические модели
и вольюметрик эффектов!
По демо пока не очень понятно как они смогли этого добиться на обычном PS5 в 60 фпс. Brian Karis также не раскрыл никаких интересных деталей.
Я лишь смог заметить стандартные темпоральные лаги, присущие вычислению освещения методом Monte Carlo и последующим его денойзингом... Также демка была взята с довольно "скучной" сценой, без микро-геометрии, на которых соответственно и интереснее всего проверять точность теней. хотя скорее всего компрессия ютуба всё подпортила
Понятно, что с высокой вероятностью это какая-то версия ReSTIR-а, но буду рад ошибиться! Ждём докладов :)
Update: подписчик, следящий за репой, добавляет что ранние версии стоили ~4-7ms с 256 лайтами на PS5/2080TI в 1080p -> приходилось использовать в 1/4 экрана. мб ускорили
#графон
🔥16❤4🆒2🤡1
Ben Mildenhall, создатель NeRF-ов, объявил о своем новом стартапе World Labs, который кафаундит вместе с Fei-Fei Li (профессорка Стенфорда, ex-VP Google, "godmother of AI") и с Christoph Lassner. Все три с PhD 😊
Фандинг 230$ млн 🤯🤯🤯
И они хайрят! Им нужны графические инженеры, ресерчеры, опыт VFX и геймдева лишь только поощряется. Пишут о бенефитах в размере 150к-250к, что ожидаемо на таком уровне стартапов (имею ввиду кэш). Наверняка можно и об удаленке договорится
Как я предполагаю их цель занять нишу Gen3D, как Tencent, пока все генерят картинки и видео. Но эти крутые ребята понимают, что для такого нужно нормальное представление сцены, с (нейронным) рендером и pbr уравнениями, интерактивное и контролируемые
В последней же статье от Бена ребята адаптировали идею отражений по microfacet models в NeRF, для понимания уровня развития этого направления (см. картинку)
Мой опыт общения с ним на Eurographics 23 исключительно положительный, так что рекомендую к ним постучаться! 😊
#индустрия
Фандинг 230$ млн 🤯🤯🤯
И они хайрят! Им нужны графические инженеры, ресерчеры, опыт VFX и геймдева лишь только поощряется. Пишут о бенефитах в размере 150к-250к, что ожидаемо на таком уровне стартапов (имею ввиду кэш). Наверняка можно и об удаленке договорится
Как я предполагаю их цель занять нишу Gen3D, как Tencent, пока все генерят картинки и видео. Но эти крутые ребята понимают, что для такого нужно нормальное представление сцены, с (нейронным) рендером и pbr уравнениями, интерактивное и контролируемые
В последней же статье от Бена ребята адаптировали идею отражений по microfacet models в NeRF, для понимания уровня развития этого направления (см. картинку)
Мой опыт общения с ним на Eurographics 23 исключительно положительный, так что рекомендую к ним постучаться! 😊
#индустрия
🤯5🔥2
Дайджест за неделю 30.09
продолжаем экспериментировать с таким форматом!
Графон:
- Faster Ray Tracing through Hierarchy Cut Code вводит идею сортировки лучей для обхода BVH через этот же самый BVH 😁. Идея проста, но прирост в 1.81х раза
- Более точные Real-Time Anisotropic Specular Reflections на основе Image-Based Lighting
- АМД представила unbiased семплирование конволюции между Spherical Gaussians, описывающие BRDF и Light Sources, для давления шумов от прямого освещения
ИИ:
- ETH+Disney поправили кислотные цвета от Classifier-free Guidance в диффузках
Индустрия:
- Luma Labs ускорила генерацию видео в 10х до 20 секунд для 5 секундного результата, без потери качества. Призывают к ним идти, если шарите за CUDA
- RunWay ML планируют делать фильмы и ищут сценаристов, продюсеров и т.д.
- Создатель NeRFов вместе с "god mother of AI" анонсировали стартап c 230$ млн
- Chaos добавил поддержку Gaussian Splatting в V-Ray 7 Beta
Риск частичного вытеснения оффлайн-рендер движков в мире кино повышается
#дайджест
продолжаем экспериментировать с таким форматом!
Графон:
- Faster Ray Tracing through Hierarchy Cut Code вводит идею сортировки лучей для обхода BVH через этот же самый BVH 😁. Идея проста, но прирост в 1.81х раза
- Более точные Real-Time Anisotropic Specular Reflections на основе Image-Based Lighting
- АМД представила unbiased семплирование конволюции между Spherical Gaussians, описывающие BRDF и Light Sources, для давления шумов от прямого освещения
ИИ:
- ETH+Disney поправили кислотные цвета от Classifier-free Guidance в диффузках
Индустрия:
- Luma Labs ускорила генерацию видео в 10х до 20 секунд для 5 секундного результата, без потери качества. Призывают к ним идти, если шарите за CUDA
- RunWay ML планируют делать фильмы и ищут сценаристов, продюсеров и т.д.
- Создатель NeRFов вместе с "god mother of AI" анонсировали стартап c 230$ млн
- Chaos добавил поддержку Gaussian Splatting в V-Ray 7 Beta
Риск частичного вытеснения оффлайн-рендер движков в мире кино повышается
#дайджест
👍4👏1
This media is not supported in your browser
VIEW IN TELEGRAM
Довольно интересная история происходит в индустрии генерации видео, напоминающая мир тулзов для 3Д
KREA AI добавила поддержку под своим капотом основных топовых моделей для генерации картинок и видео (Runway, Luma Labs, Kling, Pika и т.д.), тем самым избавляет последних от нужны кодить соответствующие тулзы
Очень напоминает историю 3д редакторов с поддержкой множества разных рендер-движков. Вопрос лишь один: Adobe же может сделать абсолютно также c Photoshop и Premiere Pro и зачем нужны будут какие-то иные тулзы типа KREA?
Так или иначе всё чётче и чётче вырисовывается рыночная цепочка нового ИИ-рынка, что я считаю положительной новостью
#индустрия #ии
P.s. я последние недели в активном ресерче из-за возможного breakthrough... так что соррян за временно меньший поток интересной дичи
KREA AI добавила поддержку под своим капотом основных топовых моделей для генерации картинок и видео (Runway, Luma Labs, Kling, Pika и т.д.), тем самым избавляет последних от нужны кодить соответствующие тулзы
Очень напоминает историю 3д редакторов с поддержкой множества разных рендер-движков. Вопрос лишь один: Adobe же может сделать абсолютно также c Photoshop и Premiere Pro и зачем нужны будут какие-то иные тулзы типа KREA?
Так или иначе всё чётче и чётче вырисовывается рыночная цепочка нового ИИ-рынка, что я считаю положительной новостью
#индустрия #ии
P.s. я последние недели в активном ресерче из-за возможного breakthrough... так что соррян за временно меньший поток интересной дичи
🆒4🤔1
Обратный "рендер" движок но для 3Д томографии и оптимизации ДВС для эффективной теплопроводности
Вензел Якоб со своими студентами как всегда в очередной раз повышает планку серьезности исследований в Computer Graphics и выкатывает просто бомбу, а не статью. Я конечно был в курсе что они занимаются применением идей и фреймворков Dr.Jit (основа Mitsuba 3, эффективный auto-diff для CPU\GPU) из сферы обратного рендера для серьезных обратных задач физики, но не мог себе представить что они всего за пару лет дойдут до такого
Ведь всё началось с сильной магистерской работы Ekrem Fatih Yilmazer, которую ребята выложили на архив еще в далеком 22ом году
Всем интересующимся советую почитать статью, а тем кто хотел бы позаниматься чем-то похожим и сейчас учится в вузе, я напоминаю что в их лабе проходит Summer Research School с дедлайном подачи 1го декабря. Виза, перелеты, проживание (1800 франков в месяц) - все оплачивается
0 ИИ
#графон #статья
Вензел Якоб со своими студентами как всегда в очередной раз повышает планку серьезности исследований в Computer Graphics и выкатывает просто бомбу, а не статью. Я конечно был в курсе что они занимаются применением идей и фреймворков Dr.Jit (основа Mitsuba 3, эффективный auto-diff для CPU\GPU) из сферы обратного рендера для серьезных обратных задач физики, но не мог себе представить что они всего за пару лет дойдут до такого
Ведь всё началось с сильной магистерской работы Ekrem Fatih Yilmazer, которую ребята выложили на архив еще в далеком 22ом году
Всем интересующимся советую почитать статью, а тем кто хотел бы позаниматься чем-то похожим и сейчас учится в вузе, я напоминаю что в их лабе проходит Summer Research School с дедлайном подачи 1го декабря. Виза, перелеты, проживание (1800 франков в месяц) - все оплачивается
0 ИИ
#графон #статья
🔥7👍1
3Д Диффузки для генерации 3Д сцен с гауссианами
Ребята из TUM показали свою новую работу, примечательную тем, что диффузная сеть работает в трехмерном латентном пространстве, из которого далее декодируются гауссианы через vector-quantized variational autoencoder (VQ-VAE). Формально можно сделать тоже самое и с треугольниками с pbr материалами
Учитывая возросшие косты на разработку игр, имхо работа очень актуальна!
Но вопрос скалируемости + костов на исполнение. 3Д конволюции это довольно дорогое удовольствие по моему опыту и быстро упирается в VRAM Bandwidth
#графон #ии #статья
Ребята из TUM показали свою новую работу, примечательную тем, что диффузная сеть работает в трехмерном латентном пространстве, из которого далее декодируются гауссианы через vector-quantized variational autoencoder (VQ-VAE). Формально можно сделать тоже самое и с треугольниками с pbr материалами
Учитывая возросшие косты на разработку игр, имхо работа очень актуальна!
Но вопрос скалируемости + костов на исполнение. 3Д конволюции это довольно дорогое удовольствие по моему опыту и быстро упирается в VRAM Bandwidth
#графон #ии #статья
👍5
Бесит шум в рендере? просто минимизируйте его! - именно c такой идеей выпустили статью исследователи из Weta FX (Аватар, Планета Обезьян), выведя unbiased variance gradient estimator of Monte Carlo Light Transport estimator... ну вы поняли в общем (надеюсь)
По делу: unidirectional path-tracer (т.е. "обычный"), Dr. Jit для генерации auto-diff кода на GPU, RTX 4090
Авторы провели эксперименты, где попытались оптимизировать дисперсию (читай шум) сцен, корректируя градиентным спуском параметры как сцены, так и алгоритма трассировки лучей (к примеру Russian Roulette probability). Заняло 0.25-10 минут в их случаи, но делается это всё заранее 1 раз
Далее все рендерится тем же алгоритмом, который использовался и до оптимизации но уже с меньшим шумом, но порой с небольшим bias-ом. Такой variance-bias tradeoff. Cоответственно звучит как очень интересная идея для gamedev индустрии: нам часто важнее получить стабильный предсказуемый уровень шума, нежели чем unbiasedness и 100% качество освещения
#графон #статья
По делу: unidirectional path-tracer (т.е. "обычный"), Dr. Jit для генерации auto-diff кода на GPU, RTX 4090
Авторы провели эксперименты, где попытались оптимизировать дисперсию (читай шум) сцен, корректируя градиентным спуском параметры как сцены, так и алгоритма трассировки лучей (к примеру Russian Roulette probability). Заняло 0.25-10 минут в их случаи, но делается это всё заранее 1 раз
Далее все рендерится тем же алгоритмом, который использовался и до оптимизации но уже с меньшим шумом, но порой с небольшим bias-ом. Такой variance-bias tradeoff. Cоответственно звучит как очень интересная идея для gamedev индустрии: нам часто важнее получить стабильный предсказуемый уровень шума, нежели чем unbiasedness и 100% качество освещения
#графон #статья
👍7
Autodesk заэквайрила Wonder Dynamics, предлагающий AI, но в рамках классического 3Д пайплайна
Их server-based решения позволяют вытянуть анимацию из видео, наложив её на нужную модельку со скелетной\лицевой анимацией с сохранением динамики камеры, освещения и пост-эффектов. В итоге, артисты могут все подредактировать в Autodesk\UE\Blender, как и делали ранее 😊 т.е. сохранение артистик контроля что безумно важно для индустрии
Инструмент предлагает как и анимирование уже существующей 3Д сцены на основе видео, так и реалистичную вставку в уже существующие видео (кино) 3д моделей
Сумма сделки, к сожалению, не разглашается... Из интересного: кофаундером является Tye Sheridan (главный актер "Первому игроку приготовиться"), а в адвейзер-боард входит аж Стивен Спилберг!
постучался к некоторым ребятам на линкедине 😊
#индустрия #графон #ии
Их server-based решения позволяют вытянуть анимацию из видео, наложив её на нужную модельку со скелетной\лицевой анимацией с сохранением динамики камеры, освещения и пост-эффектов. В итоге, артисты могут все подредактировать в Autodesk\UE\Blender, как и делали ранее 😊 т.е. сохранение артистик контроля что безумно важно для индустрии
Инструмент предлагает как и анимирование уже существующей 3Д сцены на основе видео, так и реалистичную вставку в уже существующие видео (кино) 3д моделей
Сумма сделки, к сожалению, не разглашается... Из интересного: кофаундером является Tye Sheridan (главный актер "Первому игроку приготовиться"), а в адвейзер-боард входит аж Стивен Спилберг!
постучался к некоторым ребятам на линкедине 😊
#индустрия #графон #ии
👍7🔥5⚡1
This media is not supported in your browser
VIEW IN TELEGRAM
"Реал-Тайм" Майнкрафт в браузере зарендеренный полностью диффузной моделью на специальном железе Sohu, заточенном исключительно на матричные операции
Да да, можно поиграть прямо сейчас
Это коллаб Etched (Sohu) и нового израильского стартапа Decart, который уже стал прибыльным. Ребята разработали свой закрытый фреймворк для обучения и исполнение диффузок, с максимально оптимизированными ядрами и коммуникацией между GPUшками. Пишут про 47ms и 156ms для 1-итерации исполнения и соответственно обучения диффузной модели. И его продают тем, кто использует кластеры c более чем 1000ми H100
Также утверждают, что на H100 их Майнкрафт-моделька исполняется в 360p в 20 фпс, а на Sohu разрешение вырастает до 4к + энергоэффективность в 10х выше. звучит ооочень сладко для будущего клауд-ИИ-гейминга\кино
Фундаментально ничего нового, т.к. игровые-диффузки изобрели не сегодня (писал тут про Doom от Google), но доступ к ним прямо через браузер + очень амбициозные числа конечно удивляют!
#ии #индустрия
Да да, можно поиграть прямо сейчас
Это коллаб Etched (Sohu) и нового израильского стартапа Decart, который уже стал прибыльным. Ребята разработали свой закрытый фреймворк для обучения и исполнение диффузок, с максимально оптимизированными ядрами и коммуникацией между GPUшками. Пишут про 47ms и 156ms для 1-итерации исполнения и соответственно обучения диффузной модели. И его продают тем, кто использует кластеры c более чем 1000ми H100
Также утверждают, что на H100 их Майнкрафт-моделька исполняется в 360p в 20 фпс, а на Sohu разрешение вырастает до 4к + энергоэффективность в 10х выше. звучит ооочень сладко для будущего клауд-ИИ-гейминга\кино
Фундаментально ничего нового, т.к. игровые-диффузки изобрели не сегодня (писал тут про Doom от Google), но доступ к ним прямо через браузер + очень амбициозные числа конечно удивляют!
#ии #индустрия
🔥3