Пример реальной "памяти" диффузной модели в диффузном Minecraft-е

Тоже самое вы можете пронаблюдать, если несколько раз нырнете в воду и тут же из неё выплывете - каждый раз окружение будет совершенно разное

Поэтому, как я и писал в посте про Doom, я верую что текущие "игровые"-диффузные модели = тупо DLSS с экстраполяцией кадров на максималках, conditioned on user input. Для решения фундаментальной проблемы надо вводить блоки памяти\game state. Возможно для этого им надо реализовывать подобие Long short-term memory (LSTM) но там afaik проблемы с обучением (не обучал их с домашек по универу). Или обучаемая MLP-память, но тут лучше скажут ИИ-ученые

Или же идти через призму классического 3д рендер пайплайна, с введением понятия "сцены". Но таким образом наследуются все, или почти все, проблемы классического дифференциального рендера и light transport simulation (простой пример: зеркала)

незадача 😔

#ии

После того как все, кто только мог, процитировали твитт Тима, СЕО Epic Games, о том что ИИ - хрень, в контексте майнкрафта, как всегда приятно наблюдать качественную беседу без эмоций в реальном экспертном пузыре твиттера (Thomas Willberger - выпускник моей лабы, сделавший Enscape)

Полностью согласен с уже сдержанной оценкой Тима о разумностей последовательной интеграцией ИИ в современный рендер-пайплайн и очевидных рисках

Тот самый контролируемый text-> 3D Skeleton animated mesh ->Video\Render уже на подходе

Стартап, MeshCapade, из соседнего ко мне уютного городка Тюбинген продемонстрировал еще один прекрасный пример симбиоза старых и новых технологий

Фаундеры кстати все из Max Planck Institute for Intelligent Systems, в том числе директор этого супер успешного института (я бы сказал главного по ИИ в Германии) - Michael Black. Он также будет одним из Keynote Speakers на Eurographics 2025 в Лондоне, так что кто думает ехать или не ехать -> возможно это стоит вашего времени :)

Мне кажется этот прекрасный график объясняет за секунду важность скиллов в High Performance Computing и понимания современной архитектуры железа

Добавлю это в слайды для своего GPGPU курса следующего семестра! Кстати, возможно благодаря тому что я пиарил курс в этом семестре через призму AI-Computing-а мы увидели 4х рост в числе студентов 🥳

#ии #индустрия

Можно было бы: отсканировать геометрию, реконструировать каждый волосок, восстановить все возможны параметры описывающие BSDF кожи, важнейшие для корректного subsurface scattering-а (вплоть до определения меланина и гемоглобина в крови. читай тут). для этого надо было бы снять лицо под 1000 вариантами освещения, а не под 1им. далее провести дорогостоящую симуляцию света, ебясь с Monte Carlo шумом. Meta делала похожее просто :)

Что они сделали:
1️⃣ натравили динамические GSplats на видос таргет-лица для рендера flat-lit face с любого ракурса. ушли от проблемы реконструкции геометрии.
2️⃣ далее тупо применили fine-tuned Stable Diffusion 2.1, на вход которой подается flat-lit render и token sequence с закодированным SH освещением (вместо text-conditioning) => на выходе итоговый relit рендер. обучили используя 123 environment map-ы

всё. 0 PBR. 0 инженерии. но работает 👌

сколько времени занимает рендер? 5-6 секунд на А100 (~ RTX 4090) 1080p. это без оптимизации модели, с 30 диффузными шагами. кто в теме понимают, что можно достичь около SOTA результатов за 1-4 шага, что уже позволяет достичь ~200ms/frame. если еще оптимизировать исполнение модели, уверен что ~50ms более чем возможно! теперь подумайте сколько бы времени заняла симуляция света для похожего качества 🫠 или же денег-часов инженеров, пытающихся её ускорить...

какова мысль: диффузные сетки - как показывает одно из сравнений, приложил ниже - очень хорошо понимают как должны выглядеть лица. и как +- работает light transport. так еще мы их и исполнять учимся в реал-тайме (AI-Minecraft\AI-Doom)
так может быть им и правда стоить доверить часть рендера? т.к. оно просто на просто эффективнее, а еще есть окно для оптимизации, и не требуют реконструкции 1000 параметров?
если есть чем дополнить - пишите 👍

авторы собрали все ключевые слова 😁

✅ Differentiable
✅ Trainable
✅ Wireless
✅ Neural
✅ Ray-Tracing

Не прошло и года с момента, как World Labs получили фандинг, а ребята уже выпустили интересные демки с видосами генеративных 3д миров, поддерживающих:
- базовую физику и коллизии
- передвижение камеры
- консистентный мир даже с какими-то отражениями
- освещение сцены искусственным источником света
- depth-based эффекты
- динамические эффекты, анимация, водичка

всё это работает не идеально, т.к. мы все еще наблюдаем:
- странные искажения перспективы
- несоответствие отражений и действительности
- освещение уровня 90ых годов CGI - для искусственного источника света


ставлю на то, что последние две проблемы будет очень сложно разрешить в долгосрок... но кто сказал, что их прям уж и обязательно разрешать для успешного продукта в ближайшем будущем?)

#графон #ии #индустрия

Matthias Niessner из TUM организовал разговор от Chief Scientist-ом Luma Labs Jiaming Song, который начался лишь 10 минут назад. Кто хочет - запрыгивайте!

Upd:
Очень рекомендую
- Объясняет мотивацию к использованию фото и видео в качестве основы ИИ, а не 3Д. И почему не полагаемся на ИИ-based 3D рендере

- Кратко объясняет все то, что происходило в сфере за последний год. Приятно видеть все знакомые статьи

- Демонстрирует интересные примеры ИИ-based "light transport" и физики

Ждём такого же подъеба, но в сторону Light Transport Simulation 🫣

но пока, насколько мне известно, никто не обучает модельку, предсказывающую освещение для случайного набора параметров сцены

всё больше данных, демонстрирующий, что классические численные методы просто на просто sucks