Также была (да и всё еще частично есть) проблема в том, что эти нейронки надо вызывать в отдельном кернеле, что убивало идею эффективного megakernel паф трейсинга.
Но так или иначе схема рабочая, как показывают авторы этой статьи, но только если мы в оффлайне и можем позволить себе медленную сходимость и wavefront path-tracing (не megakernel, почему он медленный). Но точно не стабильную из-за шумов, и жаль, что эту проблему они не разрешили.
Но так или иначе схема рабочая, как показывают авторы этой статьи, но только если мы в оффлайне и можем позволить себе медленную сходимость и wavefront path-tracing (не megakernel, почему он медленный). Но точно не стабильную из-за шумов, и жаль, что эту проблему они не разрешили.
проблему инженерную с megakernel имхо можно разрешить и мы сейчас похожим занимаемся... но вот с обучением нестабильным, как у меня так и у моих коллег а также одного дипломника которого я ввёл, пока ничего не получилось из "простого" и красивого
пишите если будут идеи 👌
пишите если будут идеи 👌
Вышла интересная статья на основе Generalized Triangle Strip для реал тайм декомпрессии meshlet-ов. Много логичных инженерных оптимизаций и стоящими за ними меш-шейдеров с активным использованием бинарных wave instructions.
В реальности ребята добиваются 3-4х компрессии. И в отличие от конкурентных работ типа Nanite в UE5, они генерят итоговые треугольники на лету без кэширования в глобальную память.
В реальности ребята добиваются 3-4х компрессии. И в отличие от конкурентных работ типа Nanite в UE5, они генерят итоговые треугольники на лету без кэширования в глобальную память.
Жертвы по скорости рендера и в правду адекватные, если забыть про Reuse Packing. Имхо и его имплементация радикально сложнее из-за префикс сама, и экономия по памяти копеешная, и перф снижает сильно (в особенности на видеокартах зелёных 😁. ну может поленились норм имплементировать/нет нужных инструкций)
This media is not supported in your browser
VIEW IN TELEGRAM
Transforming a Non-Differentiable Rasterizer into a Differentiable One with Stochastic Gradient Estimation
Ребята из Интела предложили оригинальную комбинацию Stochastic Gradient Descent с инженерным подходом к определению того, какие конкретно параметры сцены реально влияют на значение каждого пикселя, для оценки градиентов
Таким образом можно легко сделать большинство рендер-движков дифференцируемыми, что они и показали на примере Unity
Ребята из Интела предложили оригинальную комбинацию Stochastic Gradient Descent с инженерным подходом к определению того, какие конкретно параметры сцены реально влияют на значение каждого пикселя, для оценки градиентов
Таким образом можно легко сделать большинство рендер-движков дифференцируемыми, что они и показали на примере Unity
Добились высокого перформанса, даже обойдя nvDiffRast по производительности, ценою ограничений:
- не работает с трассировкой путей, вторичными градиентами (тени, отражения)
- многократное рассеивание света для PBRного объемного рендера тоже минус
- обучение нейронок внутри рендера также отваливается
но всё равно оч круто для практического использования
- не работает с трассировкой путей, вторичными градиентами (тени, отражения)
- многократное рассеивание света для PBRного объемного рендера тоже минус
- обучение нейронок внутри рендера также отваливается
но всё равно оч круто для практического использования
https://fxtwitter.com/i/status/1780979464706343062
даже проверили на мобилке через Юнити. пример с кодом также обещают выкатить, но с виду оч. легко повторить)
даже проверили на мобилке через Юнити. пример с кодом также обещают выкатить, но с виду оч. легко повторить)
🧵 Thread • FxTwitter
Eric Heitz (@eric_heitz)
By implementing our method in @unity, we can achieve fully cross-platform differentiable rendering, running even on low-end mobile phones:
https://fxtwitter.com/_akhaliq/status/1781181414186103140?t=7QqS0WJ6WH23hmHaOctYtg&s=19
Генерация готовых мешей по нескольким фото с разных сторон/тексту всего за секунду. Примеры есть на сайте, ждём кода с весами чтоб самим попробовать)
Генерация готовых мешей по нескольким фото с разных сторон/тексту всего за секунду. Примеры есть на сайте, ждём кода с весами чтоб самим попробовать)
🧵 Thread • FxTwitter
AK (@_akhaliq)
MeshLRM
Large Reconstruction Model for High-Quality Mesh
We propose MeshLRM, a novel LRM-based approach that can reconstruct a high-quality mesh from merely four input images in less than one second. Different from previous large reconstruction models (LRMs)…
Large Reconstruction Model for High-Quality Mesh
We propose MeshLRM, a novel LRM-based approach that can reconstruct a high-quality mesh from merely four input images in less than one second. Different from previous large reconstruction models (LRMs)…
Сейчас идёт Еврографикс 2024, на котором очень много клевых статей, в том числе для реал-тайм рендера. Рендер атмосферы, подводных миров, компрессия текстур Надеюсь найду в конце следующей недели время на полный разбор основных папир!
Под нейронную реал-тайм графику аж выделили отдельный трек, и это очень хороший зеленый сигнал. А мы в своё время продолжаем пилить фреймворк, который бы мог еще сильнее развить это направление 😉
Под нейронную реал-тайм графику аж выделили отдельный трек, и это очень хороший зеленый сигнал. А мы в своё время продолжаем пилить фреймворк, который бы мог еще сильнее развить это направление 😉
Прослушал интервью с СЕО Simulon.
ребята конечно поразили своими VFX вставками в обычные видео, с супер реалистичной CGI графикой. заявляют что всё работает автоматический 🤨
И что меня поразило вдвойне: СЕО утверждает, что тут скорее не МЛ порешал (который тоже они использует, но для восстановления ряда параметров сцен), а PBR и Inverse Rendering.
Очень приятно, что постепенно народ начинает осознать важность этих направлений ☺️☺️☺️
P.s. какой спекуляр, какие тени от листьев!! бомба 😋
ребята конечно поразили своими VFX вставками в обычные видео, с супер реалистичной CGI графикой. заявляют что всё работает автоматический 🤨
И что меня поразило вдвойне: СЕО утверждает, что тут скорее не МЛ порешал (который тоже они использует, но для восстановления ряда параметров сцен), а PBR и Inverse Rendering.
Очень приятно, что постепенно народ начинает осознать важность этих направлений ☺️☺️☺️
P.s. какой спекуляр, какие тени от листьев!! бомба 😋
Подготавливаю тут репорт по Intel проекту, что да как у нас прошло и чем обоснованы некоторые принятые решения
и набрёлся на очень годный доклад от эпиков по их системе многослойных материалов, высочайшего качества! демка
решил поглядеть кто же стоит за их новой системой материалов и увидел знакомое имя: Sebastien Hillaire. Для понимаю это человек, стоящий за:
- PBRом по сути всей индустрии, ведь все побежали его копировать из Frostbite
- первым PBR volumetric render-ом, Frostbite
- первыми примерами продакшен-реди RTX-based GI, Frostbite
- одной из первых качественных реализаций рендера атмосфера и облачков (еще до Guerrilla Games c horizon zero dawn), а также за новой SOTA которую он предложил в рамках работы уже у Epic Games
прям очередной пример что 10х и 100х программисты/ресёрчеры существуют
очень хочется с ним на каком-то сиграффе познакомиться, т.к. я даже не мог себе представить что всего 1 человек так сильно мог изменить нашу индустрию, и всё еще продолжает это делать 😊
и набрёлся на очень годный доклад от эпиков по их системе многослойных материалов, высочайшего качества! демка
решил поглядеть кто же стоит за их новой системой материалов и увидел знакомое имя: Sebastien Hillaire. Для понимаю это человек, стоящий за:
- PBRом по сути всей индустрии, ведь все побежали его копировать из Frostbite
- первым PBR volumetric render-ом, Frostbite
- первыми примерами продакшен-реди RTX-based GI, Frostbite
- одной из первых качественных реализаций рендера атмосфера и облачков (еще до Guerrilla Games c horizon zero dawn), а также за новой SOTA которую он предложил в рамках работы уже у Epic Games
прям очередной пример что 10х и 100х программисты/ресёрчеры существуют
очень хочется с ним на каком-то сиграффе познакомиться, т.к. я даже не мог себе представить что всего 1 человек так сильно мог изменить нашу индустрию, и всё еще продолжает это делать 😊
Shlomi Steinberg выкатил статью на Siggraph, где он продолжает реализовывать честные расчеты волновой оптики в рамках Monte Carlo Path Tracer-а. В этот раз ребята показали 1ое серьезное применение данного направления в виде симуляции распространения волн мобильной связи (10cm) от антенны (по сути light source 😅) в городской застройке.
На контрасте же продемонстрировали явные слабую предсказательную способность геометрической оптики. В большое число "кварталов" мобильная связь тупо не доходила , если качественно не учитывать дифракцию от сверх-малых поверхностей.
Почему это важно? ИМХО, Нвидиа пытается реализовать на основе существующих рендер движков, которые вычисляются на их же видеокартах, качественную симуляцию излучения не только в видимом но и в радио спектре. Что позволит захватить еще часть рынка, и для нас будет еще больше возможностей как можно $ заработать 😁😁😁
Тот же Sionna RT уже позволяет оптимизировать установки антенн в городе для оптимального покрытия мобильной связью
На контрасте же продемонстрировали явные слабую предсказательную способность геометрической оптики. В большое число "кварталов" мобильная связь тупо не доходила , если качественно не учитывать дифракцию от сверх-малых поверхностей.
Почему это важно? ИМХО, Нвидиа пытается реализовать на основе существующих рендер движков, которые вычисляются на их же видеокартах, качественную симуляцию излучения не только в видимом но и в радио спектре. Что позволит захватить еще часть рынка, и для нас будет еще больше возможностей как можно $ заработать 😁😁😁
Тот же Sionna RT уже позволяет оптимизировать установки антенн в городе для оптимального покрытия мобильной связью
⚡2🤔2
Готовлю сейчас новые эксперименты для статьи, где сравниваю число данных требуемых для обучения нейронной сети определенному radiance signal-у и классических локальных моделей (гармоники, гауссианы).
Конечно способности ИИ генерализироваться из-за заложенных в него спектрального байеса и оверпараметризации поражают.
Для достижения "равных метрик" ИИ требуется около 25-100 семплов на пиксель, классике же - 10ки тысяч семплов на пиксель.
Понятно что зависит от сцены, а так же того как классические методы агрегируют данные для фиттинга и так далее. Но результаты: небо и земля.
В одном случаи это вопрос 1 секунды "обучения" на современном ГПУ, в другом - минут
Конечно способности ИИ генерализироваться из-за заложенных в него спектрального байеса и оверпараметризации поражают.
Для достижения "равных метрик" ИИ требуется около 25-100 семплов на пиксель, классике же - 10ки тысяч семплов на пиксель.
Понятно что зависит от сцены, а так же того как классические методы агрегируют данные для фиттинга и так далее. Но результаты: небо и земля.
В одном случаи это вопрос 1 секунды "обучения" на современном ГПУ, в другом - минут
🔥2