N-BVH: Neural ray queries with bounding volume hierarchies-Код-Сравнения
Наши соседи из Саарбрюкена сделали прикольный ресёрч по нейронному сжатию геометрии. По сути, они предлагают реймаршить shallow MLPs c multi-layer grid encodings (InstantNGP), как NERF-ы, на выходе давая visibility и в придачу intersection point + albedo + normal, в случаи если visibility != 1.0
Но т.к. реймаршинг - это дорого, Филипп с Александром обучают BVH поверх множества нейронных node-ов, чтобы скипать пустое пространство.
Таким образом они соединили классическую acceleration data structure, которую современные GPU умеют быстро травёрсить, с новомодными нейронками. которые также современные ГПУ могут ускоренно исполнять 😊
добились сжатия по памяти в десятки раз!
конечно же, из-за того что всё это реализовано "софтверно", итоговые тайминги не очень привлекательны, но мы понимаем что всё это может быть аппаратно ускорено. в теории. вопрос только: cтоит ли туда копать? 🤔🤔🤔
Наши соседи из Саарбрюкена сделали прикольный ресёрч по нейронному сжатию геометрии. По сути, они предлагают реймаршить shallow MLPs c multi-layer grid encodings (InstantNGP), как NERF-ы, на выходе давая visibility и в придачу intersection point + albedo + normal, в случаи если visibility != 1.0
Но т.к. реймаршинг - это дорого, Филипп с Александром обучают BVH поверх множества нейронных node-ов, чтобы скипать пустое пространство.
Таким образом они соединили классическую acceleration data structure, которую современные GPU умеют быстро травёрсить, с новомодными нейронками. которые также современные ГПУ могут ускоренно исполнять 😊
добились сжатия по памяти в десятки раз!
конечно же, из-за того что всё это реализовано "софтверно", итоговые тайминги не очень привлекательны, но мы понимаем что всё это может быть аппаратно ускорено. в теории. вопрос только: cтоит ли туда копать? 🤔🤔🤔
только не понятно чего авторы не предлагают уже ранее разработанные методы префильтрации фичей из мира нёрфов, которые борются с абсолютно такими же проблемами аляйзинга при реймаршинге нейронок что и они
надо спросить
надо спросить
This media is not supported in your browser
VIEW IN TELEGRAM
потому что иначе будет вот такое вот. ладно, запущу через неделю их код - проверю.
если что проверим "сработает ли фикс"
если что проверим "сработает ли фикс"
Запомните, перед вычислением финальных Monte Carlo экспериментов надо отключать клампинг семплов. всегда.
не благодарите 😭
не благодарите 😭
😁3
https://suikasibyl.github.io/vxpg
тут очень умный знакомый студент из лиги тех самых 10х программистов смог пробраться на сиграфф, и что неожиданно статья по сути - это конкурент моей первой short paper на еврографикс.
а я то думал, чего он так обрадовался и быстро мне ответил несколько недель назад, когда я писал по поводу его опен сурс движка и желания воспользоваться его непубличным кодом 😅😅😅
(он кстати мне всё скинул!)
и самоё забавное, что оказывается мною предложенный алгоритм SSPG довольно хорошо себя показывает в полноценном сравнении.
оказывается оно было даже "State of the Art" при equal-time comparison. а я как-то когда писал статью поленился проводить глубокое исследование и подумал что моделька - хрень, и пусть пойдет максимум шорт пейпером на еврографикс и только 😂😂
пойду его поздравлю, ему точно светит хорошая карьера 👌
тут очень умный знакомый студент из лиги тех самых 10х программистов смог пробраться на сиграфф, и что неожиданно статья по сути - это конкурент моей первой short paper на еврографикс.
а я то думал, чего он так обрадовался и быстро мне ответил несколько недель назад, когда я писал по поводу его опен сурс движка и желания воспользоваться его непубличным кодом 😅😅😅
(он кстати мне всё скинул!)
и самоё забавное, что оказывается мною предложенный алгоритм SSPG довольно хорошо себя показывает в полноценном сравнении.
оказывается оно было даже "State of the Art" при equal-time comparison. а я как-то когда писал статью поленился проводить глубокое исследование и подумал что моделька - хрень, и пусть пойдет максимум шорт пейпером на еврографикс и только 😂😂
пойду его поздравлю, ему точно светит хорошая карьера 👌
❤2🔥1
Фуф, залили 1ую версию аж за 12 часов до дедлайна на сиграфф, всего то надо было прождать час времени пока файл уйдет на сервер 😢😢😢 С утра еще поредачим...
Посмотрим что на этот раз скажут нам ревьюеры, можно ли нашу технологию нести в массы или пока еще нет)()(
Посмотрим что на этот раз скажут нам ревьюеры, можно ли нашу технологию нести в массы или пока еще нет)()(
🔥6
Вышел новый отчёт от нвидиа.
Много можно сказать, но я пожалуй остановлюсь лишь на одной метрике:
Соотношение доходов от гейминг направления, другими словами от реал-тайм рендера, к общим доходам. (без учета профессиональной визуализации, но там -+ несколько процентов ещё). Упало до <10%
Кто хочет оставаться чисто в компьютерной графике, учитывайте эти числа в своих карьерных планах 🫡
Много можно сказать, но я пожалуй остановлюсь лишь на одной метрике:
Соотношение доходов от гейминг направления, другими словами от реал-тайм рендера, к общим доходам. (без учета профессиональной визуализации, но там -+ несколько процентов ещё). Упало до <10%
Кто хочет оставаться чисто в компьютерной графике, учитывайте эти числа в своих карьерных планах 🫡
😨3🫡3
Так я почти разгрёб все накопившиеся дела после SigAsia -> да начнется разбор статей с сиграффа
DreamMat (код) прекрасный пример системной статьи, которая планомерно улучшает метрики SOTA. Ребята генерируют pbr материалы (альбеда, металлик, рафнес) для уже готовой геометрии на основе текстового описания.
2 главных контрибьюшена:
1. использование Classifier Score Distillation с вычитанием негативного гайдинга: "кислотные цвета", "уродливо", "слишком ярко\темно". По сути этот простой хак позволяет разрешить проблему кислотных цветов в итоговой модели. (Fig. 17)
- Light + Geometry condition map, помогающие вычленить влияние освещения на итоговый рендер и добиться стабильной работы диффузки для любого освещения и ракурса. Для этого они обучают ControlNet Stable Diffusion, подавая рендеры видимой геометрии (нормали, глубина - gbuffer) + её рендер с учетом выбранной инвайромент мапы но с белым альбедо.
Все идеи не кажутся необычными, и хоть и есть ряд вопросов к light conditioning, прогресс на лицо! 👍
DreamMat (код) прекрасный пример системной статьи, которая планомерно улучшает метрики SOTA. Ребята генерируют pbr материалы (альбеда, металлик, рафнес) для уже готовой геометрии на основе текстового описания.
2 главных контрибьюшена:
1. использование Classifier Score Distillation с вычитанием негативного гайдинга: "кислотные цвета", "уродливо", "слишком ярко\темно". По сути этот простой хак позволяет разрешить проблему кислотных цветов в итоговой модели. (Fig. 17)
- Light + Geometry condition map, помогающие вычленить влияние освещения на итоговый рендер и добиться стабильной работы диффузки для любого освещения и ракурса. Для этого они обучают ControlNet Stable Diffusion, подавая рендеры видимой геометрии (нормали, глубина - gbuffer) + её рендер с учетом выбранной инвайромент мапы но с белым альбедо.
Все идеи не кажутся необычными, и хоть и есть ряд вопросов к light conditioning, прогресс на лицо! 👍
"Коротенькая" статья, NeRF as a Non-Distant Environment Emitter in Physics-based Inverse Rendering, (боже мой, до чего мы дошли, называя 12-страничные статьи коротенькими 😅) презентует интересное решение в виде использования нёрфов вместо environment map для обратного рендера.
Очевидно, главное предположение environment map, зиждущееся на бесконечной удаленности окружающих точек, не реализуется во множестве сцен.
Использовали Mitsuba вместе с NeRF-Studio, и ребятам пришлось очень сильно подзадолбаться, чтобы их соединить из-за megakernel природы исполнения первого движка + прожорливости нёрфов. Даже сделали multi-GPU поддержку.
Результаты на лицо (в прямом смысле этого слова 😅).
Также ребята предложили более эффективный алгоритм для Монте-Карло оценщика градиентов, чтобы семплировать отражения лучше не только на основе BSDF. Некий упрощённый path guiding.
Очевидно, главное предположение environment map, зиждущееся на бесконечной удаленности окружающих точек, не реализуется во множестве сцен.
Использовали Mitsuba вместе с NeRF-Studio, и ребятам пришлось очень сильно подзадолбаться, чтобы их соединить из-за megakernel природы исполнения первого движка + прожорливости нёрфов. Даже сделали multi-GPU поддержку.
Результаты на лицо (в прямом смысле этого слова 😅).
Также ребята предложили более эффективный алгоритм для Монте-Карло оценщика градиентов, чтобы семплировать отражения лучше не только на основе BSDF. Некий упрощённый path guiding.