https://fxtwitter.com/_akhaliq/status/1781181414186103140?t=7QqS0WJ6WH23hmHaOctYtg&s=19
Генерация готовых мешей по нескольким фото с разных сторон/тексту всего за секунду. Примеры есть на сайте, ждём кода с весами чтоб самим попробовать)
Генерация готовых мешей по нескольким фото с разных сторон/тексту всего за секунду. Примеры есть на сайте, ждём кода с весами чтоб самим попробовать)
🧵 Thread • FxTwitter
AK (@_akhaliq)
MeshLRM
Large Reconstruction Model for High-Quality Mesh
We propose MeshLRM, a novel LRM-based approach that can reconstruct a high-quality mesh from merely four input images in less than one second. Different from previous large reconstruction models (LRMs)…
Large Reconstruction Model for High-Quality Mesh
We propose MeshLRM, a novel LRM-based approach that can reconstruct a high-quality mesh from merely four input images in less than one second. Different from previous large reconstruction models (LRMs)…
Сейчас идёт Еврографикс 2024, на котором очень много клевых статей, в том числе для реал-тайм рендера. Рендер атмосферы, подводных миров, компрессия текстур Надеюсь найду в конце следующей недели время на полный разбор основных папир!
Под нейронную реал-тайм графику аж выделили отдельный трек, и это очень хороший зеленый сигнал. А мы в своё время продолжаем пилить фреймворк, который бы мог еще сильнее развить это направление 😉
Под нейронную реал-тайм графику аж выделили отдельный трек, и это очень хороший зеленый сигнал. А мы в своё время продолжаем пилить фреймворк, который бы мог еще сильнее развить это направление 😉
Прослушал интервью с СЕО Simulon.
ребята конечно поразили своими VFX вставками в обычные видео, с супер реалистичной CGI графикой. заявляют что всё работает автоматический 🤨
И что меня поразило вдвойне: СЕО утверждает, что тут скорее не МЛ порешал (который тоже они использует, но для восстановления ряда параметров сцен), а PBR и Inverse Rendering.
Очень приятно, что постепенно народ начинает осознать важность этих направлений ☺️☺️☺️
P.s. какой спекуляр, какие тени от листьев!! бомба 😋
ребята конечно поразили своими VFX вставками в обычные видео, с супер реалистичной CGI графикой. заявляют что всё работает автоматический 🤨
И что меня поразило вдвойне: СЕО утверждает, что тут скорее не МЛ порешал (который тоже они использует, но для восстановления ряда параметров сцен), а PBR и Inverse Rendering.
Очень приятно, что постепенно народ начинает осознать важность этих направлений ☺️☺️☺️
P.s. какой спекуляр, какие тени от листьев!! бомба 😋
Подготавливаю тут репорт по Intel проекту, что да как у нас прошло и чем обоснованы некоторые принятые решения
и набрёлся на очень годный доклад от эпиков по их системе многослойных материалов, высочайшего качества! демка
решил поглядеть кто же стоит за их новой системой материалов и увидел знакомое имя: Sebastien Hillaire. Для понимаю это человек, стоящий за:
- PBRом по сути всей индустрии, ведь все побежали его копировать из Frostbite
- первым PBR volumetric render-ом, Frostbite
- первыми примерами продакшен-реди RTX-based GI, Frostbite
- одной из первых качественных реализаций рендера атмосфера и облачков (еще до Guerrilla Games c horizon zero dawn), а также за новой SOTA которую он предложил в рамках работы уже у Epic Games
прям очередной пример что 10х и 100х программисты/ресёрчеры существуют
очень хочется с ним на каком-то сиграффе познакомиться, т.к. я даже не мог себе представить что всего 1 человек так сильно мог изменить нашу индустрию, и всё еще продолжает это делать 😊
и набрёлся на очень годный доклад от эпиков по их системе многослойных материалов, высочайшего качества! демка
решил поглядеть кто же стоит за их новой системой материалов и увидел знакомое имя: Sebastien Hillaire. Для понимаю это человек, стоящий за:
- PBRом по сути всей индустрии, ведь все побежали его копировать из Frostbite
- первым PBR volumetric render-ом, Frostbite
- первыми примерами продакшен-реди RTX-based GI, Frostbite
- одной из первых качественных реализаций рендера атмосфера и облачков (еще до Guerrilla Games c horizon zero dawn), а также за новой SOTA которую он предложил в рамках работы уже у Epic Games
прям очередной пример что 10х и 100х программисты/ресёрчеры существуют
очень хочется с ним на каком-то сиграффе познакомиться, т.к. я даже не мог себе представить что всего 1 человек так сильно мог изменить нашу индустрию, и всё еще продолжает это делать 😊
Shlomi Steinberg выкатил статью на Siggraph, где он продолжает реализовывать честные расчеты волновой оптики в рамках Monte Carlo Path Tracer-а. В этот раз ребята показали 1ое серьезное применение данного направления в виде симуляции распространения волн мобильной связи (10cm) от антенны (по сути light source 😅) в городской застройке.
На контрасте же продемонстрировали явные слабую предсказательную способность геометрической оптики. В большое число "кварталов" мобильная связь тупо не доходила , если качественно не учитывать дифракцию от сверх-малых поверхностей.
Почему это важно? ИМХО, Нвидиа пытается реализовать на основе существующих рендер движков, которые вычисляются на их же видеокартах, качественную симуляцию излучения не только в видимом но и в радио спектре. Что позволит захватить еще часть рынка, и для нас будет еще больше возможностей как можно $ заработать 😁😁😁
Тот же Sionna RT уже позволяет оптимизировать установки антенн в городе для оптимального покрытия мобильной связью
На контрасте же продемонстрировали явные слабую предсказательную способность геометрической оптики. В большое число "кварталов" мобильная связь тупо не доходила , если качественно не учитывать дифракцию от сверх-малых поверхностей.
Почему это важно? ИМХО, Нвидиа пытается реализовать на основе существующих рендер движков, которые вычисляются на их же видеокартах, качественную симуляцию излучения не только в видимом но и в радио спектре. Что позволит захватить еще часть рынка, и для нас будет еще больше возможностей как можно $ заработать 😁😁😁
Тот же Sionna RT уже позволяет оптимизировать установки антенн в городе для оптимального покрытия мобильной связью
⚡2🤔2
Готовлю сейчас новые эксперименты для статьи, где сравниваю число данных требуемых для обучения нейронной сети определенному radiance signal-у и классических локальных моделей (гармоники, гауссианы).
Конечно способности ИИ генерализироваться из-за заложенных в него спектрального байеса и оверпараметризации поражают.
Для достижения "равных метрик" ИИ требуется около 25-100 семплов на пиксель, классике же - 10ки тысяч семплов на пиксель.
Понятно что зависит от сцены, а так же того как классические методы агрегируют данные для фиттинга и так далее. Но результаты: небо и земля.
В одном случаи это вопрос 1 секунды "обучения" на современном ГПУ, в другом - минут
Конечно способности ИИ генерализироваться из-за заложенных в него спектрального байеса и оверпараметризации поражают.
Для достижения "равных метрик" ИИ требуется около 25-100 семплов на пиксель, классике же - 10ки тысяч семплов на пиксель.
Понятно что зависит от сцены, а так же того как классические методы агрегируют данные для фиттинга и так далее. Но результаты: небо и земля.
В одном случаи это вопрос 1 секунды "обучения" на современном ГПУ, в другом - минут
🔥2
Стартап Synthesia.io знакомого профессора из TUM, Matt Niessner, продолжает удивлять своими демками.
Красивейший нейронный рендер аватаров, которые теперь еще научились в эмоции 🔥
Большую презентацию с прям продакшен кейсами, где они демонстрируют генерацию презентаций по текст-скрипту можете поглядеть вот тут
P.s. в лабе много ребят из постсовка, так что если думаете о пхд в шикарном (но жёстком) месте - рекомендую!
Красивейший нейронный рендер аватаров, которые теперь еще научились в эмоции 🔥
Большую презентацию с прям продакшен кейсами, где они демонстрируют генерацию презентаций по текст-скрипту можете поглядеть вот тут
P.s. в лабе много ребят из постсовка, так что если думаете о пхд в шикарном (но жёстком) месте - рекомендую!
👍2😱2
Open AI оказывается уже давненько выкатил интересный язык TRITON - конкурент CUDA, позволяющий разительно проще писать программы при всём при этом бенефитя от использования Local Shared Memory и прочих плюшек, нацеленных на уменьшение потребляемого bandwidth-а. напомню, что сейчас по сути bandwidth - основное бутылочное горлышко GPUs.
Зацените пример кодинга Softmax-а. Компилятор сам аллоцирует SM для локального суммирования чисел в текущем ThreadBlock-е, вставляет __syncthreads(), и далее продолжает thread-independent исполнение
И всё это еще с масками. поддерживают указатели! (их блин даже в Вулкане полноценно еще нет 🥹)
Для понимание именно такое задание я вчера дал своим студентам для пар по GPGPU на Vulkan-е (типа CUDA только граф. API) и решение на нём выглядит куда более громоздким)
Узнал же я про него через новый фреймворк для обучение и исполнения NERFов, т.к. они использовали Triton в качестве языка. Скоро может разберусь как он там устроен)
P.s. OpenAI ищет для его развития компайлер-прогера
Зацените пример кодинга Softmax-а. Компилятор сам аллоцирует SM для локального суммирования чисел в текущем ThreadBlock-е, вставляет __syncthreads(), и далее продолжает thread-independent исполнение
И всё это еще с масками. поддерживают указатели! (их блин даже в Вулкане полноценно еще нет 🥹)
Для понимание именно такое задание я вчера дал своим студентам для пар по GPGPU на Vulkan-е (типа CUDA только граф. API) и решение на нём выглядит куда более громоздким)
Узнал же я про него через новый фреймворк для обучение и исполнения NERFов, т.к. они использовали Triton в качестве языка. Скоро может разберусь как он там устроен)
P.s. OpenAI ищет для его развития компайлер-прогера
🔥3
Началось HPG 2024 Student Real-Time Competition, где за лучшие шейдера обычно раздают бесплатно видеокарты/денежки (до $1к) и прочие плюшки! Возможно будут очки VR Quest 3 в этом году, раз главным спонсором является Meta 😊
прикольная строчка в резюме, а закодить можно всего за один вечер :) рекомендую
приложил примеры прошлых победителей. дедлайн 19 июля
прикольная строчка в резюме, а закодить можно всего за один вечер :) рекомендую
приложил примеры прошлых победителей. дедлайн 19 июля
Ребята из Stanford-а продолжают развивать идею цикличного вызова LLMs (тут прям ChatGPT), но в области CGI.
типа давайте доверим LLMке изменение питон скрипта описывающего 3Д сцену, графов определяющие материалы и т.д.
что нового:
- Image-Based Feedback loop. мы будем возвращать ChatGPT на вход получившийся рендер после реализованных изменений, чтобы LLMка смогла "подправить" свои ошибки. ведь теперь ChatGPT может анализировать изображения
- Модуль "воображения", которым выступает по сути DALL-E 3. перед тем как просить ChatGPT предложить какие-либо изменения "кода" материала, мы сначала генерим по тексту диффузкой как мог бы выглядеть этот самый итоговый материал чисто в теории. то есть, что и художники делают в реальной жизни, представляют итоговый результат
Много вопросов, эксперименты ограниченные, но некоторые результаты конечно очень сочные. Обещают код с плагином для Blender-а - там посмотрим!
типа давайте доверим LLMке изменение питон скрипта описывающего 3Д сцену, графов определяющие материалы и т.д.
что нового:
- Image-Based Feedback loop. мы будем возвращать ChatGPT на вход получившийся рендер после реализованных изменений, чтобы LLMка смогла "подправить" свои ошибки. ведь теперь ChatGPT может анализировать изображения
- Модуль "воображения", которым выступает по сути DALL-E 3. перед тем как просить ChatGPT предложить какие-либо изменения "кода" материала, мы сначала генерим по тексту диффузкой как мог бы выглядеть этот самый итоговый материал чисто в теории. то есть, что и художники делают в реальной жизни, представляют итоговый результат
Много вопросов, эксперименты ограниченные, но некоторые результаты конечно очень сочные. Обещают код с плагином для Blender-а - там посмотрим!
Media is too big
VIEW IN TELEGRAM
Продолжаем тему ИИ-based редактирования 3д сцен. Тут авторы запили полноценный пайплайн состоящий из множества компонент вместо использования какой-то 1ой генеральной модели типа ChatGPT (но и её также применяют! 😁)
- Сегментируют мешки
- Классифицируют материалы
- Генерируют как мешка должна выглядеть "в идеале" диффузной сеточкой на основе text prompt
- Выбирают с помощью из набора уже predefined физически-корректных материалов самый подходящий под каждый сегмент объекта. Используют CLIP для этого дела
- Далее с помощью inverse рендера оптимизируют параметры графа этого материала (BRDFки, текстуры и т.д.)
На выходе PBR моделька, которую можно использовать в рендеринге, 3д редакторах, для игр и фильмов. Даже сделали удобный UI интерфейс
Относительно вчерашней статьи классическая демонстрация разницы между двумя подходами:
максимально генеральным основанным лишь на Foundational Models vs полуинженерным, с заложенными приорными знания в виде сложной архитектуры
2ое всегда дает лучше результат в краткосрок
- Сегментируют мешки
- Классифицируют материалы
- Генерируют как мешка должна выглядеть "в идеале" диффузной сеточкой на основе text prompt
- Выбирают с помощью из набора уже predefined физически-корректных материалов самый подходящий под каждый сегмент объекта. Используют CLIP для этого дела
- Далее с помощью inverse рендера оптимизируют параметры графа этого материала (BRDFки, текстуры и т.д.)
На выходе PBR моделька, которую можно использовать в рендеринге, 3д редакторах, для игр и фильмов. Даже сделали удобный UI интерфейс
Относительно вчерашней статьи классическая демонстрация разницы между двумя подходами:
максимально генеральным основанным лишь на Foundational Models vs полуинженерным, с заложенными приорными знания в виде сложной архитектуры
2ое всегда дает лучше результат в краткосрок