Неплохой пример, сделанный на коленках, как можно из text->video получить 3Д сцену через гауссианы, а после походить в ней в ARе
by LumaLabs
теперь осталось их сделать PBRными и заживём 👌
by LumaLabs
теперь осталось их сделать PBRными и заживём 👌
👾5🤯3
Synthesia опять удивляют своими разработками. Они обучили ИИ, генерирующего персональные аватары всего лишь на основе фоток с телефона\вебки юзеров
Аватары очень хороши в эмоции, умеют махать руками, активно двигаться, а также разговаривают на 30 языках.
Также обещают:
- автоматическую генерацию видео по контенту сайта\документа. к примеру для FAQ. сработает ли для лекциями 🤔🤔🤔
- умный захват экрана, который фокусируется на важном контенте. полезно для стримеров\ютуберов
- автоматический перевод видео с его контентом. я не понял можно ли будет воспользоваться их сервисов для любого видео. было бы слаавно
у компании есть шанс феноменально демократизировать доступ к информации для зрителей. и что ещё важнее, это дает возможность блогерам, инфлуенсерам и преподам выйти на любую аудиторию, забыв про языковые барьеры и снизив косты на продакшен.
горжусь тем, что знаю одно из фаундеров лично и ребята демонстрируют крутейшую коллаборацию науки с бизнесом. не часто встретишь успешные немецкие стартапы
Аватары очень хороши в эмоции, умеют махать руками, активно двигаться, а также разговаривают на 30 языках.
Также обещают:
- автоматическую генерацию видео по контенту сайта\документа. к примеру для FAQ. сработает ли для лекциями 🤔🤔🤔
- умный захват экрана, который фокусируется на важном контенте. полезно для стримеров\ютуберов
- автоматический перевод видео с его контентом. я не понял можно ли будет воспользоваться их сервисов для любого видео. было бы слаавно
у компании есть шанс феноменально демократизировать доступ к информации для зрителей. и что ещё важнее, это дает возможность блогерам, инфлуенсерам и преподам выйти на любую аудиторию, забыв про языковые барьеры и снизив косты на продакшен.
горжусь тем, что знаю одно из фаундеров лично и ребята демонстрируют крутейшую коллаборацию науки с бизнесом. не часто встретишь успешные немецкие стартапы
https://x.com/Mishok2000/status/1809262724485992749
очень рекомендую потребить talk c CVPR на эту тему
очень рекомендую потребить talk c CVPR на эту тему
👍👍👍
я бы лишь подметил, что за предсказанием "AGI за 5 лет" стоит некая научная доказательная база, но не ясно насколько она отображает именно глобальный, а не локальный тренд успешности скалирования AR-LLM
с CGI никакие исследования не утверждали, что с добавлением "линейно" компьюта и памяти, наши рендеры будут сами по себе становится реалистичнее
я бы лишь подметил, что за предсказанием "AGI за 5 лет" стоит некая научная доказательная база, но не ясно насколько она отображает именно глобальный, а не локальный тренд успешности скалирования AR-LLM
с CGI никакие исследования не утверждали, что с добавлением "линейно" компьюта и памяти, наши рендеры будут сами по себе становится реалистичнее
Шок. Гауссианы выебали JPEG по скорости декодирования изображения при низком битрейте. Аж под 1000-2000 FPS.😱😱😱
В сухую обогнали все SOTA нейронные методы по PSNR/Decoding time, на основе multi-level hash-encodings, SIREN и прочего.
пока лишь проблема это время кодирования изображения + отсутствие по-пиксельного random access-а. было бы полезненько для текстур конечно.
Проект + код
В сухую обогнали все SOTA нейронные методы по PSNR/Decoding time, на основе multi-level hash-encodings, SIREN и прочего.
пока лишь проблема это время кодирования изображения + отсутствие по-пиксельного random access-а. было бы полезненько для текстур конечно.
Проект + код
🔥2❤🔥1👍1
Онлайн-программа для начинающих графических инженеров от Chaos
Волна на 2024ый год уже прошла, но возможно на следующую весну-лето кто-то хочет запланировать себе доп обучение.
можно подаваться всем кто старше 18 лет и находится в Болгарии, Чехии, Дании и Германии (хз как валидируют локацию). Местоположение обосновано исключительно тем, что они нанимают лучших студентов на джуниор позиции к себе в штат.
хэдквартерс у них вообще в моём городе, Карлсруэ, - только сегодня узнал об этом от своего дипломника, который проходит этот самый курс. фидбек исключительно положительный, только говорит что как-то легко 😅
Волна на 2024ый год уже прошла, но возможно на следующую весну-лето кто-то хочет запланировать себе доп обучение.
можно подаваться всем кто старше 18 лет и находится в Болгарии, Чехии, Дании и Германии (хз как валидируют локацию). Местоположение обосновано исключительно тем, что они нанимают лучших студентов на джуниор позиции к себе в штат.
хэдквартерс у них вообще в моём городе, Карлсруэ, - только сегодня узнал об этом от своего дипломника, который проходит этот самый курс. фидбек исключительно положительный, только говорит что как-то легко 😅
🤩2🔥1🤔1
Коллеги по цеху (кажется это Nvidia) проделали громоздкую работу и попытались выяснить как же лучше рендерить сферические гауссианы рейтрейсингом
Вопросов же много:
1. Какими мешами надо описывать гауссианы для BVH чтобы RTX давал лучший FPS? Ответ: вытянутый icosahedron с клампнингом границ по минимальному респонсу гауссиан
2. Как быстрее их трассировать с учетом alpha-bleding-а? Ответ:
Ищем пересечение с K гауссианами с помощью any-hit -> сортируем по глубине -> считаем редианс (и трансмиттенс) -> переходим к следующим K частиц пока они не закончатся\transmittance > eps
3. Что больше влияет на перформанс? Ответ: число hit-ов, а не число частиц. Поэтому авторы попробовали использовать не стандартные, а генерализированные гауссианы (там в степень N возводится расстояние до центра частицы) + 2D splats. Удалось увеличить перформанс. Использовали дифф. рендер чтобы получить новые параметры.
Все эти ответы обоснованы экспериментами. По FPS все равно проигрыш 2-3х раза растеризации. пока. По VRAM же наоборот
Вопросов же много:
1. Какими мешами надо описывать гауссианы для BVH чтобы RTX давал лучший FPS? Ответ: вытянутый icosahedron с клампнингом границ по минимальному респонсу гауссиан
2. Как быстрее их трассировать с учетом alpha-bleding-а? Ответ:
Ищем пересечение с K гауссианами с помощью any-hit -> сортируем по глубине -> считаем редианс (и трансмиттенс) -> переходим к следующим K частиц пока они не закончатся\transmittance > eps
3. Что больше влияет на перформанс? Ответ: число hit-ов, а не число частиц. Поэтому авторы попробовали использовать не стандартные, а генерализированные гауссианы (там в степень N возводится расстояние до центра частицы) + 2D splats. Удалось увеличить перформанс. Использовали дифф. рендер чтобы получить новые параметры.
Все эти ответы обоснованы экспериментами. По FPS все равно проигрыш 2-3х раза растеризации. пока. По VRAM же наоборот
🔥4👍1🥰1
Даже с генерацией фреймов геймдев студии релизят игры в 30 fps. твиттер
классика, ни разу не сомневался что так и будет 😁
даже если завтра:
- сделают DLSS, предсказывающий 9 кадров из 10
- выкатят крутой path-guiding с path resampling-ом, радикально снижающий шумы
- обнаружат что можно честно считать освещение лишь для 1% пикселей а все другое - гнать через radiance кэш
все равно все эти освободившиеся мощности будут направлены на поддержку более сложных сцен с тяжелым освещением и в уменьшение костов на разработку. а 30 и 60 фпс с нами на очень долго 🫡
P.s. киноиндустрия через это всё проходила и ни раз
классика, ни разу не сомневался что так и будет 😁
даже если завтра:
- сделают DLSS, предсказывающий 9 кадров из 10
- выкатят крутой path-guiding с path resampling-ом, радикально снижающий шумы
- обнаружат что можно честно считать освещение лишь для 1% пикселей а все другое - гнать через radiance кэш
все равно все эти освободившиеся мощности будут направлены на поддержку более сложных сцен с тяжелым освещением и в уменьшение костов на разработку. а 30 и 60 фпс с нами на очень долго 🫡
P.s. киноиндустрия через это всё проходила и ни раз
😁7🤔2💩2🤝1
High Performance Graphics 2024 начнется уже через 1.5 часа. Онлайн трансляция и расписание
Напоминаю, что это конференция о прикладном ресерче алгоритмов реал тайм рендера. В этот раз проходит в Денвере
В программе рейтрейсинг, денойзинг, DLSS, work graphs, воксели, Vulkan, restir, mesh шейдера и многое другое
Рекомендую заценить работу моих коллег (в 21:50 по CEST), где они пытаются ответить на вопрос: На каком же отскоке нужно использовать Radiance Cache и как адаптивно принимать это решение, таргетируясь на требуемый уровень шума\MSE
Также в 19 вечера Edward Liu, автор оригинального DLSS, поведает нам технические подробности DLSS 3.5.
Оочень любопытно насколько подробно он это сделает! или же все интересности всё ещё под NDA
Другие мои коллеги расскажут как адаптировали ReSTIR для real-time subsurface scattering-а (рекомендую посмотреть видео, 180 МБ)
А также Peter Shirley (Activision) планирует рассказать о будущем реалистичного рендера в ночь с субботы по воскресенье
Напоминаю, что это конференция о прикладном ресерче алгоритмов реал тайм рендера. В этот раз проходит в Денвере
В программе рейтрейсинг, денойзинг, DLSS, work graphs, воксели, Vulkan, restir, mesh шейдера и многое другое
Рекомендую заценить работу моих коллег (в 21:50 по CEST), где они пытаются ответить на вопрос: На каком же отскоке нужно использовать Radiance Cache и как адаптивно принимать это решение, таргетируясь на требуемый уровень шума\MSE
Также в 19 вечера Edward Liu, автор оригинального DLSS, поведает нам технические подробности DLSS 3.5.
Оочень любопытно насколько подробно он это сделает! или же все интересности всё ещё под NDA
Другие мои коллеги расскажут как адаптировали ReSTIR для real-time subsurface scattering-а (рекомендую посмотреть видео, 180 МБ)
А также Peter Shirley (Activision) планирует рассказать о будущем реалистичного рендера в ночь с субботы по воскресенье
🔥5👍1🥰1
Pixel Science
High Performance Graphics 2024 начнется уже через 1.5 часа. Онлайн трансляция и расписание Напоминаю, что это конференция о прикладном ресерче алгоритмов реал тайм рендера. В этот раз проходит в Денвере В программе рейтрейсинг, денойзинг, DLSS, work graphs…
Media is too big
VIEW IN TELEGRAM
сжал для вас ReSTIR демку :) уж больно хороша
🫡4🥰2🔥1
Pixel Science
High Performance Graphics 2024 начнется уже через 1.5 часа. Онлайн трансляция и расписание Напоминаю, что это конференция о прикладном ресерче алгоритмов реал тайм рендера. В этот раз проходит в Денвере В программе рейтрейсинг, денойзинг, DLSS, work graphs…
как и ожидал ничего интересного про DLSS не было раскрыто. "I can't comment on that"
лишь прикольные сравнения с классическими денойзерами, но без failure cases. из полезного напомнили про важность потвикать ReSTIR (корреляция) и использование какого-нибудь Radiance Cache
лишь прикольные сравнения с классическими денойзерами, но без failure cases. из полезного напомнили про важность потвикать ReSTIR (корреляция) и использование какого-нибудь Radiance Cache
Обожаю такой формат презентации статьи, где достаточно потребить информацию с сайта и всё станет понятно
Авторы обнаружили, что за camera-to-world projection матрицу, в некой степени, отвечает часть эмбеддинг спейса текстового промпт-а в text-2-image диффузных моделях
Ребята обучали небольшую нейронку предсказывать этот вектор, в зависимости от подаваемой матрицы, и генерировать novel views диффузкой с нужного нам ракурса
Работает не всегда идеально, можно пронаблюдать что структура сцены с разных углов немного, но всё же меняется. Но бьёт оригинальный нёрф в сухую и все SOTA nerf решения по LPIPS (персепшен метрика)
Главный философский вывод, так же подтверждаемый в некой степени иными работами: внутри диффузок наверняка есть "консистентное" 3Д представление сцены и мы наверняка сможем научиться его качественно визуализировать\"взаимодействовать" с ним
Т.е. сделать рендер-физ-движок 😁
Авторы обнаружили, что за camera-to-world projection матрицу, в некой степени, отвечает часть эмбеддинг спейса текстового промпт-а в text-2-image диффузных моделях
Ребята обучали небольшую нейронку предсказывать этот вектор, в зависимости от подаваемой матрицы, и генерировать novel views диффузкой с нужного нам ракурса
Работает не всегда идеально, можно пронаблюдать что структура сцены с разных углов немного, но всё же меняется. Но бьёт оригинальный нёрф в сухую и все SOTA nerf решения по LPIPS (персепшен метрика)
Главный философский вывод, так же подтверждаемый в некой степени иными работами: внутри диффузок наверняка есть "консистентное" 3Д представление сцены и мы наверняка сможем научиться его качественно визуализировать\"взаимодействовать" с ним
Т.е. сделать рендер-физ-движок 😁
🤩5🔥2👍1