Нейронавт | Нейросети в творчестве
9.34K subscribers
3.59K photos
3.09K videos
40 files
4.06K links
Канал про нейросети в компьютерной графике, в кино и вообще

В папках не участвую

для связи @Neuronauticus
Download Telegram
This media is not supported in your browser
VIEW IN TELEGRAM
WildGS-SLAM: Monocular Gaussian Splatting SLAM in Dynamic Environments

Реконструкция 3D сцен на гауссианах с удалением движущихся объектов.
На вход нужно монокулярное видео

Код

#gaussian
👍6🔥31
This media is not supported in your browser
VIEW IN TELEGRAM
LAM: Large Avatar Model for One-shot Animatable Gaussian Head

Анимируемые аватары по одному изображению на гауссианах от Alibaba.

Управляются звуком и видео, поддаются редактированию-стилизации, шустро крутятся на разных девайсах

Код
Демо
Чат с аватарами - ну здесь они долго думают прежде чем ответить

#humanavatar #talkinghead #gaussian #head #mobile #realtime #lipsync #motion2video
👍5🤔21👎1
Hybrid 3D-4D Gaussian Splatting for Fast Dynamic Scene Representation

Моделирование динамических сцен по видео, основано на гибриде 3D и 4D гауссиан

Быстрое обучение с сохранением качества.
Легко заменяет 4DGS в существующих пайплайнах

Код

#gaussian #video2gaussian #videoto4D #4D
👍51
This media is not supported in your browser
VIEW IN TELEGRAM
spAItial

Cоздание 3D-контента с помощью пространственных базовых моделей, понимающих геометрию и физику

Судя по видео, создает сцены по текстовому описанию. А судя по анкете, планируют создавать и по фото и по видео

Записаться в вейтлист

#textto3d #text2scene #gaussian
👍9😱31
Media is too big
VIEW IN TELEGRAM
Difix3D+: Improving 3D Reconstructions with Single-Step Diffusion Models

Исправляет артефакты NeRF и 3DGS в областях с недостатком констрейнов (??), повышая общее качество 3D-представления. Проект NVIDIA

Код ждем

#gaussian #nerf
🔥72
Media is too big
VIEW IN TELEGRAM
TeGA: Texture Space Gaussian Avatars for High-Resolution DynamicHead Modeling

Аватары на гауссианах от Google
Впечатляющее качество, уделали всех конкурентов, но

Кода нет

#gaussian #humanavatar
👍6🌚1
This media is not supported in your browser
VIEW IN TELEGRAM
4Real-Video-V2: Fused View-Time Attention and Feedforward Reconstruction for 4D Scene Generation

SOTA в генерации и реконструкция видео в 4D от Snap и KAUST, в списке авторов русские фамилии.

Может как воссоздать сцену по мультиракурсному видео, так и сгенерировать по тексту

Показывает изменения сцены во времени и пространстве, как если бы это было живое 4D изображение.

Под капотом гауссианы и еще что-то

Кода нет, ждем в снэпчате?

#4D #textto4d #videoto4D #gaussian #novelview #rendering #research
👍2🤯2
Media is too big
VIEW IN TELEGRAM
4D-LRM: Large Space-Time Reconstruction Model From and To Any View at Any Time

И тут же подобная работа от Adobe С КОДОМ‼️

Модель способна принимать на вход ограниченное количество изображений объекта с разных ракурсов и моментов времени и создавать из них новые комбинации ракурсов и моментов времени.

Объединяет пространство и время, представляя объект как облако 4D гауссиан

Обрабатывает 24 кадра за менее чем 1,5 секунды на одном GPU A100

Но разрешение, похоже, всего 256 x 256 (а, вот почему с кодом)

Код должен быть, проверить не могу

#4D #videoto4D #gaussian #novelview #rendering #imageto4d
👍3🤯2
This media is not supported in your browser
VIEW IN TELEGRAM
LangScene-X

Создает из набора изображений (от двух, но лучше больше) согласованное видео с учетом 3D, а также трёхмерную сцену, карту сегментации и нормали поверхности

В основе - CogVideoX, а также SAM2 и гауссианы

Код

#image2scene #imageto3d #image2normal #image2mask #image2video #gaussian
7🔥2😐2
Media is too big
VIEW IN TELEGRAM
4DSloMo: 4D Reconstruction for High Speed Scene with Asynchronous Capture

Работа с участием NVIDIA.
Реконструкция #4D слоумошен сцены из видео с нескольких ракурсов, снятого обычными камерами в 25 fps. Эффективная частота кадров получается 100-200 fps
Под капотом 4D модель на гауссианах

Код ждем

#videoto4d #gaussian #4d
👍9🤯1
OmniPart: Part-Aware 3D Generation with Semantic Decoupling and Structural Cohesion

Новый генератор 3D моделей по картинке от анонимов. Разбивает модель на части, генерирует по частям. Разбивку можно редактировать

Под капотом гауссианы

#тестбендера провалил. сегментировал успешно, модель выдал плоскую

Кода нет
Демо

#gaussian #3d #imageto3d
👍4😁21
Media is too big
VIEW IN TELEGRAM
LangSplatV2: High-dimensional 3D Language Gaussian Splatting with 450+ FPS

Модель умеет быстро обрабатывать и понимать изображения в трёхмерном пространстве, используя язык. Находит объекты на картинках и определяет их местоположение с высокой точностью.

Был похожий проект

Код

#video2mask #segmentation #gaussian
👍10🔥1
Media is too big
VIEW IN TELEGRAM
Diffuman4D: 4D Consistent Human View Synthesis from Sparse-View Videos with Spatio-Temporal Diffusion Models

Реконструкция 4D сцен, снятых с ограниченного количества ракурсов. Недостающие данные дорисует, выдаст видео с нужного ракурса

Код ждем
Интерактивный вьюер

#4D #videoto4D #gaussian #novelview #rendering
👍11
EarthCrafter: Scalable 3D Earth Generation via Dual-Sparse Latent Diffusion

Генератор 3D ландшафтов Земли от Alibaba

На вход можно подавать семантические карты, RGBD или вообще ничего

Хорошо справляется с генерацией огромных ландшафтов

Под капотом 3D-VAE и гауссианы

Код ждем

#landscape #segmentation2scene #RGBD2scene #gaussian
9👍2
4D Gaussian Splatting SLAM

4DGS-SLAM - реконструкция сцен в движении по входному видео RGBD.

Делит сцену на статические и динамические Gaussian-примитивы. Отслеживает движение объектов, генерирует маски движения. Вуаля

Код

#gaussian #video2scene #rendering #rgbd2scene #rgbd2gaussian
👍7
This media is not supported in your browser
VIEW IN TELEGRAM
Distilled-3DGS: Distilled 3D Gaussian Splatting

Сокращает примерно в десять раз количество гауссиан необходимых для высококачественного рендеринга сцен, без потери качества изображения.

Обеспечивает качество рендеринга, сравнимое с лучшими существующими методами (#SOTA) или даже превосходящее их

Код ждем

#gaussian #rendering #novelview
1👍12🔥4
3DGS-LM: Faster Gaussian-Splatting Optimization with Levenberg-Marquardt

Еще одна оптимизированная модель для реконструкции сцен на гауссианах. От запрещенной Meta

Оптимизация достигается за счет путём замены оптимизатора ADAM (на втором этапе) на адаптированный алгоритм Левенберга-Маркварта (LM)

Модель ускоряет процесс оптимизации на 20 % по сравнению с оригинальным 3DGS, сохраняя при этом качество реконструкции.

Казалось бы, жиденькое ускорение. Но метод можно комбинировать с другими подходами для ускорения 3DGS, что позволяет достигать ещё более высоких скоростей обработки.

Код

#gaussian #novelview
👍7