Нейронный рендеринг без нейронных сетей?

Помните нейронный рендеринг и нерфы для реконструкции 3D сцены и синтеза новых видов? Так вот, обычно эти подходы требуют значительных временных затрат для обучения на одной конкретной сцене из-за того, что там используются громоздкие MLP (Multi-layer Perceptron), и нужно семплировать очень много тренировочных 3D точек с разных углов обзора.

Но вот поворот! Оказывается, всё то же самое можно делать и без сетей вовсе! Исследователи из Беркли показали, что можно учить напрямую сетку вокселей, сохраняя в ее узлах коэффициенты сферических функций, с помощью которых можно очень быстро отрендерить сцену с любой позиции и угла камеры. Все гениально просто.

Это просто бомба! Не нужны больше никакие Structure-from-motion и прочие классические алгоритмы.

>> Пипира >> Код >> Сайт

Пробный видос от ArcaneGAN v0.3

ArcaneGAN - #3 в трендинге huggingface.
#мамявтелевизоре

Вышло обновление GPEN для Windows.

Теперь не нужно каждый раз качать обновления с гугл диска. Достаточно запустить 2) Install or update GPEN.bat

Также теперь есть возможность запустить улучшение фотографий на CPU.
Добавлено улучшение всего изображения, а не только лица (bat файлы с припиской Real-ESRGAN).
Light версия GPEN (обучена на более низком разрешении, полезно для слабых машин).
Колоризация Ч/Б изображений и другие возможности GPEN, которые можно изучить на официальном GitHub.

Скачать - https://drive.google.com/file/d/1YJJVnPGq90e_mWZxSGGTptNQilZNfOEO/view?usp=sharing

слегка аркейнизировался с помощью ArcaneGAN v0.3 от @derplearning вот в этом колабе. для пущей красивости еще прогнал результат через Real-ESRGAN. мне нравится что получается, хотя есть несколько деталей которые смущают - статичная текстура губ, странное наполнение рта если он открыт, вторые брови если сильно их поднимаешь и конечно мерцание окружения, которое видно только в анимации. но это все придирки, крутой результат!) в колаб кстати можно закинуть секвенцию картинок и получить что то подобное

на волне хайпа даже сериал пришлось начать смотреть, ниче такой, красивый, и местами интересно

Я уже пилю v0.4. Как-то так будет

👘 NeuralWardrobe v.1.0 👔

Около месяца назад меня посещала мысль погенерировать СтайлГАНом какие-нибудь новые модные наряды, но буквально недавно я наткнулся на примеры создания образов с помощью ruDALL-E и был приятно удивлен. Качество потрясающее и генерируется относительно быстро. А с помощью встроенного переводчика вы можете на любом языке подсказывать этому НейроГардеробу то, какую именно одежду вы хотите на себе видеть.

P.S. На примере выше Илон в спортивном костюме, Девушка из Матрицы в деловом костюме и Кристиан в платье. Каждый из этих наборов (8 картинок) генерировался 30 минут.

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/NeuralWardrobe.ipynb

А теперь мы будем смотреть на эксперименты с системами ИИ, которые подарили нам Epic.

И маленькие проблемы на дорогах будут приводить к многокилометровым пробкам, без подгрузки лодов и исчезания акторов, когда вы просто отвернули голову.

Уже топ 2 :D

Добавил видео-демо ArcaneGAN v0.3 на huggingface.

🤗Тыкать тут