StyleNeRF: A Style-based 3D Aware Generator for High-resolution Image Synthesis

Тут появилась прикольная статья, которая комбинирует идеи из StyleGAN и NeRF, для того чтобы учиться синтезировать текстурированные 3D головы.

Идея в том, NeRF модель учит неявное представление 3D, предсказывая, какая плотность и какой цвет вокселей вдоль луча пущенного из точки (x,y,z) под углом alpha. В данном случае геометрия лиц людей - это довольно узкий класс и у разных лиц много чего общего. Так вот NeRF выучивает что-то вроде 3D каркаса общего для всех лиц. Кроме того архитектура NeRF приправляется авторами идеями из StyleGAN, которые позволяют модулировать каждый слой NeRF-сети с помощью случайного стилевого вектора W. Это позволяет добавлять различные детали на лицо, чтобы получались разные люди.

Сетка умеет генерить 1024x1024 картинки, которые можно вертеть в 3D как угодно, ведь направление камеры тут явно задается при рендеринге из NeRF.

Статья сейчас на рецензии на ICLR 2022. Кода пока нет.

Продолжение ниже ⬇

Дипфейк или Валуев? 🤔

Фото подсмотрено у Дениса.

🏆 Facebook AI представили две крутейшие 3D нейронки на ICCV2021: 3DETR и DepthContrast

Понимание 3D на основе трансформера и self-supervised learning’a. И да, есть код и обученные модели!

▪️DepthContrast:
Супервайзд претрейн на огромных датасетах стал основным инструментом для разработки моделей компьютерного зрения. Хотя подход отлично работает для многих доменов, он не получил широкого распространения для задач 3D распознавания.

🛋 Пример: ’определение местоположения дивана на трехмерном скане гостиной’.

Собрать и разметить огромный 3D датасет — колоссальная работа. DepthContrast self-supervised претрейн, предложенный FAIR, не требует аннотации.

▪️3DETR:
An End-to-End Transformer Model for 3D Object Detection (3D DEtection TRansformer) без inductive bias.

🗺 На gif‘ке показана карта внимания декодера трансформера 3DETR, изолирующая отдельный объекты. Декодер юзает в основном эту инфу при предсказании 3D-bbox’ов.

📇 подробнее на блоге FAIR

3DETR: 📰 paper 💻 code
DepthContrast: 📰 paper 💻 code

Автономный дрон самостоятельно перемещается по лесу со скоростью 40 км / ч.

Исследователи из Университета Цюриха разработали новый подход к автономному управлению квадрокоптерами в неизвестных сложных условиях на высоких скоростях, используя только бортовые измерения и вычисления. Коптер обучают строить траектории без коллизий в симуляции, на основе карты глубины. Чтобы адаптировать модель к реальным данным, в симуляцию карты глубины добавляют реалистичный шум. Итог - коптер летает так быстро, как ни один человек не смог бы им управлять.

Включайте видео со звуком. Там интересное повествование.

Подробнее тут.

HeadGAN: One-shot Neural Head Synthesis and Editing
ICCV 2021

Новая модель для face-reenactment. Работает визуально лучше чем предыдущая SOTA "First Order Motion Model for Image Animation".

Авторы даже сделали графический редактор, где ползунками можно поднастроить анимацию лица (см. пост ниже ↓).

Кода пока нет | Сайт проекта

HeadGAN визуальный редактор.

Вы, знали, что исследователи в FB также работают над способами сократить количество времени и денег, необходимых для развертывания высокоскоростного широкополосного доступа в интернет?

Они разработали робота, который ползет по линиям электропередач, обматывая их оптоволоконным кабелем. Больше не надо рыть траншеи!

Тут можно ещё почитать про другие инициативы Фейсбука по ускорению доступа людей к быстрому интернету по всему миру.

Источник: Schrep (CTO @ Facebook)

А вот как этот робот из поста выше, который прокладывает оптоволокно, перелезает через столбы. Robotics + computer vision!

🔥StyleGAN3 от NVIDIA! Ура!

Помните Alias-Free GAN с офигенно гладкими результатами, о котором я писал ранее? Так вот, исследователи наконец выложили код, и теперь можно пилить свои поделки на этой основе. Не знаю, как у вас, но у меня уже чешутся руки попробовать.

Автор канала @nn_for_science любезно подготовил Colab со StyleGAN3.

Код | Сайт проекта | Колаб

В твитторе началоcь безумство со StyleGAN3 (как и ожидалось).

Вот колаб (StyleGAN3+CLIP), который может генерить картинки по текстовому запросу с помощью эмбеддинга картинок и текста в общее пространство сетью CLIP.

На видео, например, таким макаром человек преобразуется в дерево. Инициализация - это фото, а затем зупускаем оптимизацию в сторону эмбеддинга "дерево". В колабе можно преобразовать себя в дерево или ракушку 🌚 (правда для этого нужно будет немного допилить ноутбук, чтобы спроецировать своё фото в пространство стайлгана).

🐱Помните, я писал о генерации женщин-кошек в стиле аниме? Так вот, автор описал как увеличить ёмкость StyleGAN2 до 250 миллионов параметров и выложил веса модели, натренированной на косплей-лицах.

Надо бы теперь натренить что-то подобное с помощью StyleGAN3.

Замиксовал видео, сгенерированное StyleGAN3 одним из моих подписчиков. Смотреть со звуком 🎶

Кстати, у меня есть инста, куда я больше кидаю всякий визуальный контент. Подписывайтесь, если ещё этого не сделали.

Вышло обновление у моих товарищей из in3D.io.

В приложении для Айфона можно отсканить себя, приодеть в шмоточки, анимировать, вставлять в текущую сцену и экспортировать 3D модель для использования в других приложениях. Если вам нравится, то проголосуйте за ребят на продуктханте.

https://www.producthunt.com/posts/in3d

🧛‍♀️🐍 Colab StyleGAN3 + CLIP by Мишин Лернинг

Подготовил для вас отполированную и доведённую до ума версию colab для генерации StyleGAN3 арта по текстовому описанию!

🤖 Для гиков: за основу взял выложенный вчера вечером в твиттере nshepperd1 колаб StyleGAN3 + CLIP, с прикрученным интерфейсом от nn_for_science. Улучшил стабильность и качество генерации, перенеся идеи, которые считаю важными, из vqgan версии.

🎓 Что улучшено в версии от “Мишин Лернинг”:
▪️Добавил дифференцируемые аугментации. Сильно накидывают в качестве
▪️Увеличил размер батча для CLIP на каждом шаге оптимизации
▪️Увеличил размер кропов в батче для CLIP
▪️Подобрал параметры оптимизации

🔮StyleGAN3 + CLIP by Мишин Лернинг colab

Советы:
▫️Экспериментируйте с разными моделями: там есть версии для лиц, портретов и для животных
▫️Пробуйте и t и r версии, t - для сдвигов, r - для поворотов
▫️Не бойтесь длинных описаний

p.s. prompt для анимации к посту: “A vampire woman with big lips & long hairs made of snakes in style of Gustav Klimt”

🦾 На ICCV21 подвезли новую соту для 3D реконструкции кистей рук по RGB изображению.

Риал тайм. Высокая точность. Даже код есть. Оргазм для AR разработчиков.

Сама статья: Towards Accurate Alignment in Real-time 3D Hand-Mesh Reconstruction

Переодеваем людей с помощью нейронок
SIGGRAPH Asia 2021

По одному виду можно сегенирить новый вид с другого ракурса либо переодеть человека в другую ожежду.

Алгоритм коротко: Стайлган + DensePose + хитрое заполнение пробелов в местах, которые не видно на входной картинке.

Мое мнение: Работает на шестёрочку, но сама идея и её имплементация на уровне архитектуры заслуживает внимания.

Кода пока нет. Сайт проекта.

StyleGAN3 Music Video

Вдохновившись танцующими котиками, сделал демку для генерации музыкальных видео. Можно использовать со всеми доступнами моделями StyleGAN и с любыми музыкальными трэками (привзяно к частотам)

💻Играть в моем колабе

#GAN #demo #audio