О, тут выкатили веб интерфейс Stylegan-Nada, можно потестить прям онлайн. Работает быстро (но под нагрузкой может и тупить). На прикреплённом фото пример с Ельциным и всеми поддерживаемыми стилями

Понажимать можно тут: https://replicate.ai/rinongal/stylegan-nada

Ежели под нагрузкой будет тупить, а вам не лень пердолиться с колабом, то вот ссылка

Если получится что-то годное, делитесь в личку

⚡️Немного ликбеза об эффективных сетках. Pt.2

В Pt.1 мы говорили о главной идее архитектуры MobilenetV1 - depthwise separable convolutions. В этом посте речь пойдет о MobileNetV2.

Во второй версии MobileNet авторы из Google Inc. предложили пробросить skip-соединения и использовать Inverted Residual Block (IRF), что существенно сократило необходимый объем памяти для тренировки и предсказания сети, и улучшило точность на многих задачах.

В обычных residual блоках из статьи про ResNet skip-соединения проброшены между выходами жирных конволюций, то есть каждая конволюция имеет довольно большое число выходных каналов, причем это число каналов поддерживается фиксированным на протяжении нескольких блоков. Нововведение IRF блока в том, что:
(1) он использует depthwise separable конволюции, как и в MobilenetV1;
(2) число каналов внутри блока меняется за счет того, что в начале каждого IRF блока стоит 1x1 conv, который увеличивает число каналов (expansion layer). Затем идет 3x3 depthwise convolution. А замыкает блок ещё один 1x1 conv, который уменьшает число каналов (projection layer). Смотрим схему на картинке.

Таким образом, skip-соединения всегда связывают тензоры боле низкой размерности (после projection layer), а бóльшая часть "работы" по выучиванию сложных фичей происходит внутри блока, где размерность выше (после expansion layer). Главное преимущество такого подхода в том, что требуется меньше памяти и меньше операций сложения, т.к. skip-соединения проброшены между тензорами низкой размерности. Кроме того, IRF блоки более эффективны чем традиционные residual block-и из-за использования 1x1 конволюций и 3x3 depthwise конволюций.

Интересно, что авторы не добавляют ReLU после projection layer, то есть IRF блоки провязаны skip-соединениями, где нет нелинейности. Эмпирически это даёт лучшую точность, т.к. добавление нелинейности режет информацию после каждого блока, а без нее больше информации может свободно "гулять" по сети.

Блог-пост на английском, откуда я нарезал картинки.

---

Друзья, напишите в комментариях, нравятся ли вам посты в таком стиле. Ваша благодарность даёт мне мотивацию. Так же предлагайте свои темы, я выберу наиболее интересные для следующего разбора.

#efficient_nets #ликбез

Интересное замечание о логике выдачи видеокарт в Colab Pro+. За 3-4 дня до списания абоонентской платы начинают выдаваться хорошие видеокарты, а после оплаты опять выдаётся шелупень всякая.

Ваше мнение, господа? Замечали такое?

StyleNeRF: A Style-based 3D Aware Generator for High-resolution Image Synthesis

Тут появилась прикольная статья, которая комбинирует идеи из StyleGAN и NeRF, для того чтобы учиться синтезировать текстурированные 3D головы.

Идея в том, NeRF модель учит неявное представление 3D, предсказывая, какая плотность и какой цвет вокселей вдоль луча пущенного из точки (x,y,z) под углом alpha. В данном случае геометрия лиц людей - это довольно узкий класс и у разных лиц много чего общего. Так вот NeRF выучивает что-то вроде 3D каркаса общего для всех лиц. Кроме того архитектура NeRF приправляется авторами идеями из StyleGAN, которые позволяют модулировать каждый слой NeRF-сети с помощью случайного стилевого вектора W. Это позволяет добавлять различные детали на лицо, чтобы получались разные люди.

Сетка умеет генерить 1024x1024 картинки, которые можно вертеть в 3D как угодно, ведь направление камеры тут явно задается при рендеринге из NeRF.

Статья сейчас на рецензии на ICLR 2022. Кода пока нет.

Продолжение ниже ⬇

Дипфейк или Валуев? 🤔

Фото подсмотрено у Дениса.

🏆 Facebook AI представили две крутейшие 3D нейронки на ICCV2021: 3DETR и DepthContrast

Понимание 3D на основе трансформера и self-supervised learning’a. И да, есть код и обученные модели!

▪️DepthContrast:
Супервайзд претрейн на огромных датасетах стал основным инструментом для разработки моделей компьютерного зрения. Хотя подход отлично работает для многих доменов, он не получил широкого распространения для задач 3D распознавания.

🛋 Пример: ’определение местоположения дивана на трехмерном скане гостиной’.

Собрать и разметить огромный 3D датасет — колоссальная работа. DepthContrast self-supervised претрейн, предложенный FAIR, не требует аннотации.

▪️3DETR:
An End-to-End Transformer Model for 3D Object Detection (3D DEtection TRansformer) без inductive bias.

🗺 На gif‘ке показана карта внимания декодера трансформера 3DETR, изолирующая отдельный объекты. Декодер юзает в основном эту инфу при предсказании 3D-bbox’ов.

📇 подробнее на блоге FAIR

3DETR: 📰 paper 💻 code
DepthContrast: 📰 paper 💻 code

Автономный дрон самостоятельно перемещается по лесу со скоростью 40 км / ч.

Исследователи из Университета Цюриха разработали новый подход к автономному управлению квадрокоптерами в неизвестных сложных условиях на высоких скоростях, используя только бортовые измерения и вычисления. Коптер обучают строить траектории без коллизий в симуляции, на основе карты глубины. Чтобы адаптировать модель к реальным данным, в симуляцию карты глубины добавляют реалистичный шум. Итог - коптер летает так быстро, как ни один человек не смог бы им управлять.

Включайте видео со звуком. Там интересное повествование.

Подробнее тут.

HeadGAN: One-shot Neural Head Synthesis and Editing
ICCV 2021

Новая модель для face-reenactment. Работает визуально лучше чем предыдущая SOTA "First Order Motion Model for Image Animation".

Авторы даже сделали графический редактор, где ползунками можно поднастроить анимацию лица (см. пост ниже ↓).

Кода пока нет | Сайт проекта

HeadGAN визуальный редактор.

Вы, знали, что исследователи в FB также работают над способами сократить количество времени и денег, необходимых для развертывания высокоскоростного широкополосного доступа в интернет?

Они разработали робота, который ползет по линиям электропередач, обматывая их оптоволоконным кабелем. Больше не надо рыть траншеи!

Тут можно ещё почитать про другие инициативы Фейсбука по ускорению доступа людей к быстрому интернету по всему миру.

Источник: Schrep (CTO @ Facebook)

А вот как этот робот из поста выше, который прокладывает оптоволокно, перелезает через столбы. Robotics + computer vision!

🔥StyleGAN3 от NVIDIA! Ура!

Помните Alias-Free GAN с офигенно гладкими результатами, о котором я писал ранее? Так вот, исследователи наконец выложили код, и теперь можно пилить свои поделки на этой основе. Не знаю, как у вас, но у меня уже чешутся руки попробовать.

Автор канала @nn_for_science любезно подготовил Colab со StyleGAN3.

Код | Сайт проекта | Колаб

В твитторе началоcь безумство со StyleGAN3 (как и ожидалось).

Вот колаб (StyleGAN3+CLIP), который может генерить картинки по текстовому запросу с помощью эмбеддинга картинок и текста в общее пространство сетью CLIP.

На видео, например, таким макаром человек преобразуется в дерево. Инициализация - это фото, а затем зупускаем оптимизацию в сторону эмбеддинга "дерево". В колабе можно преобразовать себя в дерево или ракушку 🌚 (правда для этого нужно будет немного допилить ноутбук, чтобы спроецировать своё фото в пространство стайлгана).

🐱Помните, я писал о генерации женщин-кошек в стиле аниме? Так вот, автор описал как увеличить ёмкость StyleGAN2 до 250 миллионов параметров и выложил веса модели, натренированной на косплей-лицах.

Надо бы теперь натренить что-то подобное с помощью StyleGAN3.

Замиксовал видео, сгенерированное StyleGAN3 одним из моих подписчиков. Смотреть со звуком 🎶

Кстати, у меня есть инста, куда я больше кидаю всякий визуальный контент. Подписывайтесь, если ещё этого не сделали.