HeadGAN: One-shot Neural Head Synthesis and Editing
ICCV 2021

Новая модель для face-reenactment. Работает визуально лучше чем предыдущая SOTA "First Order Motion Model for Image Animation".

Авторы даже сделали графический редактор, где ползунками можно поднастроить анимацию лица (см. пост ниже ↓).

Кода пока нет | Сайт проекта

HeadGAN визуальный редактор.

Вы, знали, что исследователи в FB также работают над способами сократить количество времени и денег, необходимых для развертывания высокоскоростного широкополосного доступа в интернет?

Они разработали робота, который ползет по линиям электропередач, обматывая их оптоволоконным кабелем. Больше не надо рыть траншеи!

Тут можно ещё почитать про другие инициативы Фейсбука по ускорению доступа людей к быстрому интернету по всему миру.

Источник: Schrep (CTO @ Facebook)

А вот как этот робот из поста выше, который прокладывает оптоволокно, перелезает через столбы. Robotics + computer vision!

🔥StyleGAN3 от NVIDIA! Ура!

Помните Alias-Free GAN с офигенно гладкими результатами, о котором я писал ранее? Так вот, исследователи наконец выложили код, и теперь можно пилить свои поделки на этой основе. Не знаю, как у вас, но у меня уже чешутся руки попробовать.

Автор канала @nn_for_science любезно подготовил Colab со StyleGAN3.

Код | Сайт проекта | Колаб

В твитторе началоcь безумство со StyleGAN3 (как и ожидалось).

Вот колаб (StyleGAN3+CLIP), который может генерить картинки по текстовому запросу с помощью эмбеддинга картинок и текста в общее пространство сетью CLIP.

На видео, например, таким макаром человек преобразуется в дерево. Инициализация - это фото, а затем зупускаем оптимизацию в сторону эмбеддинга "дерево". В колабе можно преобразовать себя в дерево или ракушку 🌚 (правда для этого нужно будет немного допилить ноутбук, чтобы спроецировать своё фото в пространство стайлгана).

🐱Помните, я писал о генерации женщин-кошек в стиле аниме? Так вот, автор описал как увеличить ёмкость StyleGAN2 до 250 миллионов параметров и выложил веса модели, натренированной на косплей-лицах.

Надо бы теперь натренить что-то подобное с помощью StyleGAN3.

Замиксовал видео, сгенерированное StyleGAN3 одним из моих подписчиков. Смотреть со звуком 🎶

Кстати, у меня есть инста, куда я больше кидаю всякий визуальный контент. Подписывайтесь, если ещё этого не сделали.

Вышло обновление у моих товарищей из in3D.io.

В приложении для Айфона можно отсканить себя, приодеть в шмоточки, анимировать, вставлять в текущую сцену и экспортировать 3D модель для использования в других приложениях. Если вам нравится, то проголосуйте за ребят на продуктханте.

https://www.producthunt.com/posts/in3d

🧛‍♀️🐍 Colab StyleGAN3 + CLIP by Мишин Лернинг

Подготовил для вас отполированную и доведённую до ума версию colab для генерации StyleGAN3 арта по текстовому описанию!

🤖 Для гиков: за основу взял выложенный вчера вечером в твиттере nshepperd1 колаб StyleGAN3 + CLIP, с прикрученным интерфейсом от nn_for_science. Улучшил стабильность и качество генерации, перенеся идеи, которые считаю важными, из vqgan версии.

🎓 Что улучшено в версии от “Мишин Лернинг”:
▪️Добавил дифференцируемые аугментации. Сильно накидывают в качестве
▪️Увеличил размер батча для CLIP на каждом шаге оптимизации
▪️Увеличил размер кропов в батче для CLIP
▪️Подобрал параметры оптимизации

🔮StyleGAN3 + CLIP by Мишин Лернинг colab

Советы:
▫️Экспериментируйте с разными моделями: там есть версии для лиц, портретов и для животных
▫️Пробуйте и t и r версии, t - для сдвигов, r - для поворотов
▫️Не бойтесь длинных описаний

p.s. prompt для анимации к посту: “A vampire woman with big lips & long hairs made of snakes in style of Gustav Klimt”

🦾 На ICCV21 подвезли новую соту для 3D реконструкции кистей рук по RGB изображению.

Риал тайм. Высокая точность. Даже код есть. Оргазм для AR разработчиков.

Сама статья: Towards Accurate Alignment in Real-time 3D Hand-Mesh Reconstruction

Переодеваем людей с помощью нейронок
SIGGRAPH Asia 2021

По одному виду можно сегенирить новый вид с другого ракурса либо переодеть человека в другую ожежду.

Алгоритм коротко: Стайлган + DensePose + хитрое заполнение пробелов в местах, которые не видно на входной картинке.

Мое мнение: Работает на шестёрочку, но сама идея и её имплементация на уровне архитектуры заслуживает внимания.

Кода пока нет. Сайт проекта.

StyleGAN3 Music Video

Вдохновившись танцующими котиками, сделал демку для генерации музыкальных видео. Можно использовать со всеми доступнами моделями StyleGAN и с любыми музыкальными трэками (привзяно к частотам)

💻Играть в моем колабе

#GAN #demo #audio

Наконец-то хоть кто-то научился генерировать красивые кроссовки 😁. Ещё и веса модели выложили в публичный доступ.

Какая же все-таки фундаментальная статья StyleGAN. И Tero Karras красавчик.

DeepMind выкупил популярный в научной среде физический симулятор MuJoCo и сделал его бесплатным. Все для развития исследований в области робототехники и RL. Это действительно достойный шаг!

Происходя в микроскопических масштабах на границе раздела двух тел, физические контакты могут быть мягкими или жесткими, упругими или губчатыми, скользкими или липкими. MuJoCo в этом плане довольно потрясающая штука, которая позволяет хорошо симулировать различные виды контактов. И часто работает гораздо быстрее чем real-time.

А в 2022 году ресерчеры из DeepMind опубликуют код симулятора на GitHub!

Подробности: dpmd.ai/mujoco-blog.

Low life, high tech – кажется США первыми в киберпанк попали. Автор.

​​Нейронные сети и глубокое обучение к 2021г захватили человечество, но иначе чем ожидали фантасты. Захвачено главное — внимание людей. Но любая тема, ставшая популярной, развивается в сторону увеличения количества публикуемых материалов и их упрощения, а также хайпа во всех проявлениях.

В результате, перед теми кто хочет действительно разобраться в этой области, хотя бы верхнеуровнево, возникает бурлящий поток из блогов, статей, репозиториев, онлайн-курсов и пр. В такой ситуации нужно выбирать источники от авторов, которые стоят за созданием оснований этих технологий и способны рассказать о них как о своих детях. С любовью и натянутым нервом.

Ян Лекун является патриархом машинного обучения, который провел десятилетия в работе над базовыми исследованиями и инженерии первых работающих систем, даже в ситуациях, когда в академической среде такая работа считалась абсолютно бесперспективной, а соответственно нефинансируемой.

Уйдя в преподавание в 43 года, он продолжал работу над исследованиями в составе очень ограниченной группы коллег фактически в стелс режиме. До момента, когда в 2013г Цукерберг лично уговорил его построить лабораторию, а дальше все направления машинного обучение в Facebook. Приняв его условие совмещать эту работу с продолжением преподавания. (Сейчас Лекун является VP & Chief AI Scientist в Facebook.)

Книга Лекуна Как учится машина дает развернутую историческую панораму становления технологий машинного обучения. Через примеры уникальных прорывов, иногда совершенно случайных успехов, больших провалов конкретных исследователей и их работ, их влияния на то, что используется сейчас "в одну строчку кода", разбираются "первые принципы" всех основных архитектур нейронных сетей. С именами и личными историями, что делает все повествование очень литературным и интересным.

Свистнуто у @dxspace

Новая статья на NeurIPS: мы обучаем надежный кодировщик CLIP, который аппроксимирует CLIP, видя сильно искаженные изображения. Мы можем классифицировать изображения, наблюдая только 2% случайных пикселей или очень размытые изображения лучше, чем люди.

Сама статья.

Краска-электропроводник!

Нашел прикольный проект. Чуваки сделали краску, которая переносит электрический сигнал. То есть можно нарисовать любую интерактивную электросхему у себя на стене или на листе бумаги и сделать какой-нибудь прибамбас для умного дома, ну, или что у вас там на уме. За 150 франков можно заказать стартер-кит, включающий тачборд (плату, которая подключается к нарисованным линиям и регистрирует касания).

Теперь захотелось избавиться от выключателей дома и просто нарисовать их 😏