Новый стайл трансфер: c помощью AdaptiveConvolutions (AdaConv)

Disney Research в Цюрихе вдохновились AdaIn, который широко используется в генеративных сетках, и предложили адаптивные свертки, веса которых предсказываются другой сеткой.

Применяют AdaConv к стайл трансферу с помощью старичка VGG19, а также втыкают их в StyleGAN!

Подробнее тут.

Тут обалденная стать вышла. Layered Neural Atlases for Consistent Video Editing. Рассказывают как консистентно редактировать видео.

Примеры вы видите. Код тоже есть.

Вот сайт проекта.

Еще примерчик применения метода из статьи выше. Качество видео немного шакальное, лучше посмотреть у них на сайте.

Го смотреть Facebook Connect 2021.

Только началось. Цук рассказывает про Метаверс и про наши планы.

Для тех, кто не знает, Facebook Connect это крупнейший ежегодный ивэнт, где Цук публично рассказывает про наш вижн и иновации в сфере AR и VR.

https://youtu.be/H5HpytBiIvQ

Вот кусочек из презы FB Connect. AR/VR для фитнеса и спорта – это просто 🔥

А ещё, по слухам, Rockstar Games работают над GTA для Oculus Quest. И это именно то, о чем я мечтал в детстве!

Welcome to Meta! 🤗

Meta.com

Давайте каждый час переименовываться будем 🌚

Успел зарегать хендл @metaai

Вы бы хотели общаться со своими близкими на расстоянии и при этом чувствовать себя так, как будто вы находитесь рядом с ними?
Исследователи из Facebook Meta Reality Labs работают над тем, чтобы это стало реальностью! Некоторые из их наработок по фотореалистичным аватарам в полный рост были опубликованы на конференции Facebook Connect.

На видео ненастоящий человек, а его аватар! Что там происходит: девушка справа двигается в виртуальноми пространстве, а перед ней стоит виртуальный Ясер Шейх (директор лабы в Питтсбурге) и разговаривает с ней. Качество поражает!

​​ICCV в 1990 году - как оно было?

Michael J. Black (MJB) - известный профессор по CV, который занимается оценкой геометрии и поз людей в 3D. Мне посчастливилось быть с ним лично знакомым (однажды я делал доклад в его лабе). Человек он очень незаурядного ума. Так вот, Майкл опубликовал пост, где рассказывает о своем первом выступлении на ICCV (International Conference on Computer Vision) в 1990 году.

Он сравнивает то, как выглядят конференции по компьютерному зрению сейчас и тогда, он замечает такие интересные вещи:
- Статьи в одно лицо были довольно частым явлением, и даже крутые профессора часто писали статьи в одиночку. Сейчас же кол-во авторов на статье может составлять десятки д‌а‌р‌м‌о‌е‌д‌о‌в‌ человек!
- Раньше статьи могли быть от 4 до 12 страниц, тогда как сейчас стандарт - это 8, и меньше 8 страниц будет выглядеть странно.
- На ICCV 1990, проходившую я Японии, приехало 419 (!) заинтересованных. Сейчас это может быть до 10 тысяч людей.
- В 1990 году на ICCV было 126 статей, и только одна была про нейронные сети: Object recognition by a Hopfield neural network.
Прикиньте, уже размышляли о компьютерном зрении, когда даже привычного нам интернета (WWW) еще не было. Мало того, Майкл говорит, что тогда было всего буквально несколько оцифрованных видео на весь мир. Вот вам и биг дата!
- Почти ничего из обсуждаемого на конференции 1990 не могло заинтересовать индустрию. Сейчас - вы сами видели - гиганты тех. индустрии стремятся прорекламировать себя и завербовать как можно больше шарящих в CV людей.

Прочитать статью полностью можно по ссылке.

На фото Майкл Блэк во время ресепшена на ICCV 1990.

Роботам дали возможность познавать мир через прикосновения
Meta AI Research

Прикосновение важно для восприятия мира людьми. Тактильная информация - это ключевой способ восприятия окружающего мира. Прикосновение дает нам информацию, которую невозможно получить ни каким другим способом, например, о температуре вещества, его текстуре и весе, а иногда даже о его состоянии. В идеале, мы бы хотели, чтобы ИИ мог учиться и взаимодействовать с миром через прикосновения (как люди). Но для того, чтобы это произошло, необходимо создать экосистему тактильного восприятия в робототехнике.

В этом блогпосте F‌a‌c‌e‌b‌o‌o‌k‌ Meta AI рассказывает о прогрессе в разработке оборудования, симуляторов, библиотек, и синтетических данных, необходимых для создания AI систем, которые могут понимать мир и взаимодействовать с ним с помощью прикосновений.

Представлены три основных достижения:
▪️ DIGIT - дешевый тактильный сенсор, который можно построить дома за $15, если есть 3D принтер. Интересно, что сам сенсор полагается только на встроенные камеры и алгоритмы компьютерного зрения. В нем нет датчиков давления.
▪️ ReSkin - синтетическая кожа, которая может понимать тактильную информацию с помощью магнитометра. Кожа эта очень универсальна и легко заменяется, так как не имеет в себе никакой проводки.
▪️ TACTO - быстрый симулятор для тактильных сенсоров, основанных на зрении, с открытым исходным кодом.

Все эти инновации помогают добиться прогресса в разработке более мягких и безопасных роботов, способных понимать мир через прикосновения. Также новые легкодоступные сенсоры и открытый исходный код открывают сферу тактильного восприятия для большего числа исследователей.

Ох этот новый дивный мир, друзья мои! Жду когда робот будет полноценным помощником по дому, а не то, что эти тупые робопылесосы.

А вот и короткое видео к посту выше. Сорри за шакальное качество.

Наткнулся на твиттер-тред, где известный профессор (86k цитирований) по вычислительной биологии просто уничтожает критикой алгоритмы для уменьшения размерности, такие как t-SNE и UMAP, и призыввет их не использовать. Чувак приводит аргументы, почему они не работают, и примеры их фейлов на биологических данных (как на картинке выше, демонстрирующей фейлы UMAP).

Если хотите получше разобраться в алгоритмах для dimensionality reduction и в их плюсах и минусах, то могу порекомендовать видео Neighbour embeddings for scientific visualization by Dmitry Kobak.

От себя добавлю, я довольно много крутил t-SNE и колпулся в его имплементации (респект Диме Ульянову за его чудесную имплементацию Multicore-TSNE). И это правда, что, меняя параметры алгоритма и рандом сид, можно получить график желаемого вида, где будет кластеризовано то, что вам хочется.