🦚 DreamFusion: Text-to-3D using 2D Diffusion от ?Google

Не успели мы насладиться Text2Video от MetaAI как выходит Text-To-3D диффузия.. Что за день..

🚀 Как работает? Идея супер изящная!

Это градиентный метод, основанный на Loss-функции, такой как DeepDream. По факту происходит оптимизация рандомно инициализированной 3D модельки (a Neural Radiance Field, or NeRF) через градиенты 2D диффузионных генераций.

То есть по факту, проворачивая такой трюк, не нужно иметь 3D данных вообще!

Подробнее:
1) Рандомная фигура рендерится через NERF (плотность, освещение, цвет)

2) Этот изначальный бред (так как это начало) рендерится в 2D проекцию

3) Затем к картинке подмешивают шум, и все это подается на!!! внимание!! ИМАГЕН

4) После чего Имаген предсказывает необходимый денойз

5) Затем из пересказанного денойза вычитается подмешанный шум. и ВУАЛЯ! Дальше все дифференцируемо! Можно пускать градиенты обратно на 3D-модель

А то что у ребят был доступ к IMAGEN мне на 99.9999999% кажется, что это Google. Ну, а так, чем Тьюринг не шутит..

👁 gallery
📄 paper
📇 project

🤖 м и ш и н л е р н и н г

☠️ Colab — Все!

Все мы любили колаб. Но увы, ничто не вечно под луной. И теперь можно купить или 100 или 500 compute units, что в переводе на бытовой означает, что колаб сдулся.

🪦 Царство небесное, вечн Йисгадал вэйискадаш шмэй рабо..

🤖 м и ш и н л е р н и н г

Вот вам блог-постик c объяснением Variational Lower Bound или Evidence Lower Bound (ELBO). Никогда не поздно поднимать базу #fundamentals, да и на
ML собесах пригодится.

❱❱ Ссылка

@ai_newz

​DeepFaceDrawing – нейросеть, которая позволяет создавать реалистичные изображения лиц из набросков от руки

Метод отрисовки по существу использует входные эскизы в качестве «мягких» ограничений и, таким образом, способен создавать высококачественные изображения лиц даже из грубых и/или неполных эскизов

Данный инструмент прост в использовании даже для тех кто не рисует, сохраняя при этом тонкое управление деталями формы

⤷ Демо
⤷ Ссылка на проект

GitHub | #Python #Interesting

​​FADA

Этот инструмент предназначенный для надежного обнаружения лиц не настоящих людей, а сгенерированных ИИ, с сайта https://thispersondoesnotexist.com/

https://github.com/MathisHammel/FADA

❤️‍🔥 AudioGen: нейросеть для генерации аудио по текстовому описанию

Очень много работы по визуальным диффузам, так что буду краток. Мета сделал то, что все мы ждали!

Как отметил Александр Шульгин, альфа-метилированные триптамины AudioGEN можно рассматривать как триптаминовые гомологи амфетамина аудиальный гомолог визуального DALL-E 1. И действительно, Александр Шульгин тут очень точно подметил!

Дело тут именно в том, что АудиоГена не гомологичен Имагену. Работа ведется не в пространстве пикселей — звуковой волны, и не в пространстве интегрального преобразования (фурье, вейвлет), а в VAE, в данном случае RVQ*

1) Сначала аудио конвертируется при помощи VAE в латент.

2) Затем трансформер авторегрессионно предсказывает дискретные токены RVQ, через кроссаттеншен с текстового энкодинга, которые потом превращаются обратно в звук при помощи RVQ-декодера.

Результаты — WOW, писать можно долго, но это надо слушать.

📯 Примеры слушать обязательно: тут
📰 Пейпер Аудиогены
💻 код / будет тут?

🤖 м и ш и н л е р н и н г

Глубокое обучение для чайников

Авторы: Джон Пол Мюллер, Лука Массарон
Год: 2020

#books #dp #ml #russian #python

​​Open AI опубликовала крупнейшую нейросеть распознавания речи, обученную на 680 тысячах часов аудио, назвали Whisper — шепот.

Сеть понимает множество языков кроме английского, включая русский.

Качество распознавания сравнимо с сервисами от Google, Amazon, Microsoft и Yandex. При этом сервисы распознавания речи от корпораций стоят по 2 доллара за минуту распознавания, а тут можно скачать и пользоваться этой штукой бесплатно и без подключения к интернету.

Открыта и бесплатна для скачивания не только конечная сеть, но и «развесовка», то есть модель можно тюнить и использовать как составную часть более сложных алгоритмов. Не открыты только 680 тысяч часов аудио, которые использовали для обучения модели.

Пара примеров есть на странице проекта; распознать любые файлы и даже свою речь с микрофона можно попробовать онлайн в неофициальном google colab блокноте (очень классный инструмент!).

—

Кстати, если у вас айфон — рекомендую обновить iOS и попробовать встроенное распознавание речи. Новая версия iOS внесла одно маленькое изменение — теперь редактирование текста клавиатурой не прерывает процесс распознавания. Можно набрать текст голосом, исправить ошибку пальцами и продолжить набор голосом. Я теперь пишу большинство сообщений на айфоне именно так — гораздо быстрее и легче, чем печатать пальцами.

Интересно, что мы как раз начинаем исследовательский проект для Чайки — встроим распознавание речи в медицинскую информационную систему, чтобы врачи могли заполнять карточки пациентов голосом и тратили на это меньше времени.

Будущее уже совсем близко.

Диффузию применяют для решения все более разных проблем.

Тут ресерчеры генерируют motion последовательности по текстовым запросам с помощью диффузионной модели. Аниматорам на заметку.

Статья Motion Diffusion Model сейчас на ревью на ICLR 2023.

@ai_newz

А Microsoft генерит структуры белков с помощью диффузионных моделей (Folding Diffusion).

Код
Препринт

@ai_newz

3DiM: Novel View Synthesis with Diffusion Models

А тут Гугл ресерч охренел и сделал синтез 3д моделей (точнее рендеринг новых вью) по одной картинке. И конечно же с помощью диффузии! Это просто алхимия какая-то! Вот так вот, забудьте все свои Гани и делайте денойзинг 😁.

❱❱ Сайт проекта открывать обязательно

@ai_newz

Face-classification — утилита, которая предоставляет обнаружение лиц.

Face-classification предоставляет обнаружение лиц в реальном времени и классификация эмоций/пола с использованием наборов данных fer2013/IMDB с моделью keras CNN и openCV.

Точность теста на гендерную классификацию IMDB: 96%.
Точность теста классификации эмоций fer2013: 66%.

Проект находится здесь :3

🚀 IMAGEN VIDEO — Диффузии уже не остановить!

tl;dr
Помните Make-A-Video от MetaAI? Так вот — забудьте! Команда Google Brain только что создало лучшее Text-to-Video решение!

Если вкратце, то это имагеновый гомолог далишного Make-A-Video 🤖

Ну, а если чуть подробнее:

— Text Prompt подается в T5 энкодер
— Затем Base Model (5.6B ❤️) диффузит 16 кадров 40x24 pix в скромных 3 fps
— Затем темпоральный апсемплер TSR (1.7B) делает 32 кадра 40x24pix уже в 6 fps
— И пространственный апскейлер SSR-1 (1.4B) готовит предыдущие 32 кадра в разрешении 80x48 pix, и сразу второй SSR-2 (1.2B) делает 320x192
— Затем следуют еще два стейджа временного и один каскад пространственного суперреза и в итоге мы получаем 128 кадров в разрешении 1280x768 в 24fps

Основной фишкой такого подхода является Video U-Net — архитектура видео-юнет, пространственные операции которого выполняются независимо по кадрам с общими параметрами (батч х время, высота, ширина, каналы), тогда как временные операции работают уже по всему 5-ти мерному тензору (батч, время, высота, ширина, каналы).

Сделаю потом более подробный пост, а пока рекомендую всем посмотреть результаты на сайте проекта!

🚀 Imagen Video
📄 paper

🤖 м и ш и н л е р н и н г