☠️ Colab — Все!

Все мы любили колаб. Но увы, ничто не вечно под луной. И теперь можно купить или 100 или 500 compute units, что в переводе на бытовой означает, что колаб сдулся.

🪦 Царство небесное, вечн Йисгадал вэйискадаш шмэй рабо..

🤖 м и ш и н л е р н и н г

Вот вам блог-постик c объяснением Variational Lower Bound или Evidence Lower Bound (ELBO). Никогда не поздно поднимать базу #fundamentals, да и на
ML собесах пригодится.

❱❱ Ссылка

@ai_newz

​DeepFaceDrawing – нейросеть, которая позволяет создавать реалистичные изображения лиц из набросков от руки

Метод отрисовки по существу использует входные эскизы в качестве «мягких» ограничений и, таким образом, способен создавать высококачественные изображения лиц даже из грубых и/или неполных эскизов

Данный инструмент прост в использовании даже для тех кто не рисует, сохраняя при этом тонкое управление деталями формы

⤷ Демо
⤷ Ссылка на проект

GitHub | #Python #Interesting

​​FADA

Этот инструмент предназначенный для надежного обнаружения лиц не настоящих людей, а сгенерированных ИИ, с сайта https://thispersondoesnotexist.com/

https://github.com/MathisHammel/FADA

❤️‍🔥 AudioGen: нейросеть для генерации аудио по текстовому описанию

Очень много работы по визуальным диффузам, так что буду краток. Мета сделал то, что все мы ждали!

Как отметил Александр Шульгин, альфа-метилированные триптамины AudioGEN можно рассматривать как триптаминовые гомологи амфетамина аудиальный гомолог визуального DALL-E 1. И действительно, Александр Шульгин тут очень точно подметил!

Дело тут именно в том, что АудиоГена не гомологичен Имагену. Работа ведется не в пространстве пикселей — звуковой волны, и не в пространстве интегрального преобразования (фурье, вейвлет), а в VAE, в данном случае RVQ*

1) Сначала аудио конвертируется при помощи VAE в латент.

2) Затем трансформер авторегрессионно предсказывает дискретные токены RVQ, через кроссаттеншен с текстового энкодинга, которые потом превращаются обратно в звук при помощи RVQ-декодера.

Результаты — WOW, писать можно долго, но это надо слушать.

📯 Примеры слушать обязательно: тут
📰 Пейпер Аудиогены
💻 код / будет тут?

🤖 м и ш и н л е р н и н г

Глубокое обучение для чайников

Авторы: Джон Пол Мюллер, Лука Массарон
Год: 2020

#books #dp #ml #russian #python

​​Open AI опубликовала крупнейшую нейросеть распознавания речи, обученную на 680 тысячах часов аудио, назвали Whisper — шепот.

Сеть понимает множество языков кроме английского, включая русский.

Качество распознавания сравнимо с сервисами от Google, Amazon, Microsoft и Yandex. При этом сервисы распознавания речи от корпораций стоят по 2 доллара за минуту распознавания, а тут можно скачать и пользоваться этой штукой бесплатно и без подключения к интернету.

Открыта и бесплатна для скачивания не только конечная сеть, но и «развесовка», то есть модель можно тюнить и использовать как составную часть более сложных алгоритмов. Не открыты только 680 тысяч часов аудио, которые использовали для обучения модели.

Пара примеров есть на странице проекта; распознать любые файлы и даже свою речь с микрофона можно попробовать онлайн в неофициальном google colab блокноте (очень классный инструмент!).

—

Кстати, если у вас айфон — рекомендую обновить iOS и попробовать встроенное распознавание речи. Новая версия iOS внесла одно маленькое изменение — теперь редактирование текста клавиатурой не прерывает процесс распознавания. Можно набрать текст голосом, исправить ошибку пальцами и продолжить набор голосом. Я теперь пишу большинство сообщений на айфоне именно так — гораздо быстрее и легче, чем печатать пальцами.

Интересно, что мы как раз начинаем исследовательский проект для Чайки — встроим распознавание речи в медицинскую информационную систему, чтобы врачи могли заполнять карточки пациентов голосом и тратили на это меньше времени.

Будущее уже совсем близко.

Диффузию применяют для решения все более разных проблем.

Тут ресерчеры генерируют motion последовательности по текстовым запросам с помощью диффузионной модели. Аниматорам на заметку.

Статья Motion Diffusion Model сейчас на ревью на ICLR 2023.

@ai_newz

А Microsoft генерит структуры белков с помощью диффузионных моделей (Folding Diffusion).

Код
Препринт

@ai_newz

3DiM: Novel View Synthesis with Diffusion Models

А тут Гугл ресерч охренел и сделал синтез 3д моделей (точнее рендеринг новых вью) по одной картинке. И конечно же с помощью диффузии! Это просто алхимия какая-то! Вот так вот, забудьте все свои Гани и делайте денойзинг 😁.

❱❱ Сайт проекта открывать обязательно

@ai_newz

Face-classification — утилита, которая предоставляет обнаружение лиц.

Face-classification предоставляет обнаружение лиц в реальном времени и классификация эмоций/пола с использованием наборов данных fer2013/IMDB с моделью keras CNN и openCV.

Точность теста на гендерную классификацию IMDB: 96%.
Точность теста классификации эмоций fer2013: 66%.

Проект находится здесь :3

🚀 IMAGEN VIDEO — Диффузии уже не остановить!

tl;dr
Помните Make-A-Video от MetaAI? Так вот — забудьте! Команда Google Brain только что создало лучшее Text-to-Video решение!

Если вкратце, то это имагеновый гомолог далишного Make-A-Video 🤖

Ну, а если чуть подробнее:

— Text Prompt подается в T5 энкодер
— Затем Base Model (5.6B ❤️) диффузит 16 кадров 40x24 pix в скромных 3 fps
— Затем темпоральный апсемплер TSR (1.7B) делает 32 кадра 40x24pix уже в 6 fps
— И пространственный апскейлер SSR-1 (1.4B) готовит предыдущие 32 кадра в разрешении 80x48 pix, и сразу второй SSR-2 (1.2B) делает 320x192
— Затем следуют еще два стейджа временного и один каскад пространственного суперреза и в итоге мы получаем 128 кадров в разрешении 1280x768 в 24fps

Основной фишкой такого подхода является Video U-Net — архитектура видео-юнет, пространственные операции которого выполняются независимо по кадрам с общими параметрами (батч х время, высота, ширина, каналы), тогда как временные операции работают уже по всему 5-ти мерному тензору (батч, время, высота, ширина, каналы).

Сделаю потом более подробный пост, а пока рекомендую всем посмотреть результаты на сайте проекта!

🚀 Imagen Video
📄 paper

🤖 м и ш и н л е р н и н г