🚀 IMAGEN VIDEO — Диффузии уже не остановить!

tl;dr
Помните Make-A-Video от MetaAI? Так вот — забудьте! Команда Google Brain только что создало лучшее Text-to-Video решение!

Если вкратце, то это имагеновый гомолог далишного Make-A-Video 🤖

Ну, а если чуть подробнее:

— Text Prompt подается в T5 энкодер
— Затем Base Model (5.6B ❤️) диффузит 16 кадров 40x24 pix в скромных 3 fps
— Затем темпоральный апсемплер TSR (1.7B) делает 32 кадра 40x24pix уже в 6 fps
— И пространственный апскейлер SSR-1 (1.4B) готовит предыдущие 32 кадра в разрешении 80x48 pix, и сразу второй SSR-2 (1.2B) делает 320x192
— Затем следуют еще два стейджа временного и один каскад пространственного суперреза и в итоге мы получаем 128 кадров в разрешении 1280x768 в 24fps

Основной фишкой такого подхода является Video U-Net — архитектура видео-юнет, пространственные операции которого выполняются независимо по кадрам с общими параметрами (батч х время, высота, ширина, каналы), тогда как временные операции работают уже по всему 5-ти мерному тензору (батч, время, высота, ширина, каналы).

Сделаю потом более подробный пост, а пока рекомендую всем посмотреть результаты на сайте проекта!

🚀 Imagen Video
📄 paper

🤖 м и ш и н л е р н и н г

Диффузия оптимизирует нейронки

А вот тут вышла статья, где с помощью диффузионной модели заменяют традиционные оптимизаторы типа SGD или ADAM.

На вход поступают текущие веса оптимизируемой нейронки, текущий лосс, желаемый лосс, и параметр шага диффузии. А диффузионная модель предсказывает новые веса нейросети. Ускорение по сравнению с традиционной оптимизацией в ≈1000 раз.

@ai_newz

​FaceSwap – инструмент, который использует глубокое обучение для распознавания и замены лиц на фотографиях и видео

⤷ Ссылка на проект

GitHub | #Python #Deepfake

«Машинное обучение с использованием Python. Сборник рецептов» – Крис Элбон

Книга содержит около 200 рецептов решения практических задач машинного обучения, таких как загрузка и обработка текстовых или числовых данных, отбор модели, уменьшение размерности и многие другие. Рассмотрена работа с языком Python и его библиотеками, в том числе pandas и scikit-learn.

Решения всех задач сопровождаются подробными объяснениями. Каждый рецепт содержит работающий программный код, который можно вставлять, объединять и адаптировать, создавая собственное приложение.

Скачать книгу

#книга #python

🔥 Знакомство с Python

Вместо скучного перечисления возможностей языка авторы рассказывают, как сочетать разные структурные элементы Python, чтобы сразу создавать скрипты и приложения.

Книга построена по принципу 80/20: большую часть полезной информации можно усвоить, изучив несколько критически важных концепций. Освоив самые популярные команды и приемы, вы сразу сосредоточитесь на решении реальных повседневных задач.

Авторы: Дэн Бейдер, Дэвид Эймос Джоанна Яблонски, Флетчер Хейслер
Год: 2023

#books #python #russian

MDM: Human Motion Diffusion Model

Нейросетевая модель реалистичных движений человека — это святой Грааль компьютерной анимации.

☝🏻Позволяет Text-to-motion — задача создания движения с учетом входной текстовой подсказки.
(видео выше генерация текстовой подсказки «Человек пинается»)

Для проведения экспериментов можно использовать как готовые модели, так и провести тренировку моделей самостоятельно при помощи предлагаемых скриптов, используя коллекцию трёхмерных изображений человека HumanML3D.

https://github.com/GuyTevet/motion-diffusion-model

Объяснение с примерами: https://guytevet.github.io/mdm-page/

@open_source_friend

MyAnima AI Companion — робот для заботы

Чат-бот-собеседник для переписок и психологической поддержки. Да, примерно как Replica AI, аналог. Здесь, как пишут пользователи, уделено особое внимание романтической составляющей общения — но включается этот режим только в платной версии.

Разработчики говорят, что цель этого сервиса — помочь одиноким и пожилым людям. Еще это вроде бы должно помогать тем, кто находится в депрессии (правда, еще неизвестно, как осознание разговора с программой скажется на состоянии лол).

#бесплатный #нейронки