🚀 IMAGEN VIDEO — Диффузии уже не остановить!

tl;dr
Помните Make-A-Video от MetaAI? Так вот — забудьте! Команда Google Brain только что создало лучшее Text-to-Video решение!

Если вкратце, то это имагеновый гомолог далишного Make-A-Video 🤖

Ну, а если чуть подробнее:

— Text Prompt подается в T5 энкодер
— Затем Base Model (5.6B ❤️) диффузит 16 кадров 40x24 pix в скромных 3 fps
— Затем темпоральный апсемплер TSR (1.7B) делает 32 кадра 40x24pix уже в 6 fps
— И пространственный апскейлер SSR-1 (1.4B) готовит предыдущие 32 кадра в разрешении 80x48 pix, и сразу второй SSR-2 (1.2B) делает 320x192
— Затем следуют еще два стейджа временного и один каскад пространственного суперреза и в итоге мы получаем 128 кадров в разрешении 1280x768 в 24fps

Основной фишкой такого подхода является Video U-Net — архитектура видео-юнет, пространственные операции которого выполняются независимо по кадрам с общими параметрами (батч х время, высота, ширина, каналы), тогда как временные операции работают уже по всему 5-ти мерному тензору (батч, время, высота, ширина, каналы).

Сделаю потом более подробный пост, а пока рекомендую всем посмотреть результаты на сайте проекта!

🚀 Imagen Video
📄 paper

🤖 м и ш и н л е р н и н г

Диффузия оптимизирует нейронки

А вот тут вышла статья, где с помощью диффузионной модели заменяют традиционные оптимизаторы типа SGD или ADAM.

На вход поступают текущие веса оптимизируемой нейронки, текущий лосс, желаемый лосс, и параметр шага диффузии. А диффузионная модель предсказывает новые веса нейросети. Ускорение по сравнению с традиционной оптимизацией в ≈1000 раз.

@ai_newz

​FaceSwap – инструмент, который использует глубокое обучение для распознавания и замены лиц на фотографиях и видео

⤷ Ссылка на проект

GitHub | #Python #Deepfake

«Машинное обучение с использованием Python. Сборник рецептов» – Крис Элбон

Книга содержит около 200 рецептов решения практических задач машинного обучения, таких как загрузка и обработка текстовых или числовых данных, отбор модели, уменьшение размерности и многие другие. Рассмотрена работа с языком Python и его библиотеками, в том числе pandas и scikit-learn.

Решения всех задач сопровождаются подробными объяснениями. Каждый рецепт содержит работающий программный код, который можно вставлять, объединять и адаптировать, создавая собственное приложение.

Скачать книгу

#книга #python

🔥 Знакомство с Python

Вместо скучного перечисления возможностей языка авторы рассказывают, как сочетать разные структурные элементы Python, чтобы сразу создавать скрипты и приложения.

Книга построена по принципу 80/20: большую часть полезной информации можно усвоить, изучив несколько критически важных концепций. Освоив самые популярные команды и приемы, вы сразу сосредоточитесь на решении реальных повседневных задач.

Авторы: Дэн Бейдер, Дэвид Эймос Джоанна Яблонски, Флетчер Хейслер
Год: 2023

#books #python #russian

MDM: Human Motion Diffusion Model

Нейросетевая модель реалистичных движений человека — это святой Грааль компьютерной анимации.

☝🏻Позволяет Text-to-motion — задача создания движения с учетом входной текстовой подсказки.
(видео выше генерация текстовой подсказки «Человек пинается»)

Для проведения экспериментов можно использовать как готовые модели, так и провести тренировку моделей самостоятельно при помощи предлагаемых скриптов, используя коллекцию трёхмерных изображений человека HumanML3D.

https://github.com/GuyTevet/motion-diffusion-model

Объяснение с примерами: https://guytevet.github.io/mdm-page/

@open_source_friend

MyAnima AI Companion — робот для заботы

Чат-бот-собеседник для переписок и психологической поддержки. Да, примерно как Replica AI, аналог. Здесь, как пишут пользователи, уделено особое внимание романтической составляющей общения — но включается этот режим только в платной версии.

Разработчики говорят, что цель этого сервиса — помочь одиноким и пожилым людям. Еще это вроде бы должно помогать тем, кто находится в депрессии (правда, еще неизвестно, как осознание разговора с программой скажется на состоянии лол).

#бесплатный #нейронки

🤔UDF in SQL: pros and cons
Data scientists and data analysts often write SQL queries that take a very long time. User Defined Functions (UDFs) can improve the speed of writing SQL queries. A UDF is at a basic level similar to a typical SQL function, but is used by the user. Technically, a UDF is a function that takes a set of typed parameters, applies change logic, and then returns a typed value. UDFs have a wide range of uses, including optimizing repetitive code and centralizing business logic to help you write SQL queries more efficiently. The use of UDF can be noted, but it has its repetitions. The main advantages of UDF:
• allows you to replace parts of complex or repetitive SQL code with one-line strings that make the code more readable. For example, a complex CASE statement spans many lines. With a UDF, it can be reduced to a single line.
• Encourages the use of process calculations, use them in parentheses to reuse them in new queries.
Thus, UDF speeds up code development, but it also has some disadvantages:
• Too many obscure UDFs can make code less readable, especially if they themselves expose obscurities like "func1" - it's not clear that the function does a division and the reader has to look up its definition, which takes more time than just reading it in the code .
• It will be necessary to keep a record of all emergency functions that arise, which is difficult when there are a large number of them. To do this, it is recommended to save the dictionary with the created UDFs and share it with the team. You can also create more generic functions to avoid rework.
https://towardsdatascience.com/save-time-writing-sql-with-udfs-24b002bf0192