Train your ControlNet with diffusers 🧨

ControlNet is a neural network structure that allows fine-grained control of diffusion models by adding extra conditions.

В этой статье подробно рассматривается каждый шаг, обучения модельи Uncanny Faces - модель поз лиц, основанную на синтетических 3D лицах.

🤗 Hugging face: https://huggingface.co/blog/train-your-controlnet#

🖥 Github: https://github.com/huggingface/blog/blob/main/train-your-controlnet.md

⏩ ControlNet training example: https://github.com/huggingface/diffusers/tree/main/examples/controlnet

ai_machinelearning_big_data

🔥 Fix the Noise: Disentangling Source Feature for Controllable Domain Translation

A new approach for high-quality domain translation with better controllability.

Новый подход, который позволяет плавно контролировать степень сохранения исходных характеристик при генерации изображений.

🖥 Github: https://github.com/LeeDongYeun/FixNoise

⏩ Paper: https://arxiv.org/abs/2303.11545v1

💨 Dataset: https://paperswithcode.com/dataset/metfaces

ai_machinelearning_big_data

Conditional Image-to-Video Generation with Latent Flow Diffusion Models

New approach for cI2V using novel latent flow diffusion models (LFDM) that synthesize an optical flow sequence in the latent space based on the given condition to warp the given image.

Генерация видео из изображений с использованием моделей диффузии.

🖥 Github: https://github.com/nihaomiao/cvpr23_lfdm

⏩ Paper: https://arxiv.org/abs/2303.13744v1

💨 Dataset: https://drive.google.com/file/d/1dRn1wl5TUaZJiiDpIQADt1JJ0_q36MVG/view?usp=share_link

ai_machinelearning_big_data

Federated Learning using Hugging Face and Flower

В этом уроке рассматривается, как использовать Hugging Face для Federated Learning (так называется совокупность методов обучения ML моделей на распределённых данных) языковых моделей на нескольких клиентах с помощью фреймворка Flower

This tutorial will show how to leverage Hugging Face to federate the training of language models over multiple clients.

pip install datasets evaluate flwr torch transformers

🤗 Hugging face: https://huggingface.co/blog/fl-with-flower

🌷 Flower: https://flower.dev/

🖥 Colab: https://colab.research.google.com/github/huggingface/blog/blob/main/notebooks/fl-with-flower.ipynb

🖥 Github: https://github.com/adap/flower/tree/main/examples/quickstart_huggingface

ai_machinelearning_big_data

One-Stage 3D Whole-Body Mesh Recovery with Component Aware Transformer

🖥 Github: https://github.com/IDEA-Research/OSX

⏩ Paper: http://arxiv.org/abs/2303.16160

⭐️ Project: https://osx-ubody.github.io/

💨 Dataset: https://paperswithcode.com/dataset/expose

ai_machinelearning_big_data

AutoAD: Movie Description in Context

MAD: A Scalable Dataset for Language Grounding in Videos from Movie Audio Descriptions.

MAD - это масштабный набор данных, собранный из аудиоописаний фильмов.

🖥 Github: https://github.com/Soldelli/MAD

⏩ Paper: https://arxiv.org/abs/2303.16899v1

💨 Dataset: https://paperswithcode.com/dataset/lsmdc

ai_machinelearning_big_data

DPF: Learning Dense Prediction Fields with Weak Supervision

🖥 Github: https://github.com/cxx226/dpf

⏩ Paper: https://arxiv.org/abs/2303.16890v1

💨 Dataset: https://paperswithcode.com/dataset/pascal-context

ai_machinelearning_big_data

3D Line Mapping Revisited

LIMAP is a toolbox for mapping and localization with line features.

Интерфейсы для различных геометрических операций над 2D/3D линиями.

🖥 Github: https://github.com/cvg/limap

⏩ Paper: https://arxiv.org/abs/2303.17504v1

💨 Dataset: https://paperswithcode.com/dataset/hypersim

ai_machinelearning_big_data

WavCaps: A ChatGPT-Assisted Weakly-Labelled Audio Captioning Dataset for Audio-Language Multimodal Research

Propose a three-stage processing pipeline for filtering noisy data and generating high-quality captions, where ChatGPT.

Конвейер обработки для фильтрации зашумленных данных и создания высококачественных титров.

🖥 Github: https://github.com/xinhaomei/wavcaps

⏩ Paper: https://arxiv.org/abs/2303.17395v1

💨 Dataset: https://paperswithcode.com/dataset/sounddescs

ai_machinelearning_big_data

vid2vid-zero for Zero-Shot Video Editing

We propose vid2vid-zero, a simple yet effective method for zero-shot video editing.

Мы предлагаем vid2vid-zero, простой, но эффективный метод редактирования видео.

🖥 Github: https://github.com/baaivision/vid2vid-zero

⏩ Paper: https://arxiv.org/abs/2303.17599v1

💨 Dataset: https://paperswithcode.com/dataset/sounddescs

ai_machinelearning_big_data

⚡️Token Merging for Stable Diffusion

Token Merging (ToMe) speeds up transformers by merging redundant tokens, which means the transformer has to do less work.

Используя только чистый python и pytorch, Token Merging для SD ускоряет генерацию изображений в 2 раза, за счет объединения лишних токенов.

pip install tomesd

🖥 Github: https://github.com/dbolya/tomesd

⏩ Paper: https://arxiv.org/abs/2303.17604v1

💨 Blog: https://research.facebook.com/blog/2023/2/token-merging-your-vit-but-faster/

ai_machinelearning_big_data

⭐️ HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in HuggingFace

Language serves as an interface for LLMs to connect numerous AI models for solving complicated AI tasks!

Система, использующая LLM (например, ChatGPT) для подключения различных моделей ИИ в сообществах машинного обучения (например, HuggingFace) для решения задач ИИ.

🖥 Github: https://github.com/microsoft/JARVIS

⏩ Paper: https://arxiv.org/abs/2303.17604v1

ai_machinelearning_big_data

Segment Anything

The Segment Anything Model (SAM) produces high quality object masks from input prompts such as points or boxes, and it can be used to generate masks for all objects in an image.

Новая модель - Segment Anything, нейросеть, которая в один клик может вырезать любой объект из фото или видео.

🖥 Github: https://github.com/facebookresearch/segment-anything

⭐️ Project: https://segment-anything.com/

⏩ Paper: https://arxiv.org/abs/2304.02643v1

💨 Dataset: https://segment-anything.com/dataset/index.html

ai_machinelearning_big_data