🔥 Yolo8 is coming!

На github вылложили веса.
Обновилась документация.

🖥 Github
✔️ Docs
🖥 Colab

@ai_machinelearning_big_data

🔊 Audio-Visual Efficient Conformer for Robust Speech Recognition

Улучшенный метод чтения по губам, с помощью архитектуры Conformer Connectionist Temporal Classification (CTC) для обработки аудио и видео.

🖥 Github
✔️ Paper
🔥Notebook
🚀 Models

@ai_machinelearning_big_data

😫 Memories are One-to-Many Mapping Alleviators in Talking Face Generation

Новый проект от Microsoft, реалистичная генерация говорящего аватара ​по входным аудиодорожкам. MemFace обеспечивает наилучшее качество с большим отрывом.

🖥 Project
📃 Paper
📊Video

ai_machinelearning_big_data

🔥 Neural Deferred Shading

Новая быстрая многоракурсная 3D-реконструкция с произвольными объектами и настраиваемым освещением.

🖥 Github: github.com/fraunhoferhhi/neural-deferred-shading

⭐️ Project: fraunhoferhhi.github.io/neural-deferred-shading

✅️ Paprer: https://mworchel.github.io/assets/papers/neural_deferred_shading_with_supp.pdf

⏩ Pyremesh : https://github.com/sgsellan/botsch-kobbelt-remesher-libigl

❤️Video: https://www.youtube.com/watch?v=nIqmuylmpFY

ai_machinelearning_big_data

📚 Free Book Multimodal Deep Learning 2023

This book is the result of a student seminar for Master Statistics and Master Data Science at the LMU in the summer semester 2022

Полезная книга , которая поможет разобраться с мультимодальными моделями общего назначения, изучить их архитектуру, работу и применение, в том числе в генеративном искусстве.

📘 Book
🖥 Github
⏩ Reading list

@ai_machinelearning_big_data

🖼 Image Similarity with Hugging Face Datasets and Transformers

In this post, you'll learn to build an image similarity system wich Transformers.

Полезная статья, с которой вы создадите систему поиска сходства изображений с помощью Transformers. Можно немного попрактиковаться и попробовать другие модели.

🤗 Huggingface
🖥 Github
🖥 Colab

@ai_machinelearning_big_data

AutoAvatar: Autoregressive Neural Fields for Dynamic Avatar Modeling

Autoregressive approach for modeling dynamically deforming human bodies by Meta.

AutoAvatar — проект от Meta для моделирования динамически деформирующихся человеческих тел непосредственно из необработанных сканов.

🖥 Github: github.com/facebookresearch/AutoAvatar

⭐️ Project: zqbai-jeremy.github.io/autoavatar

✅️ Paprer: arxiv.org/pdf/2203.13817.pdf

⏩ Dataset: https://amass.is.tue.mpg.de/index.html

⭐️ Video: https://zqbai-jeremy.github.io/autoavatar/static/images/video_arxiv.mp4

ai_machinelearning_big_data

💬 GLIGEN: Open-Set Grounded Text-to-Image Generation

GLIGEN’s zero-shot performance on COCO and LVIS outperforms that of existing supervised layout-to-image baselines by a large margin. Code comming soon.

GLIGEN новый подход, который основывается на существующих предварительно обученных моделях генерации текста из изображения и расширяет их функциональность. GLIGEN значительно превосходит все существующие модели.

⭐️ Project: https://gligen.github.io/

⭐️ Demo: https://aka.ms/gligen

✅️ Paper: https://arxiv.org/abs/2301.07093

🖥 Github: https://github.com/gligen/GLIGEN

@ai_machinelearning_big_data

🎧 Msanii: High Fidelity Music Synthesis on a Shoestring Budget

Model combines the expressiveness of mel spectrograms, the generative capabilities of diffusion models, and the vocoding capabilities of neural vocoders.

Новая модель на основе диффузии для эффективного синтеза длинной музыки высокого качества.

pip install -q git+https://github.com/Kinyugo/msanii.git

🖥 Github: https://github.com/kinyugo/msanii

⭐️ Demo: https://kinyugo.github.io/msanii-demo/

⭐️ Colab: https://colab.research.google.com/github/Kinyugo/msanii/blob/main/notebooks/msanii_demo.ipynb

✅️ Paper: https://arxiv.org/abs/2301.06468

🤗Hugging face: https://huggingface.co/spaces/kinyugo/msanii

@ai_machinelearning_big_data

✅ Multiview Compressive Coding for 3D Reconstruction

Multiview Compressive Coding (MCC), learns to compress the input appearance and geometry to predict the 3D structure by querying a 3D-aware decoder

MCC — это новый подход к 3D-реконструкции по одному изображению RGB-D .

pip install h5py omegaconf submitit

🖥 Github: https://github.com/facebookresearch/mcc

⭐️ Project: https://mcc3d.github.io/

✅️ Paper: https://arxiv.org/abs/2301.08247

⭐️ Dataset: https://github.com/facebookresearch/MCC/blob/main/DATASET.md

@ai_machinelearning_big_data

🔥 Deep Learning Tuning Playbook

This document is for engineers and researchers (both individuals and teams) interested in maximizing the performance of deep learning models.

Этот репозиторий-книга от специалистов Google Research с практическими советами по максимальному повышению производительности моделей глубокого обучения.

🖥 Github
📌Reddit

@ai_machinelearning_big_data

⭐️ OnePose++: One-Shot Pose

Keypoint-free one-shot object pose estimation method that handles low-textured objects without knowing CAD models.

Новый метод захвата объектов без ключевых точек, который значительно превосходит существующие методы и может работать с низкотекстурированными объектами.

🖥 Github: https://github.com/zju3dv/OnePose_Plus_Plus

✅️ Paper: https://openreview.net/pdf?id=BZ92dxDS3tO

⭐️ Project: https://zju3dv.github.io/onepose_plus_plus

⏩ Dataset: https://zjueducn-my.sharepoint.com/:f:/g/personal/12121064_zju_edu_cn/ElfJC7FiK75Hhh1CF0sPVSQBdzJpeWpOfj8TZzRuxo9PUg?e=Pbnbi8

@ai_machinelearning_big_data

⏺Пришло время астропрогнозов на 2023! В новом видео ⬆️

Наши аналитики сформулировали предсказания будущих угроз для корпораций на основе сложившихся трендов и действий злоумышленников, которые мы наблюдали в уходящем году.

▶️Каких атак ждать корпорациям в начавшемся году?
▶️Что изменится в поведении взломщиков?
▶️Как противостоять шантажу и утечкам ПД?
▶️Почему злоумышленники публикуют данные о взломах в общем доступе?

У нас есть ответы на эти и другие вопросы в 1,5-минутном видео⬆️
Для тех, кто любит поподробнее — презентация с массой полезных данных.

Смотреть презентацию⟶

✅️ StyleGAN-T: Unlocking the Power of GANs for Fast Large-Scale Text-to-Image Synthesis

StyleGAN-T, addresses the specific requirements of large-scale text-to-image synthesis, such as large capacity, stable training on diverse datasets, strong text alignment, and controllable fidelity vs. text alignment tradeoff.

StyleGAN-T новый ган для синтеза текста и изображений.

StyleGAN-T значительно превосходит предыдущие GANы и модели дистиллированной диффузии в скорости и качестве генерации текста в изображение.

🖥 Github: github.com/autonomousvision/stylegan-t

✅️ Paper: arxiv.org/pdf/2301.09515.pdf

⭐️ Project: sites.google.com/view/stylegan-t

✔️ Video: https://www.youtube.com/watch?v=MMj8OTOUIok&embeds_euri=https%3A%2F%2Fsites.google.com%2F&feature=emb_logo

🖥 Projected GAN: https://github.com/autonomousvision/projected-gan

@ai_machinelearning_big_data