Привет, друзья! Каждому в хозяйстве метаверсе нужна хорошая сетка для удаления бэкграунда.

U-2-Net, кажется, одна из расхайпованых* сетей, которая удаляет фон, и ещё в неплохой image-2-image транслейшен умеет. Эта моделька разлетелась по куче приложений не просто так.

Есть код и веса на гитабе. Там же куча ссылок на всевозможные приложения, использующие U-2-NET.

* 5.7к звёзд на гитабе.

@Artem Gradient

Deep Face Live

Real-time face swap for streaming and video calls

(use and set-up requires considerable effort as well as a lot of free time)

https://github.com/iperov/DeepFaceLive

#python #deepfake #onnx #opensource

Год назад я выложил пост про rubert-tiny, миниатюрный энкодер предложений для русского языка.
В комменты пришёл @snakers4 и справедливо придрался, что я не сравнил свою модель с очевидными бейзлайнами: FastText, USE, Laser.

Спустя полгода я прокачал модель до rubert-tiny2 и сравнил ещё с кучей бейзлайнов.
А сейчас у меня наконец дошли руки накатать про это пост: Рейтинг русскоязычных энкодеров предложений.

TL;DR: если в вашем sentence encoder'е важно только качество на разнообразных задачах, юзайте USE, если очень важна скорость – FastText. Моя rubert-tiny2 – между ними; остальные модели проигрывают по качеству или скорости этим трём.

Удобный интерфейс к text-image датасетам LAION 400m и 5B (400млн и 5млрд картинок соответственно)

Вводите текстовый запрос, CLIP находит нужные картинки, качаете табличку со ссылками, скачиваете и вуаля - датасет готов.

Тык

​​DALL·E Mini

Это модель искусственного интеллекта, которая генерирует изображения по любому вашему запросу

https://github.com/borisdayma/dalle-mini

Тестировать онлайн: https://huggingface.co/spaces/dalle-mini/dalle-mini

🗽 NVIDIA Создала 3D StyleGAN — EG3D: Efficient Geometry-aware 3D Generative Adversarial Networks

EG3D — нестоящее инженерное чудо. Ресерчеры взяли за основу StyleGAN 2 бэкбон, и вставили в середину графа гибридный neural rendering.

Nvidia создала новый tri-plane-based 3D GAN framework. Ресерчеры показали, что NeRF в их случае медленный, а воксели не очень масштабируются по памяти с повышением разрешения.

После нейронного рендеринга в 128х128 следует каскад супер-резолюшена в 512х512. Затем low-res ещё раз апскейлится интерполяцией и после конкатенации с mid-res картинкой, единым тензором подается на двойной дискриминатор.

StyleGAN’ы интересны тем, что способны за относительно небольшой компьют (тут 8 Tesla V100 GPUs и 8.5 дней) построить реалистичную генеративную модель в одном домене.

EG3D позволяет сразу генерировать качественную 3D геометрию, которую сеть выучивает самостоятельно!

Как же чудесно будущее 3D графики!

💻 Code
🖥 Project
📄 Paper
🎥 YouTube

@мишин_лернинг

Инженерия машинного обучения

Очень подробная книга по машинному обучению с примерами кода на Python

Автор: Андрей Бурков
Год: 2022

#books #python #ml #russian

Старт в аналитике (2021)
#cours

https://t.me/Data_Science_Analytics

Кстати, видео, где Яник описывает свою поделку (gpt-4chan), довольно развлекательное. Очень советую, если вы ещё не видели.

https://youtu.be/efPrtcLdcdM

Iperov, автор популярного проекта DeepFaceLab по созданию дипфейков опубликовал новый инструмент у себя на GitHub под названием DeepFaceLive, который позволяет создавать дипфейки с возможностью подмены лица в 🎥реальном времени.

🎭Использоваться может для пранков и розыгрышей например в Steam или Skype.

Выглядит впечатляюще👍узнали Киану?

https://github.com/iperov/DeepFaceLive

Techniques for Training Large Neural Networks
Блогпост от OpenAI с разбором основных способов параллелизации.

Data Parallel (DP) — держать полную копию сети на каждой карточке, обрабатывать несколько батчей параллельно. Проблема в том, что ты можешь упереться в то что даже batch size = 1 перестаёт помещаться в одну карточку.
Pipeline Parallel (PP) — распилить нейросеть послойно (т.е. вертикально) и держать её на разных карточках. При наивной имплементации работает очень неэффективно. Представьте себе что у вас 10 слойная сеть и вы держите по 1 слою на каждой карточке, если вы просто выполняете forward и backward одного батча на них, то в каждый момент времени у вас 9 видеокарт простаивают. Если нарисовать картинку то у вас есть некий "bubble of idle time". Для того, чтобы этого избежать, можно распилить наш минибатч на микробатчи и начать делать forward pass следующего микробатча (MPS) ещё до того как forward текущего микробатча досчитался. Отсюда и название — pipeline parallel (PP).
Tensor Parallel (TP) — альтернативный способ разделения сети на несколько GPU. Если PP разделяет сетку вертикально, то TP делает это горизонтально. То есть ваши тензоры параметров и активаций теперь могут быть попилены на несколько GPU и одно матричное умножение может считаться на нескольких GPU одновременно. Понятно, что такой подход сильно увеличивает требования по скорости коммуникации между GPU, но при эффективной имплементации (и infiniband + nvlink) это не так медленно как кажется.
Mixture of Experts (MoE) — мы уже рассказывали про MoE, идея состоит в том чтобы вместо одного FCN после attention использовать несколько FCN-экспертов (например 128) и использовать только часть из них (например 4) при каждом forward pass. Для того чтобы выбрать эти 4, добавляется специальный router-слой, который по сути считает attention между экспертами и hidden. Так как на каждом проходе используется только малая часть экспертов можно добиться огромного числа параметров в нейросети. Именно это используют все сетки в 1 триллион и более параметров.

Ещё в статье очень вскользь упомянули ZeRo, который имплементирован в DeepSpeed, которы сейчас становится всё более и более популярен во многом благодаря тому что он позволяет тренировать довольно большие модели (вплоть до 10-20B) в почти DataParallel режиме с помощью разделения на несколько GPU стейта оптимизатора (Stage 1) и рассчёта градиентов (Stage 2). Также есть Stage 3, который по сути tensor parallel, да и практически все остальные способы параллелизации.

Кроме этого, все эти методы можно комбинировать. Например BLOOM от BigScience (176B) тренируется с DP=8, PP=12 (MPS 2), TP=4. Для всего этого используется чуть-чуть модифицированный DeepSpeed.

Сам блогпост даёт неплохое введение в методы параллелизации, и там куча ссылок на релевантные статьи и имплементации, но честно ожидал увидеть в нём что-то большее, тк OpenAI все-таки первопроходцы в этой области. В качестве продолжения (или даже вместо) я бы предложил почитать How To Fit a Bigger Model и Model Parallelism от HuggingFace, они тоже делают отличное введение в эти методы и на мой вкус более техничны.

Незаметно прошла новость, о том, что платформа Google Colab предоставляющая площадку для создания DeepFake-ов, в конце мая запретила это делать. Тем не менее, если вы очень хотите похулиганить, то для создания HQ-фейка понадобится немого освоить Adobe After Effects + Mocha Pro (в последней версии он особенно хорош). Шалунов которые любят онлайн, рекомендую обратить внимание на детище SnapChat Lens Studio, реалистичность измененных лиц в режиме onlyfans ... тьфу.... online впечатляет. Для любителей особых извращений можно использовать https://github.com/iperov/DeepFaceLive, но как и все наработки классического клуба "DeepFace", этот продукт страдает качеством детализации подделки. Хотя DF с молодым Торетто выглядит неплохо https://vimeo.com/648449101

​DALLE-Mini – модель искусственного интеллекта, которая генерирует изображения по любому вашему запросу

⤷ Демо в режиме реального времени

GitHub | #Python #AI #Interesting