исследователи из гугла на днях выложили алгоритм frame interpolation. он умеет делать что то типа оживших фото из гарри поттера - гифку из набора картинок. так вот он неожиданно хорошо показал себя при замедлении анимаций сделанных в VQGAN+CLIP, pytti или Disco Diffusion. собрал это дело в колаб!

frame interpolation on github
demo video on youtube
colab notebook

Vintage style Pix2PixHD

Сделайте лицо таким, чтобы оно выглядело более "винтажным".

https://huggingface.co/spaces/Norod78/VintageStyle

Улучшить результат
https://t.me/deeppaintbot

🔥 Полезные библиотеки Python

Real-Time Voice Cloning - потрясающий проект. По сути, может «выучить» чей-то голос по 5-секундной записи речи, а затем использовать "выученный" голос, чтобы говорить что угодно.

⚙️ GitHub/Инструкция

💾 Больше интересных проектов

#python #github

😜Neural networks for selfies on Google Pixel 6: accurate alpha matting in portrait mode
Matting an image is the process of extracting a precise alpha mask that separates the foreground and background objects of an image. This is not only necessary for professional designers when designing advertising photos, but has also become a popular entertainment for smartphone users. Send friends a selfie with the Eiffel Tower in the background while in a room with a grandmother's carpet? Easy with Google Pixel 6: a convolutional neural network from a sequence of encoder-decoder blocks to gradually evaluate high-quality alpha matting will preserve all the details, including fine hairs.
The input RGB image is combined with a coarse alpha matte (generated with a low resolution people segmenter) which is passed as input to the network. The new Portrait Matting model uses the MobileNetV3 backbone and a shallow decoder with few layers to first predict the low resolution advanced alpha mask. Then a shallow codec and a series of residual blocks are applied to process the high resolution image and the refined alpha mask from the previous step. The shallow codec relies more on lower level functions than the previous MobileNetV3 backbone, focusing on high resolution structural functions to predict the final transparency values for each pixel. This way the model can refine the original foreground alpha mask and accurately extract very fine details. This neural network architecture works effectively on Pixel 6 using Tensorflow Lite. The ML model also uses a variety of training datasets that cover a wide range of skin tones and hairstyles.
https://ai.googleblog.com/2022/01/accurate-alpha-matting-for-portrait.html

​❓ Что такое F-score и для чего он используется?

Не понимаю, с помощью каких методов мы оцениваем качество предсказаний модели. Слышал, что в этом случае может помочь F-score, но какая идея стоит за этой метрикой? Ждем ваши комментарии на сайте.

https://proglib.io/sh/oDRUpOb0mK

CLIPasso: AI Создает скетчи по картинкам

В этой статье комбинируется дифференциальный рендеринг и CLIP. И, конечно, никакой это не настоящий AI 😅

Вот как это работает:
По картинке предсказываются приблизительные параметры линий, составляющих карандашный набросок. Затем параметрическое представление линий растеризуется и кормится в CLIP для вычисления похожести наброска с оригинальным изображением. Ошибка пропихивается назад до параметров линий и они итеративно обновляются, увеличивая совпадение со входной картинкой.

>> Папира >> Страница проекта

AI Image Transformer — нейронка стилизует картинки

Инструмент для карикатуризации и стилизации изображений — в том числе в духе картин Пикассо, Ван Гога, Айвазовского и так далее. Просто выбираете нужный формат для конвертации и загружаете картинку.

Единственная проблема — время обработки: чем больше исходное изображение — тем дольше ждать (может затянуться на несколько минут). Зато на выходе получаете сразу несколько картинок с разной степенью обработки — остается выбрать нужную. Бесплатно, без регистрации.

#бесплатный #нейронки

🍏Clustimage - Python library for image clustering
Unsupervised clustering in image recognition is a multi-step process. It includes preprocessing, feature extraction, similarity clustering, and estimation of the optimal number of clusters using a quality measure. All of these steps are implemented in the Clustimage Python package, which takes only paths or raw pixel values as input.
The goal of clustimage is to detect natural groups or clusters of images using the ilhouette, dbindex and their derivatives methods, in combination with clustering methods (agglomerative, kmeans, dbscan and hdbscan). Clustimage helps you determine the most robust clustering by efficiently searching by parameter and evaluating clusters. In addition to image clustering, the model can also be used to find the most similar images for a new invisible sample.
To try this open source library (https://github.com/erdogant/clustimage), you first need to install it: pip install clustimage, then import the package into your project: from clustimage import Clustimage.
See an example with explanations here: https://towardsdatascience.com/a-step-by-step-guide-for-clustering-images-4b45f9906128

Тут наткнулся на статейку от китайцев про 3D реконструкцию людей по видео. Результаты какие-то охеревшие, и есть код, так что буду смотреть внутрь.

>> Статья >> Код