Вышла новая версия DiscoDiffusion v5 3d
• Автор генерации
• Colab

Интересное применение deepfacelive.

Окно просмотра maya транслируется через OBS и выводится в DeepFaceLive.

*Maya — программное обеспечение для 3D-анимации с мощными инструментами моделирования.

👍🏻Sentiment analysis in social networks in Python with VADER without developing an ML model
Not every classification problem needs machine learning models: sometimes even simple approaches can give excellent results. For example, VADER (Valence Aware Dictionary and sEntiment Reasoner) is a vocabulary and rule based sentiment analysis model. The project source code is available on Github under the MIT license: https://github.com/cjhutto/vaderSentiment
VADER can efficiently handle dictionaries, abbreviations, capital letters, repetitive punctuation marks, emoticons (😢 , 😃 , 😭, etc.), etc., which are commonly used in social networks to express sentiment, making it an excellent text sentiment tool. The advantage of VADER is that it evaluates the mood of any text without prior training of ML models. The result generated by VADER is a dictionary of 4 keys neg, neu, pos and components (compound):
• neg, neu and pos mean negative, neutral and positive respectively. Their sum must be equal to 1 or close to it in a floating point operation.
• Compound corresponds to the sum of the valency scores of each word in the lexicon and determines the degree of mood, and not the actual value, unlike the previous ones. Its value ranges from -1 (the strongest negative mood) to +1 (the strongest positive mood). The use of a composite score may be sufficient to determine the main tone of the text. Compound ≥ 0.05 for positive mood, compound ≤ -0.05 for negative mood, compound ranges from -0.05 to 0.05 for neutral mood
Try Google Colab: https://colab.research.google.com/drive/1_Y7LhR6t0Czsk3UOS3BC7quKDFnULlZG?usp=sharing
Example: https://towardsdatascience.com/social-media-sentiment-analysis-in-python-with-vader-no-training-required-4bc6a21e87b8

Новый Нейрофотошоп

Blended Diffusion: Text-driven Editing of Natural Images

"Учитывая входное изображение и маску, Blended Diffusion изменяет замаскированную область в соответствии с текстовым приглашением, не затрагивая незамаскированные области."
Project page : https://omriavrahami.com/blended-diffusion-page
Github :
https://github.com/omriav/blended-diffusion

Как создать демонстрацию машинного обучения в 2022 году.

Интересная статья:
https://nicjac.dev/posts/how-to-build-machine-learning-demo-in-2022

Advanced Topics in MultiModal Machine Learning
cmu-multicomp-lab.github.io/adv-mmml-course/spring2022

Весьма up-to-date курс по мультимодальному обучению от Carnegie Mellon University. В основном обсуждают модальность картинка+текст но говорят немного и про видео. В курсе ней есть как и уже стандартные подходы вроде VL-BERT, так и очень интересный топик по длинным трансформерам и памяти.

Видео нету, но есть очень pdf с очень подробными lecture notes (например вот лекция по длинным трансформерам). Если вы погружаетесь в мультимодальную тему, рекомендую использовать этот курс в качестве гайда. Сам постараюсь почитать.

​ImageAI – Библиотека python, созданная для того, чтобы дать разработчикам возможность создавать приложения и различные системы с возможностями автономного компьютерного зрения используя несколько строк кода.

ImageAI поддерживает обнаружение объектов на видео и отслеживание объектов с помощью RetinaNet, YOLOv3 и TinyYOLOv3, обученных набору данных COCO.

GitHub | #Python #AI

​pyAudioAnalysis – Библиотека Python для извлечения звуковых функций, классификации, сегментации звуковых данных

С помощью pyAudioAnalysis вы можете классифицировать неизвестные звуки, распознавать звуки с помощью машинного обучения и многое другое..

GitHub | #Python #Audio #Analyzer #Interesting

Преобразование текста в речь

Рассмотрим модуль pyttsx3, позволяющий озвучивать текст прямо во время выполнения программы. Для запуска кода с картинки необходимо установить модуль при помощи pip install pyttsx3. Запущенная программа спросит, как у вас дела, и скажет, что любит макароны.

Модуль позволяет менять настройки произношения. Полная документация доступна по ссылке: https://pypi.org/project/pyttsx3/

Довольно годный липсинк, но не очень комфортные ограничения:
https://huggingface.co/spaces/PaddlePaddle/wav2lip

Первые шаги в Matplotlib

Matplotlib служит для построения графиков и визуализации данных, часто применяется в Data Science. В примере рисуем простейший график для знакомства с библиотекой, а также задаём собственные названия для осей координат с помощью методов plt.ylabel() и plt.xlabel().

Kubric: a scalable dataset generator
[Google Research]

Появился код для Kubric! Kubric - это пайплайн для генерации синтетических 3D данных, который вы можете использовать в своих проектах для 3D алгоритмов, например для Нейронного Рендеринга. Kubric позволяет программно создавать полуреалистичные синтетическихе многообъектные видео с подробными аннотациями, такими как маски сегментации, карты глубины и оптический поток.

Kubric в основном построен на основе pyBullet (для моделирования физики) и Blender (для рендеринга); однако код является модульным, чтобы потенциально поддерживать различныеи бекэнды для рендеринга.

>> Статья >> Код