​pyAudioAnalysis – Библиотека Python для извлечения звуковых функций, классификации, сегментации звуковых данных

С помощью pyAudioAnalysis вы можете классифицировать неизвестные звуки, распознавать звуки с помощью машинного обучения и многое другое..

GitHub | #Python #Audio #Analyzer #Interesting

Преобразование текста в речь

Рассмотрим модуль pyttsx3, позволяющий озвучивать текст прямо во время выполнения программы. Для запуска кода с картинки необходимо установить модуль при помощи pip install pyttsx3. Запущенная программа спросит, как у вас дела, и скажет, что любит макароны.

Модуль позволяет менять настройки произношения. Полная документация доступна по ссылке: https://pypi.org/project/pyttsx3/

Довольно годный липсинк, но не очень комфортные ограничения:
https://huggingface.co/spaces/PaddlePaddle/wav2lip

Первые шаги в Matplotlib

Matplotlib служит для построения графиков и визуализации данных, часто применяется в Data Science. В примере рисуем простейший график для знакомства с библиотекой, а также задаём собственные названия для осей координат с помощью методов plt.ylabel() и plt.xlabel().

Kubric: a scalable dataset generator
[Google Research]

Появился код для Kubric! Kubric - это пайплайн для генерации синтетических 3D данных, который вы можете использовать в своих проектах для 3D алгоритмов, например для Нейронного Рендеринга. Kubric позволяет программно создавать полуреалистичные синтетическихе многообъектные видео с подробными аннотациями, такими как маски сегментации, карты глубины и оптический поток.

Kubric в основном построен на основе pyBullet (для моделирования физики) и Blender (для рендеринга); однако код является модульным, чтобы потенциально поддерживать различныеи бекэнды для рендеринга.

>> Статья >> Код

InsetGAN for Full-Body Image Generation.

InsetGAN для создания изображений всего тела!
"В то время как GAN могут создавать фотореалистичные изображения в идеальных условиях для определенных областей, генерация изображений человека в полный рост остается сложной из-за разнообразия личностей, причесок, одежды и различий в позах. Вместо моделирования этой сложной области с помощью одного GAN мы предлагаем новый метод объединения нескольких предварительно обученных GAN, где один GAN генерирует глобальный холст (например, человеческое тело) и набор специализированных GAN или вставок., сфокусируйтесь на разных частях (например, лицах, руках), которые можно легко вставить на глобальный холст."
abs: https://arxiv.org/abs/2203.07293
project page: http://afruehstueck.github.io/insetgan

Смотрится очень годно, кода нет..
Добро пожаловать в новый мир 👾

​SkinDeep – нейронная сеть, что позволяет убирать татуировки с любой части тела на фотографиях

Ограничения:
⤷ Дизайн каждой татуировки уникален, он отличается от человека к человеку, поэтому модель может не работать в некоторых случаях.

⤷ Не работает с цветными татуировками, в наборе данных их нету

⤷ Требуется минимум 3,7 ГБ свободной памяти графического процессора

GitHub | #Jupyter #Interesting

Никогда, никогда, никогда не используйте пикселизацию для редактирования текста.

Это не безопасно, любой такой текст можно декодировать нейросетью.
Единственным безопасным способом является использование черных полос. Иногда людям нравится быть умными и пробовать некоторые другие методы редактирования, такие как размытие, завихрение или пикселизация, но это ошибка..
Оригинальная статья:
https://bishopfox.com/blog/unredacter-tool-never-pixelation
• Github:
https://github.com/bishopfox/unredacter

Вот ещё результаты full-body генерации. Тут показано, как отдельно улучшаются ноги и лицо.

Классная генерация "нордический узор":
- сгенерил в DiscoDiffusionTurbo
- добавил кадров в FILM
- обрезал только басы с помощью pydub (пример использования тут)
- подогнал под басовый трек через audio reactive video

• Автор творения

Реставрация фото на примере gfpgan.
Оригинал видео:
https://youtu.be/nLDVtzcSeqM