Делюсь классной бесплатной программой создания дипфейков (огромное спасибо @invibeme за наводку) Работает без подключения к интернету.
Она позволяет говорить и даже петь чужими голосами (как в присоединенном аудио, где я заменил Френка Синатру Арианой Гранде)
Что важно, это speech-to-speech, то есть на вход нужно подать аудиозапись голоса:
https://www.tryreplay.io

Для неё есть огромная (~15 тыс на текущий момент) база голосов.
Скачать можно здесь:
https://www.weights.gg/ru

Ок. Как сделать свою голосовую RVC модель?
Делюсь знанием:
- начать можно вот с этого туториала (смотреть с 3.16):
https://youtu.be/t_ZW3W3okOs?t=196

Саму программу для создания модели можно скачать здесь:
https://github.com/RVC-Project/Retrieval-based-Voice-Conversion-WebUI/tags
(выбрать последний доступный релиз)
На вход подаём запись жертвы (желательно подлиннее), на выходе получаем модель. Обучаться будет быстрее, если у вас есть мощная видеокарта.

Также эта программа позволяет изменять голос в реальном времени (в соответствии с выбранной моделью)

Есть возможность запускать её и в google.colab (в теории это должно работать сильно быстрее, чем на локальной машине)
Если решите пойти этим путём, то вот мануал:
https://rvc-models.com/t/how-to-create-a-rvc-model-tutorial/11
В виде видео:
https://www.youtube.com/watch?v=t_ZW3W3okOs

Изрядно поковырявшись, я пришел к выводу, что на бесплатном google.colab с этим сложно (невозможно) работать.
Проект все время отваливается и каждый раз всё нужно начинать заново. На платном наверное будет норм.

#SpeechToSpeech #deepfake #voice

Ура!
Elevenlabs добавили speech-to-speech!
Звучит очень-очень недурно!
https://youtu.be/0UVppC0Ihjk?t=72

Под одной из своих записей получил очень трогательный комментарий ☺️

перевод:
"Мне нравится эта запись, буду использовать ее. Пик на 3:30 вызвал у меня любопытство: это просто случайное прикосновение к микрофону или капли дождя, попавшие на него?

По какой-то причине, услышав этот небольшой "плюх", я почувствовал себя очень человечным. Подумалось: "О, это было записано кем-то. Все это произошло". Запись получилась очень сырой и необработанной, как свежеиспеченное печенье, а не массовое, которое вы покупаете в пластиковом контейнере в супермаркете.

Определенно нужная для меня запись, производство корпоративной анимации иногда выматывает."

https://freesound.org/people/AlexanderChe/sounds/706604

Небольшой пост о музыкальных строях (что такое музыкальный строй ?)
Кроме классического, самого часто используемого - равномерно темперированного строя,
существуют сотни, если не тысячи различных строев.
Нетрадиционные строи находят применение, в основном, в этнической музыке ,а также в творчестве Jacob Collier 🌚

Но я хотел бы рассказать про один особенный "строй", который может дать интересную краску в обычной музыке, а именно Hermode Tuning.
Если верить документации от Steinberg "Режим Hermode Tuning изменяет строй исполняемых вами нот, меняя, например, квинты и терции равномерно темперированного строя на чистые квинты и терции натурального строя."

В видео вложил пример звучания нот в обычном строе и в HMT:
💜Розовый, сверху - HMT
💙Синий - традиционный
Мажор очевидно звучит "мажорнее", а минор как-будто расстроен

Новость для любителей звуков из 80х:
Вышла 3-я версия одного из лучших клонов Oberheim - OP-X PRO-3!

Подробное описание:
https://www.sonicprojects.ch/opxpro3/description.html
демо:
https://www.youtube.com/watch?v=v8JD7dt7_t0

Ну и, раз уж коснулся темы ретро-синтезаторов, - самые лучшие, на мой взгляд, коллекции эмуляций старых синтезаторов:

www.rolandcloud.com
- подписка на всё богатство от Roland стоит всего 20$/мес

www.korg.com/us/products/software/korg_collection/
- очень классные старые синтезаторы Korg: от М1 до Kaosspad

www.arturia.com/products/software-instruments/v-collection/overview
- наверное самая огромная коллекция эмуляций ретро-синтезаторов принадлежит Артурии

Дайте мне одного младенца и я создам армию зомби!
Доказательства 🫣

#sounddesign #baby #zombie

Готовьте минеральную вату!
Классный стрим про акустику студийных помещений (3 часа):

https://www.youtube.com/watch?v=g9a5UvHpFbQ

Список упомянутых умных книг прилагается

Прекрасная новость для некоторых пользователей RME, которые пользуются корректировкой наушников (мониторов)
RME добавило 9 полосный эквалайзер и своеобразную эмуляцию звучания мониторов!

обновление актуально для пользователей
UFX+, UFX II, UFX III и UCX II

подробнее здесь:
https://forum.rme-audio.de/viewtopic.php?pid=210543#p210543

Один из любимых саунддизайн продакшенов опубликовал разбор одной из сессий работ "Google Design - Design and Material Explorations"

чуть не забыл: Оригинальная работа

Небольшой обзор самых употребимых нейросеток для чистки/генерации голоса,
разделения на стемы, генерации музыки и прочих (на данный момент) спасибо @Verum_Corner за дополнения!

Чистка/дереверберация:
🔹Adobe.Enhance - для чистки (ресинтеза) голоса. С русским по прежнему работает странно, может давать английский акцент

🔹Descript - чистка (ресинтез) голоса. Часто работает лучше чем Adobe, но также может давать артефакты

🔹Аuphonic.com - чистка, дереверберация, удаление музыки из голоса. Полезный сервис для продакшена подкастов

🔹ai-coustics.com Чистка (ресинтез) голоса. чем-то похоже на Descript (преобразование в качество Studio)

🔹Supertone Clear (ex Goyo) - Постоянно в работе. Избавляет голос от шума и реверберации

🔹Acon Dereverberate 3 - Отличный деревербератор

🔹Accentize RevivePro - Хорошо чистит диалог и удаляет реверберацию. Использует ресинтез. Можно сделать голос более дикторским (чем-то отдаленно похоже на Adobe/Descript) или просто почистить и оставить тембр голоса нетронутым.

🔹Waves Clarity - уже немного устаревший чистильщик голоса. Прилично поджирает высокие ("с").
Но вместе с подмешанным параллельным треком с диессером, настроенным на солирование "с", может давать неплохой результат

🔹Voice isolate от ElevenLabs очищает голос от шумов, досинтезирует тембр. В чем-то похожа на adobe.enhance, но лучше

Разделение на стемы (в том числе можно использовать для очистки речи или инструментов от шума)
🔹Ultimate Vocal Remover (бесплатный) один из любимых. Можно разделять трек на стемы или использовать для очитски голоса от посторонних шумов. Хорошо работают алгоритмы Demucs и MDX-Net (Voc_ft)

🔹www.lalal.ai - очень прилично разбивает трек на стемы. Своя нейросетка, которая часто работает лучше остальных. Также есть очистка голоса

🔹Spectralayers от Steinberg - хорошо разделяет трек на стемы. Даёт чуть больше стемов чем доступно в Demucs. Ударные, например, можно разбить на Kick, Snare, Cymbals. Разделяет, разные голоса по их тембрам (работает своеобразно)

🔹 Mvsep - онлайн сервис аггрегатор, включает некоторые оригинальные модели, которых нет в других программах

🔹 Плагины для Audacity два из которых (для очистки речи) работают очень хорошо (Demucs?)

Синтез/ресинтез речи
🔹elevenlabs.io/speech-synthesis - генератор речи (Text to Speech, Speech To Speech) Позволяет озвучивать текст (или переозвучить речь) любым голосом (в том числе делать клон голоса из примеров его записи)

🔹www.tryreplay.io - бесплатная программа, позволяет менять голос на любой из имеющихся в базе (как сделать свою голосовую модель писал тут) хорошо работает не только для речи, но и для пения

🔹kits.ai - сервис типа RVC, хорошо работает для клонирования голоса и пения

Генерация музыки
🔹UDIO - новая сетка, уделывает suno! в том числе генерит симфоническую музыку

🔹www.suno.ai - генерирует трек, по его текстовому описанию, недавно выкатили v3, которая работает уже очень интересно

🔹fadr.com - можно делать ремиксы и разбивать трек на стемы

🔹create.musicfy.lol - позволяет переозвучивать (ресинтезировать) инструменты с помощью голоса и генерировать музыку из текстового описания

пост дополняется! (актуальность 05/10/2024)

А какие нейросетки используете вы? пишите в комментариях!

На мой взгляд, один из самых информативных youtube-каналов посвященных постпродакшену в кино. Очень много интересного и полезного на канале. Буквально недавно стащил приём обработки в RX - Voice isolate - его можно применить только в верхней части спектра (выше ~3 кГц) благодаря чему можно нежно понизить уровень шуршей.

Выпуск про чистку речи:

https://www.youtube.com/watch?v=ZxYSWEsv9tc

На днях завладел рекордером Zoom M4 - возможно это один из лучших портативных рекордеров на данный момент.

плюсы:
🔹 качественные встроенные микрофоны (говорят, что капсюли те же что и у Sony d100)
🔹32 битная запись. Никаких гейнов и вот этого всего, одно нажатие Rec позволяет сразу начать документировать неторопливую жизнь кротов или концерт детметал группы.
🔹 одновременная запись до 4 каналов (кроме встроенных микрофонов есть 2 входа XLR и Line in)
🔹 поддержка чд вплоть до 192kHz, при этом встроенные микрофоны хватают ультразвук до ~70 kHz (на картинке к посту прикреплена запись электрической зажигалки, которая хорошо свистит в области ультразвука)
🔹 предзапись до 6 сек (зависит от чд)
🔹 внешний вид. Внезапно то, что сначала казалось его недостатком, оказалось достоинством.
Рекордер не сильно привлекает внимания и, даже если все-таки привлекает, то простому охраннику очевидно, что это какой-то микрофон.
🔹 поддержка TimeCode, не самая необходимая вещь для записи фонов, но в кино может сильно пригодиться

минусы:
🔹 повтыкал разные наушники - выход все-таки слабоват по мощности. Если писать очень тихие звуки (румтоны) то его громкости не хватает (например топот соседей в наушниках не слышно, но на записи он есть)

PS разобрался! все норм с громкостью! дополнительно регулируется через меню (+/-)

🔹 по корпусу - в руках не хрустит, ничего не болтается, но все же лучше использовать виброподвес. Впрочем это касается любых портативных рекордеров со встроенными микрофонами.


и ещё подробности от другого владельца M4 и, по совместительству, классного отечественного производителя микрофонов, вот тут:
https://t.me/aphsoundcapture/91

Делюсь знаниями по важной, но скрытой части нашей жизни - бэкапы. Наличие бэкапов это то, что отличает мужчину от мальчика (а женщину от девочки)
Не буду описывать подробно большое множество бэкап-стратегий (подробнее тут, тут)
и ещё большее множество инструментов для бэкапа.
Остановлюсь на нескольких инструментах для реализации бэкапов, которую использую лично

При бэкапах я придерживаюсь правила 3-2-1 (создавайте не менее 3 копий каждого файла. храните копии файлов как минимум на 2 разных типах носителей. 1 копию данных следует хранить в удаленном месте, на случай локального происшествия)

🔹 Облачные сервисы
Тут важно иметь ввиду конъюнктурные особенности (какие-то сервисы не работают или в какой-то момент могут отказаться работать с РФ)

disk.yandex.ru - периодически бесплатно раздают 2Тб (или 3Тб за 475р/мес для уважаемых господ) из плюсов - высокая скорость передачи данных. Приложение под Windows не самое лучшее, но работает

www.backblaze.com
Классный недорогой сервис (100$ в год) и при этом безлимитный(!)
В моем случае, крайне низкая скорость загрузки данных лишила смысла его использование

🔹 Софт
для бэкапа системы использую Paragon Backup & Recovery CE - неплохой (а самое главное бесплатный) софт для бэкапа системного диска

Для бэкапа рабочих проектов и не системных данных использую небольшую, но мощную утилитку от MS - robocopy. Она позволяет копировать данные разными способами (вызываю её из скриптов, запускаемых по расписанию)

🔹Носители
При выборе HDD ориентируюсь на такие вот исследования

Какие инструменты для бэкапа используете вы?
Делитесь в комментариях!