Suno дали возможность всем подгружать своё аудио для генерации на его основе.

💩 Заходим в Library и жмём Upload audio
💩 Загружаем или записываем аудио/видео длиной от 6 до 60 секунд
💩 На загруженном фрагменте жмём Extend
💩 Пишем промт целевого звучания, текст песни (опционально), и тайминг откуда генерить.
💩 Запускаем.

#новости_нейрозвук

Нейросеть для клонирования голоса MARS5

Новая нейросеть MARS5 доступна бесплатно в GitHub, либо либо на платформе Camb AI. Где на старте дается 5 минут. На самой платформе еще есть видеодубляж с переводом, и это тоже входит в бесплатные 5 минут.
Политика как и у ElevenLabs — те каждый месяц дают бесплатно 10к знаков (10 мин аудио), которые можно потратить на дубляж с переводом, перевести текст в аудио, создать голоса, а звуковые эффекты и вовсе пока бесплатны.

🟣 Клонирование голоса:
Для того, чтобы клонировать голос, загружать аудио нужно в формате .wav, длина от 90 секунд до 10 минут.
Бесплатно дает загрузить 2 голоса для клонирования. Голосами можно озвучить до 400 символов текста за раз.
Работает со 140 языками, включая русский

#новости_нейрозвук

Аудио-визуальный перфоманс в реальном времени.

AnimateDiff в Comfy генерит визуал, который затем воспроизводится в Touch Designer с реагированием на аудио. Дальше всё это идёт в Notch для эффектов, а лазеры и проекция управляются в Touch Designer.

Софт:
💩 ComfyUI (StableDiffusion, AnimateDiff, IP Adapter, кастомные моушн лоры, разные контролнеты, аннотаторы, Depth Map LoRA, интерполяция кадров в FILM)
💩 Notch (для генерации начального Ч/Б видео и реалтаймового 3D композинга)
💩 TouchDesigner (для обработки сигналов от системы, MIDI и игрового контроллера, распознавания бита, плейбека, контроля света DMX, контроля лазеров ILDA, хранения пресетов, recall)
💩 Ableton (для управления шоу)
💩 Max MSP (для кастомных устройств Ableton)

Железо:
💩 4090 PC (для генерации в AnimateDiff)
💩 3090 SFF PC (ПК для генерации контента в реальном времени)
💩 Epson L530U Projector
💩 LaserCube 7.5w Ultra
💩 Ableton Push
💩 Midi Fighter Twister
💩 8BitDo Pro 2 Controller
💩 Elgato StreamDeck
💩 Focusrite Scarlett 4i4

#новости_нейрозвук

Звуковые эффекты за 8 секунд

Soundeff - это ИИ-генератор звуковых эффектов, наподобие того, который есть в Elevenlabs. Еще в нем есть библиотека пользовательских звуковых генераций.

По времени обе нейросети генерирует звуковые эффекты одинаково, примерно за 8 секунд.

Отличия Soundeff от Elevenlabs

💩 Длина выходного аудио в Elevenlabs 8 секунд, а в Soundeff — 5 секунд.
💩 В Elevenlabs функция звуковых эффектов пока бесплатна для всех пользователей, в Soundeff бесплатно дается 3 генерации звука, далее подписка от 10$ за 400 генераций.

В платной версии Soundeff генерация звука будет быстрее 8 секунд. Длину аудио в платном тарифе скоро увеличат до 10 секунд и добавят пользовательские настройки.

#новости_нейрозвук

Riverside

Передовой инструмент для преобразования аудио- и видеоконтента в точные текстовые расшифровки. Предлагает пользователям возможность расшифровывать записи на более чем 100 языках с заявленной точностью 99%.

Плюсы:

💩 неограниченное количество транскрипций предлагается бесплатно
💩 удобный интерфейс позволяет легко записывать, загружать и транскрибировать без необходимости сложного обучения
💩принимает популярные форматы аудио- и видеофайлов, такие как MP3, WAV, MP4 и MOV
💩 можно редактировать свои записи прямо из стенограммы, что упрощает рабочий процесс постобработки

Минусы:

💩 поддерживается только избранное количество типов файлов, что может ограничивать пользователей различными форматами
💩 время транскрипции может варьироваться в зависимости от нагрузки на сервер
💩 для работы требуется подключение к инету

#новости_нейрозвук

HeyGen выкатили новую бесплатную функцию Expressive photo avatar которая озвучит любое фото вашим текстом.

Работает просто:

💩 загружаем изображение, затем загружаем аудио до 30 секунд

💩 ждем, и получаем видео с липсинком, подстроенными под озвучку губами и мимикой.

💩 Лица знаменитостей не пропускает

#новости_нейрозвук