Фиксы выходного дня

- Полностью заменена библиотека dlib на insightface из замены лица, анимации лица и рта. Ранее пользователи Windows могли иметь проблемы с dlib, если не было установлено Visual Studio.

- Улучшено качество анимации лица и увеличена скорость обработки.


Официальный билд выйдет, только когда весь план работ будет закончен, однако если вы хотите воспользоваться изменениями уже сейчас, вот что можно сделать:

- Для тех кто работает с GitHub проектом git pull origin main

- Для тех у кого портативная или установленная версия. Пройти в директорию самой программы, и открыть внутри директории app. Далее скопировать и заменить файлы отсюда в app. При этом в папке app/wunjo заменить только templates, static и app.py без изменений других файлов.

Всем хороших выходных!

Фиксы посреди недели

Пробрало пара ночей на программирование, в итоге реализован следующий функционал:

- Улучшен вокодер для клонирования голоса.

- Улучшен кодеровщик для клонирования голоса. Теперь это связка из двух нейронных сетей кодеровщиков.

- Добавлено клонирование скорости говорения и тембра голоса.

- Добавлен мультиязычный синтез речи и клонирование голоса из одного текста на нескольких языках.

- Добавлена нейронная сеть для отделения вокала от шумов.

- Добавлен модуль, который позволит вам из музыки извлекать голос, либо удалять голос из музыки. Вы также можете использовать извлечение фоновых звуков для создания более качественных дипфейков, накладываю шум на видео. Подробнее в статье как это работает

Слушайте результат в видео, как изменилось клонирование голоса в сравнении с 1.6.0. И это означает, что крупный модуль закончен, осталось всего 1-2 пункта до выхода обновления 1.6.1: генерация фоновых звуков из текста, новый инструмент ретуши.

Всем хорошей середины недели!

Анонс выходного дня

Всем привет! В воскресный день, хочу рассказать вам ещё об одном своем веб приложение, в котором lofi музыка и подкаст создаётся нейронными сетями, под цитаты и пиксельные анимации.

Музыка созданная нейронной сетью и подкаст под label wladradchenko, остальные жанры: радио точки для того, чтобы поймать вейб и расслабиться.

А может настроиться по работать на своим проектом? Это та музыка, которую я слушаю сам и хочу поделиться с вами. В общем заходите на Бесконечное нейронное радио и делайте выводы сами.

А вот ссылка для английской версии.

Код проекта открыт на GitHub.

Если захотите поддержать проект. Вы можете сделать это на Product Radar.

P.S. Надеюсь вы кайфанете от этой музыки 😳🤯

Если вы захотите иметь мобильное приложение, добавить нейронное радио на смарт часы, компьютер: классная новость в том, что это PWA приложение, и вы можете это сделать без Google Play или App Store. Достаточно выбрать добавить на главный экран или установить. Подробнее как это работает в статье.

Открытие четверга

P.S. Обновления записи.

Случайным перебором, пришла мысль как улучшить клонирование голоса. В чём суть метода? Мы улучшаем, при помощи нейронной сети аудио восстанавливая потерянные звуки и делаем звук немного ровнее, при помощи speech enhancement:

- первая дорожка исходник
- вторая дорожка клонирование голоса в Wunjo AI 1.6.1 🤔
- третья дорожка новый метод для клонирования голоса в Wunjo AI 🤔🤔🤔

Сложно определиться. Пишите, если думаете или считаете, что клонирование стало лучше относительно предыдущего подхода. Ваши мысли и идеи могут повлиять на развитие Wunjo AI 1.6.1.

Дополнительно добавлена новая панель, для улучшения аудио с человеческой речью. Полезным будет для улучшения голоса в видео с удаляем шумов и прочих артефактов.

Ещё одно открытие четверга. Подписчик прислал видео о замене лица в Wunjo AI , как здорово, что аудитория приложения растёт и о нем говорят! 🥹

Обращение вторника

Совсем немного, совсем чуть чуть осталось до выхода релиза Wunjo AI 1.6.1.

Собрал pre release билд портативной GPU версии. Однако сборка происходила на Windows Server 2022, и есть вероятность, что может быть не совместимость с Windows 10, 11. Напишите в комментариях, кто хочет принять участие в закрытом тестировании портативной версии новенькой Wunjo AI 🧑‍🚀🧑‍💻

План работ реализован, кроме генерации музыки. В качественной генерации музыки и звуков используется encoder версии transformers не совместимой с video2video, при этом сгенерированые звуки по звучанию кажутся инородными в синтезе речи и клонировании голоса 🤷

Новость среды

Привет всем! 👋
Рад сообщить, что обновление Wunjo AI 1.6.1 было выпущено и доступно для скачивания. Подробнее о всех нововведениях вы можете прочитать в статье на Хабр.

Доступные установщики для Ubuntu и Windows. При этом установщик для Windows работает только с CPU. Однако, портативная версия для Windows будет у вас работать и на CPU и на GPU. Сайт для скачивания. И GitHub приложения.

Но это еще не все! Вместе с обновлением был выпущен ролик на канале CyberYozh, где вы узнаете, как использовать Wunjo AI для работы с видео и как функционируют соответствующие нейронные сети внутри приложения. Вот это видео.

P.S. Если вам нравятся мои проекты с нейронными сетями и статьи, которые я выпускаю, вы можете внести свой вклад в развитие проектов и блога, проголосовав за @wladradchenko вот здесь. Выйдем вперёд вместе с Wunjo и расскажем о нём как можно большему количеству людей 🙂

Благодарю пользователя Never Nevermind за тестирование приложения перед релизом.

Фикс пятницы

Узнал от пользователей, что при загрузке больших файлов, пользователи могут столкнуться с проблемой, что файлы не обрабатываются. Такой баг устранил в кратчайшие сроки.

Для решения этой проблемы, загрузка файла из frontend в backend разбита на партии (chunk) по 10 Мб каждый. А лимит загружаемого файла повышен до 10 Гб, чтобы вы могли обрабатывать длинные ролики с высоким разрешением.

Однако, есть ещё проблема, которая связана с лимитом для браузера. Вот страница в документации возможные пути решения загрузки больших файлов.

Если вы обрабатываете большие файлы, обязательно обновитесь. Билды уже доступны на официальном сайте.

Лайфхак. В панели удаление объектов появилась новая опция: Время задержки проверки маски (сек) - что означает, если вы выставили какое либо значение в секундах, на столько будет остановлена программа после создания маски и до удаления объектов. Зачем это нужно? Чтобы вы могли ручным способом при необходимости подредактировать маски, например чтобы не весь текст удалить.

Наблюдение среды

Недавно состоялся релиз новенькой Wunjo AI, я взял небольшой отдых на этот год, чтобы удивить вас в следующем новые фичами, а может и проектом под кодовым названием «ИИИ».

Однако, уходить в затишье было бы не интересно, тем более меня вдохновила команда CyberYozh, которая даёт возможность выступить на их площадки новым проектам и авторам.

Речь пойдет об одном из таких стартапов SmartWidgets, форма выстаивается в веб-сайт, и позволяет со всего интернета собирать отзывы о выбранном продукте. И не только о вашем, но и конкурента. По мне клёвая идея, с огромным простором внедрения ИИшки: анализ данных, красивые графики, авто ответы на отзывы, поиск накрутки, формирование картины, что хотят увидеть покупатели в новом продукте. Как это работает - в этой статье.

И поддержка таких стартапов может помочь в их развитии, создании новых крутых фишек с применением нейронок. Поддержка, и комментарий как вы хотите, чтобы продукт улучшился под ваши нужды. Сам проект и другие на Product Radar.

Обновление субботы

Большое обновление для «Нейронного радио». Казалось бы чего там обновлять, однако:

👾 Ещё не Пасха, а Пасхалка уже есть. Обновленная игра-кликер. Подробнее о предыдущей версии в статье на портале Тинькофф. Активировать можно нажав по иконки настройки. «Для того она и Пасхалка, чтобы быть скрытой».

🧑‍🔧 Апдейт логики. Добавлена возможность плавно добавлять новые жанры музыки генерируемые нейронными сетями, ранее был только жанр custom для нейронных сетей

🎛️ Техно заказывали? Добавлен новый подход по генерации музыки. Ранее музыки генерировалась из текста, теперь текст и музыка. Такой img2img, кто работал со Stable Diffusion, только music2music. Такой подход позволяет уменьшить количество плохо сгенерированный музыки. Пример можно послушать в видео, как меняется музыка из Mortal Combat под различными prompt. И послушать новый жанр Neural Tecnho на radio.wladradchenko.ru!

Код на GitHub. Наслаждайтесь 🎧🎚️🫨. На всякий случай F5, чтобы сбросить кеш

Заметка среды

Из новостей этой среды.

🏆 Помните конкурс блогер года по нейронным сетям в TenChat? Так вот пришли результаты. Спасибо всем пользователям приложений, потому что благодаря вам появляются текста и статьи о нейронных сетях, которые используются в Wunjo AI и нейронном радио.

🧑‍🎨 Интересная идея стартапа. Мне она кажется клевой. Например, вы генерирует потрясающие нейроарты, научились. Площадка вам даёт свои мощности, обученные модели и заказ за который заплатят деньги. А вы просто создаёте арты и продаете их заказчикам. Подробнее в этой статье. За сам проект можно проголосовать на Product Radar или написать свой отзыв, что вам не достает в этом стартапе, чтобы начать там пользоваться.

🤔 Что по нейронной музыки? Пока праздник к нам лениво приходит, мне как-то захотелось на генерировать новогодних джинглов нейронными сетями и посмотреть, что из этого будет!

Обновление пятницы

Небольшие изменения в «Нейронном радио»:

🎄 Новогодняя тема. Добавлена новая станция Neural Christmas. Хотите услышать, что выдает нейронная сеть при запросе: сделай мне новогодний трек?

🤫 Стартап-секреты? Добавлен новый подкаст. Теперь каждые 10-25 мин включается случайный подкаст: Neural Podcast, созданный нейронными сетями или Стартап-секреты, созданный Дмитрием Беговатовым.

🎙️ Новая площадка. Медиа для Neural Podcast перемещено с личного хостинга на Mave. Мне кажется перспективной идея доступности медиа не только на «Нейронном радио». Подкаст на русском и на английском.

🛠️ Фиксы. Изменено рандомное включение аудио файлов нейронной музыки на реальный стрим нейронной музыки. Теперь это больше подходит на интернет радио. Исправлен баг с кешем. Проект с открытым исходным кодом на GitHub.

P.S. Так как баг с обновлением Кеша только исправлен, для доступа к изменениям не забудьте сбросить кеш Ctrl+F5.