Обращение вторника

Совсем немного, совсем чуть чуть осталось до выхода релиза Wunjo AI 1.6.1.

Собрал pre release билд портативной GPU версии. Однако сборка происходила на Windows Server 2022, и есть вероятность, что может быть не совместимость с Windows 10, 11. Напишите в комментариях, кто хочет принять участие в закрытом тестировании портативной версии новенькой Wunjo AI 🧑‍🚀🧑‍💻

План работ реализован, кроме генерации музыки. В качественной генерации музыки и звуков используется encoder версии transformers не совместимой с video2video, при этом сгенерированые звуки по звучанию кажутся инородными в синтезе речи и клонировании голоса 🤷

Новость среды

Привет всем! 👋
Рад сообщить, что обновление Wunjo AI 1.6.1 было выпущено и доступно для скачивания. Подробнее о всех нововведениях вы можете прочитать в статье на Хабр.

Доступные установщики для Ubuntu и Windows. При этом установщик для Windows работает только с CPU. Однако, портативная версия для Windows будет у вас работать и на CPU и на GPU. Сайт для скачивания. И GitHub приложения.

Но это еще не все! Вместе с обновлением был выпущен ролик на канале CyberYozh, где вы узнаете, как использовать Wunjo AI для работы с видео и как функционируют соответствующие нейронные сети внутри приложения. Вот это видео.

P.S. Если вам нравятся мои проекты с нейронными сетями и статьи, которые я выпускаю, вы можете внести свой вклад в развитие проектов и блога, проголосовав за @wladradchenko вот здесь. Выйдем вперёд вместе с Wunjo и расскажем о нём как можно большему количеству людей 🙂

Благодарю пользователя Never Nevermind за тестирование приложения перед релизом.

Фикс пятницы

Узнал от пользователей, что при загрузке больших файлов, пользователи могут столкнуться с проблемой, что файлы не обрабатываются. Такой баг устранил в кратчайшие сроки.

Для решения этой проблемы, загрузка файла из frontend в backend разбита на партии (chunk) по 10 Мб каждый. А лимит загружаемого файла повышен до 10 Гб, чтобы вы могли обрабатывать длинные ролики с высоким разрешением.

Однако, есть ещё проблема, которая связана с лимитом для браузера. Вот страница в документации возможные пути решения загрузки больших файлов.

Если вы обрабатываете большие файлы, обязательно обновитесь. Билды уже доступны на официальном сайте.

Лайфхак. В панели удаление объектов появилась новая опция: Время задержки проверки маски (сек) - что означает, если вы выставили какое либо значение в секундах, на столько будет остановлена программа после создания маски и до удаления объектов. Зачем это нужно? Чтобы вы могли ручным способом при необходимости подредактировать маски, например чтобы не весь текст удалить.

Наблюдение среды

Недавно состоялся релиз новенькой Wunjo AI, я взял небольшой отдых на этот год, чтобы удивить вас в следующем новые фичами, а может и проектом под кодовым названием «ИИИ».

Однако, уходить в затишье было бы не интересно, тем более меня вдохновила команда CyberYozh, которая даёт возможность выступить на их площадки новым проектам и авторам.

Речь пойдет об одном из таких стартапов SmartWidgets, форма выстаивается в веб-сайт, и позволяет со всего интернета собирать отзывы о выбранном продукте. И не только о вашем, но и конкурента. По мне клёвая идея, с огромным простором внедрения ИИшки: анализ данных, красивые графики, авто ответы на отзывы, поиск накрутки, формирование картины, что хотят увидеть покупатели в новом продукте. Как это работает - в этой статье.

И поддержка таких стартапов может помочь в их развитии, создании новых крутых фишек с применением нейронок. Поддержка, и комментарий как вы хотите, чтобы продукт улучшился под ваши нужды. Сам проект и другие на Product Radar.

Обновление субботы

Большое обновление для «Нейронного радио». Казалось бы чего там обновлять, однако:

👾 Ещё не Пасха, а Пасхалка уже есть. Обновленная игра-кликер. Подробнее о предыдущей версии в статье на портале Тинькофф. Активировать можно нажав по иконки настройки. «Для того она и Пасхалка, чтобы быть скрытой».

🧑‍🔧 Апдейт логики. Добавлена возможность плавно добавлять новые жанры музыки генерируемые нейронными сетями, ранее был только жанр custom для нейронных сетей

🎛️ Техно заказывали? Добавлен новый подход по генерации музыки. Ранее музыки генерировалась из текста, теперь текст и музыка. Такой img2img, кто работал со Stable Diffusion, только music2music. Такой подход позволяет уменьшить количество плохо сгенерированный музыки. Пример можно послушать в видео, как меняется музыка из Mortal Combat под различными prompt. И послушать новый жанр Neural Tecnho на radio.wladradchenko.ru!

Код на GitHub. Наслаждайтесь 🎧🎚️🫨. На всякий случай F5, чтобы сбросить кеш

Заметка среды

Из новостей этой среды.

🏆 Помните конкурс блогер года по нейронным сетям в TenChat? Так вот пришли результаты. Спасибо всем пользователям приложений, потому что благодаря вам появляются текста и статьи о нейронных сетях, которые используются в Wunjo AI и нейронном радио.

🧑‍🎨 Интересная идея стартапа. Мне она кажется клевой. Например, вы генерирует потрясающие нейроарты, научились. Площадка вам даёт свои мощности, обученные модели и заказ за который заплатят деньги. А вы просто создаёте арты и продаете их заказчикам. Подробнее в этой статье. За сам проект можно проголосовать на Product Radar или написать свой отзыв, что вам не достает в этом стартапе, чтобы начать там пользоваться.

🤔 Что по нейронной музыки? Пока праздник к нам лениво приходит, мне как-то захотелось на генерировать новогодних джинглов нейронными сетями и посмотреть, что из этого будет!

Обновление пятницы

Небольшие изменения в «Нейронном радио»:

🎄 Новогодняя тема. Добавлена новая станция Neural Christmas. Хотите услышать, что выдает нейронная сеть при запросе: сделай мне новогодний трек?

🤫 Стартап-секреты? Добавлен новый подкаст. Теперь каждые 10-25 мин включается случайный подкаст: Neural Podcast, созданный нейронными сетями или Стартап-секреты, созданный Дмитрием Беговатовым.

🎙️ Новая площадка. Медиа для Neural Podcast перемещено с личного хостинга на Mave. Мне кажется перспективной идея доступности медиа не только на «Нейронном радио». Подкаст на русском и на английском.

🛠️ Фиксы. Изменено рандомное включение аудио файлов нейронной музыки на реальный стрим нейронной музыки. Теперь это больше подходит на интернет радио. Исправлен баг с кешем. Проект с открытым исходным кодом на GitHub.

P.S. Так как баг с обновлением Кеша только исправлен, для доступа к изменениям не забудьте сбросить кеш Ctrl+F5.

Ещё немного из заметок пятницы

Прислали обзор на Wunjo AI на китайском языке. Как же это прикольно, когда о приложении снимают обзоры на различных языках. Ссылка на ознакомление.

來自不同國家的朋友們晚上好 📚

Новости субботы

🧪 Эксперименты. Провел эксперимент как связкой нейронных сетей из музыки создать кавер. Музыка и голос изменились с помощью текстового запроса. Зацените Price Tag - Jessie J в новогоднем стиле. Мне понравилось и появились мысли создать приложение, где одним кликом и текстом из любой песни можно сделать кавер.

💡 Идея. Появилась идея сделать из Нейронного радио нечто большое на подобие Lofi Girl или Chillhop Music с попутным запуском стрима на YouTube. Идея создать своего персонажа для Нейронного радио, который будет что-то олицетворять (например Lofi Girl олицетворяет студентов) со своей истории, чтобы каждый раз, когда вы включили нейронное радио в разное время года или суток, вы могли видеть, что и персонаж живёт своей жизнью и каждый раз что-то новое в ней происходит.

Такие вот новости, только между нами 🤫

Анонс четверга

🎸 Больше эпика! Как будет звучать Heavy Metal созданный нейронными сетями? Совершенно новый стиль музыки новой станции Neural Metal в «Нейронном радио».

🤘Секрет длинных треков. Придумал как снять ограничения для генерации музыки в 1 мин 30 сек. Изменения заключается в дроблении трека по частям, миксом с парой секунд начала трека, и генерации с общим prompt и seed. После удаление добавленных секунд в начале и crossfade, переход получается практически не заметным.

Версии v2 быть? И ещё какой...

В отличии от привычной нам Wunjo AI v1, новая версия будет именно версией, а не обновлением, что означает параллельное развитие v1 и v2.

Тогда как v1 имеет концепцию создания просто и доступного для понимания приложения, где дипфейки, синтез речи, итд. создаются в один клик с минимальным порогом входа и возможности использования приложения на своем сервере.

Версия v2 будет иметь концепцию профессионального редактора без ограничений на творчество. Где пользователь может создавать самостоятельно любые связки Node, сохранять их и загружать. Например клонировать голос из нескольких аудио одновременно с разным текстом → полученное аудио синхронизировать с губами на видео, где на каждое лицо своей текст →заменить лица всех людей на новые → улучшить качество и сохранить.

Не говоря про, то что Node будут создаваться не только самостоятельно, но и при помощи встроенного своего ChatGPT.

Когда релиз v2? Не скоро, нужно решить много проблем Dear PyGUI... Первые наброски уже на видео.

Музыкальный четверг

Новая музыка на Нейронном радио и YouTube канале

🎤 Новые жанры. Добавлено два новых жанра: Neural Space, музыка для расслабления со звуками космоса. И ещё один пикантный жанр похожий на фолк 70-ых и R&B, где-то в таком стиле со словами и без них.

🎥 Neural Music Video. Открыл плейлист с русскими песнями на YouTube, где клипы и музыка генерируются нейронными сетями (полностью или 50/50), а текста от меня для вас, с любовью. Сейчас есть песня о Нейронном радио и Любовь в напряжении. Каверов больше не будет.

Начало понедельника

Ура!

Ту-рум пупум!

Пытыщ... бдыжь! Пам!

И смайлик салюта 🎆

С Новым годом!

Новости понедельника

Поговорим о том, что удалось сделать в разработке Wunjo AI v2 за выходные.

🖌️ Создан первичный интерфейс. На данный момент можно сохранять, загружать (при этом ссылки будут сбрасываться, при загрузке) и очищать сессию. Отменить изменения или возвратить обратно. И классная фича, "Прибраться на рабочем столе", которая позволяет всё красиво сгруппировать и сделать соединения легко читаемыми (пример как это работает на красных Node).

🤫 Не показал в видео, что можно создавать области Group, называть их и выбирать цвет, чтобы выделять определенные Node. И поиск.

🔍 Показал в видео. Ваши Node можно изменять в стилистике, цвет, заголовок и посмотреть, что внутри хранит Node. Масштабирование. Миникарта

🎥 Video Load Node. Загрузка видео. Обрезка. Сохранение изменений. Восстановление изменений. Просмотр.

🖼️ Image Load Node. Загрузка изображения. Просмотр.

🎶 Audio Load Node. Загрузка. Обрезка. Просмотр.

Обязательно пишите, что вам было бы удобно увидеть в этих Node (load video, image, audio).

Новости воскресенья

Немного об изменениях в Wunjo AI 1.6.2 без поднятия версии и музыка.

💆 Замена для Face Animation. Заменил из приложения SadTalker на Wav2Lip, так как история с ним мутная, модели .tar подозрительные, а владелец репозитория не даёт комментариев. При этом, при анимации лица теперь двигаться только губы, без движения головы. Решение временное, пока не будет добавлена качественная замена для анимации лица из картинки. Если вы никогда не использовали анимацию лица, то эти изменения никак не повлияют, если используете то, лучше обновиться или на свой страх и риск работать с модулем в оффлайн режиме.

🎭 Разводы при Face Swap. Исправлен баг, при котором иногда появились разводы на результате по замене лица.

🎧 Музыка. Новая музыка для программирования в плейлисте и новые жанры как Neural Jazz и Neural Reggae на Нейронном радио, обязательно послушайте.

🧪 Эксперименты. Попробовал автоматизировать процесс монтажа видео, получилось сильно экспериментальненько. Подробнее тут.

Хороших выходных!