Ещё немного из заметок пятницы

Прислали обзор на Wunjo AI на китайском языке. Как же это прикольно, когда о приложении снимают обзоры на различных языках. Ссылка на ознакомление.

來自不同國家的朋友們晚上好 📚

Новости субботы

🧪 Эксперименты. Провел эксперимент как связкой нейронных сетей из музыки создать кавер. Музыка и голос изменились с помощью текстового запроса. Зацените Price Tag - Jessie J в новогоднем стиле. Мне понравилось и появились мысли создать приложение, где одним кликом и текстом из любой песни можно сделать кавер.

💡 Идея. Появилась идея сделать из Нейронного радио нечто большое на подобие Lofi Girl или Chillhop Music с попутным запуском стрима на YouTube. Идея создать своего персонажа для Нейронного радио, который будет что-то олицетворять (например Lofi Girl олицетворяет студентов) со своей истории, чтобы каждый раз, когда вы включили нейронное радио в разное время года или суток, вы могли видеть, что и персонаж живёт своей жизнью и каждый раз что-то новое в ней происходит.

Такие вот новости, только между нами 🤫

Анонс четверга

🎸 Больше эпика! Как будет звучать Heavy Metal созданный нейронными сетями? Совершенно новый стиль музыки новой станции Neural Metal в «Нейронном радио».

🤘Секрет длинных треков. Придумал как снять ограничения для генерации музыки в 1 мин 30 сек. Изменения заключается в дроблении трека по частям, миксом с парой секунд начала трека, и генерации с общим prompt и seed. После удаление добавленных секунд в начале и crossfade, переход получается практически не заметным.

Версии v2 быть? И ещё какой...

В отличии от привычной нам Wunjo AI v1, новая версия будет именно версией, а не обновлением, что означает параллельное развитие v1 и v2.

Тогда как v1 имеет концепцию создания просто и доступного для понимания приложения, где дипфейки, синтез речи, итд. создаются в один клик с минимальным порогом входа и возможности использования приложения на своем сервере.

Версия v2 будет иметь концепцию профессионального редактора без ограничений на творчество. Где пользователь может создавать самостоятельно любые связки Node, сохранять их и загружать. Например клонировать голос из нескольких аудио одновременно с разным текстом → полученное аудио синхронизировать с губами на видео, где на каждое лицо своей текст →заменить лица всех людей на новые → улучшить качество и сохранить.

Не говоря про, то что Node будут создаваться не только самостоятельно, но и при помощи встроенного своего ChatGPT.

Когда релиз v2? Не скоро, нужно решить много проблем Dear PyGUI... Первые наброски уже на видео.

Музыкальный четверг

Новая музыка на Нейронном радио и YouTube канале

🎤 Новые жанры. Добавлено два новых жанра: Neural Space, музыка для расслабления со звуками космоса. И ещё один пикантный жанр похожий на фолк 70-ых и R&B, где-то в таком стиле со словами и без них.

🎥 Neural Music Video. Открыл плейлист с русскими песнями на YouTube, где клипы и музыка генерируются нейронными сетями (полностью или 50/50), а текста от меня для вас, с любовью. Сейчас есть песня о Нейронном радио и Любовь в напряжении. Каверов больше не будет.

Начало понедельника

Ура!

Ту-рум пупум!

Пытыщ... бдыжь! Пам!

И смайлик салюта 🎆

С Новым годом!

Новости понедельника

Поговорим о том, что удалось сделать в разработке Wunjo AI v2 за выходные.

🖌️ Создан первичный интерфейс. На данный момент можно сохранять, загружать (при этом ссылки будут сбрасываться, при загрузке) и очищать сессию. Отменить изменения или возвратить обратно. И классная фича, "Прибраться на рабочем столе", которая позволяет всё красиво сгруппировать и сделать соединения легко читаемыми (пример как это работает на красных Node).

🤫 Не показал в видео, что можно создавать области Group, называть их и выбирать цвет, чтобы выделять определенные Node. И поиск.

🔍 Показал в видео. Ваши Node можно изменять в стилистике, цвет, заголовок и посмотреть, что внутри хранит Node. Масштабирование. Миникарта

🎥 Video Load Node. Загрузка видео. Обрезка. Сохранение изменений. Восстановление изменений. Просмотр.

🖼️ Image Load Node. Загрузка изображения. Просмотр.

🎶 Audio Load Node. Загрузка. Обрезка. Просмотр.

Обязательно пишите, что вам было бы удобно увидеть в этих Node (load video, image, audio).

Новости воскресенья

Немного об изменениях в Wunjo AI 1.6.2 без поднятия версии и музыка.

💆 Замена для Face Animation. Заменил из приложения SadTalker на Wav2Lip, так как история с ним мутная, модели .tar подозрительные, а владелец репозитория не даёт комментариев. При этом, при анимации лица теперь двигаться только губы, без движения головы. Решение временное, пока не будет добавлена качественная замена для анимации лица из картинки. Если вы никогда не использовали анимацию лица, то эти изменения никак не повлияют, если используете то, лучше обновиться или на свой страх и риск работать с модулем в оффлайн режиме.

🎭 Разводы при Face Swap. Исправлен баг, при котором иногда появились разводы на результате по замене лица.

🎧 Музыка. Новая музыка для программирования в плейлисте и новые жанры как Neural Jazz и Neural Reggae на Нейронном радио, обязательно послушайте.

🧪 Эксперименты. Попробовал автоматизировать процесс монтажа видео, получилось сильно экспериментальненько. Подробнее тут.

Хороших выходных!

Новости понедельника

🖨️ Нейронные сети в типографии. Думали ли вы о том, что ИИ теперь применяется в издательстве книг? Статья о том как работает изнутри российский стартап Метранпаж. Все вопросы овнерам, поддержать проект и посмотреть другие стартапы можно на Product Radar.

👨‍🔬 Музыкальные эксперименты. В поисках своего жанра, который бы доставлял мне удовольствие во время производства и вы получали бы удовольствие от самого результата. Сгенерировал музыкальные треки из таких шедевров как «На педалях пяточки, еду на девяточке», «На сердце боль, в душе тоска, второго нет нигде носка», «Без подошвы тапочки - это просто тряпочки», «Каждый день по кружке пива проживёшь сто дней счастливо» и многие другие культовые цитаты Стэйтема. Получилось мега драйвова, и местами смешно, если вслушиваться. Пока это моя лучшая работа. Если вас зацепила, оставляйте в комментариях мемы и цитаты из которых вы бы хотели услышать музыкальные треки. Название жанра в нейронном радио Neural Meme.

🍿Новый жанр Neural Pop.

Новости четверга

⚖️ Закон о дипфейках. Появились новости о готовящимся законопроекте. Хорошее напоминание для такой фиче как Fork проекта на GitHub, чтобы иметь код всегда под рукой.

🔊 Работа со звуком. На канале CyberYozh вышло видео о том, как работать со звуком в Wunjo AI и как такие нейронные сети работают. Обязательно посмотрите, чтобы узнать все возможности по работе с приложением или сделать своего карманного Илона Маска.

🖥️ Фриланс для нейронных сетей. Думали ли вы о такой идеи для стартапа как фриланс-платформа для людей и нейронных сетей? А кто-то уже подумал. Подробнее в статье. Сам проект на Product Radar.

Новости вторника

🚧 Так, что происходит товарищи? Домена .ru отключают от глобального интернета и возвращаемся в Советский Союз? Я почувствовал это только с VPN, при доступе к mail.ru, но не из внутренней сети, сейчас все нормально. Но поворот интересный и вот новости об этом.

🪙 Благотворительные стартапы. Да, и такие есть. Да, и такие нуждаются в нейронных сетях. Статья про стартап «Добро Здесь» и их страница на Product Radar для поддержки. Иначе, если не мы? То, кто-то другой, так это нельзя оставлять! P.S. Кстати видео о них сделано нейронными сетями.

Новости понедельника

Новый проект, новый контент, новые эксперименты...

🆙 В блоге TenChat нас 10 000 человек. Блог посвящен таким вещам: как работают нейронные сети изнутри, интересные фишки стартапов из Product Radar. И в честь юбилея новый проект...

🤖 Новый проект уже доступен на GitHub. Идея в том, чтобы соединить голосовой помощник, ChatGPT и контроль жестами и всё это «присобачить» в робота паука PiCrawler. Остаётся его портировать на Raspberry Pi5 (робота, так как он на Pi3 и Pi4) и отладить код под него. Естественно такой проект не должен нагрузить Raspberry и все расчеты будут производиться по API, значит робота нужно доделать, чтобы он (а) имел микрофон и (б) доступ к Wi Fi. Когда робот будет готов полностью, новости об этом появятся на Хабр. Что может сейчас проект на GitHub? Включать музыкальные треки из «Нейронного радио», читать новости и общаться с ChatGPT. Задать своё поведение и голосовые команды очень просто, изменив фразы для обращения...

И мы переходим ко второй части поста

Мысли вторника

Думал о плане работ над Wunjo AI. Из текущих проблем, которые я знаю и понимаю:

🔳 Квадратная рамка в некоторых видео, при дипфейке губ.
💆 Не хватает анимации лица из фото.
👬 Надо менять подход для клонирования голоса, чтобы улучшить качество.
👅 Новые языки для клонирования голоса: испанский и немецкий.

Если, что-то упустил, напишите в комментариях.

Какой бы вы хотели видеть новый функционал для решения вашей проблемы?

🛎️ Стол заказов открыт!

Заметка четверга

Разгребал почтовый ящик и обнаружил интересное сообщение: «Компания подала заявку на регистрацию wladradchenko в качестве своего бренда». Зачем делать в качестве китайского бренда имя и фамилию незнакомого человека?

А, если пофантазировать, что может продавать такой бренд в Китае:

🧭 Компас wladradchenko для поиска самых фэн-шуй мест в своей квартире?

🫖 Набор чая для не похудения.

🚘 Китайский автомобиль с откидным низом.

👟 Спортивная обувь, специально разработанную для того, чтобы никуда не выходить.

Одно я знаю точно, наверняка это будет, что-то креативное и «своё». Обидно, если это будет, просто магазин столов.

И вот не знаю: развод или прикол... 😂

Анонс субботы

Думал, думал и задумался, а что если подключить в канал бота на основе ChatGPT. В общем эксперимент:

🤑 Первый бот «Стартап секреты» и это только альфа версия. Я взял данные из различных подкастов и статей про стартапы. Сформировал из этого датасет, загрузил в бота с личностью предпринимателя. Его цель в каждом ответе фокусироваться на заработке денег. Бот может генерировать рандомные идеи для стартапа или отвечать по своей базе. И это интересно, он формирует ответы из данных о русских стартапов из интервью с овнерами от вебкама до доставки товаров. В качестве основы взял подкаст «Стартап Секреты» с Дмитрием Беговатовым. Напишите под постом @startupsecrets_bot, чтобы он вам ответил или в чате.

🎮 Второй бот: Скотт Пилигрим, с какой-то смесью из дикой и дерзкой личности. Может отвечать на вопросы по Wunjo AI, нужно упомянуть Wunjo или просто болтать языком о чём угодно в своём стиле. Напишите @wladblog_chatbot под постом.

🔌 Боты иногда могут отключаться, всё таки эксперимент. Не удивляйтесь!