🎙 DeepVoiceClone 📻

Как-то давно я уже публиковал у себя пару нейросетей по клонированию голоса, но с тех пор качество значительно возросло. Сейчас я поковырял парочку свежих сеток и выбрал текущего фаворита. Им стала зеро-шот моделька под названием YourTTS. Да, там не только с голоса, но и с текста можно делать перенос. Если вы выбираете текст, то имейте в виду, что нейросеть может транслировать только английский, французский и португальский языки. Есть даже вэб-версия, но там дополнительно накладывается закадровая музыка (думаю сами понимаете почему). Если хотите на других языках клонировать, то милости прошу в перенос с голоса на голос, который так же имеется в Колабе. Но свой текст надо стараться проговаривать интонацией того человека, кто будет его озвучивать. Результат генерируется быстро, но получается чуточку шумным, что легко фиксится, например сторонними нейронками.

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/DeepVoiceClone.ipynb

🐶 PetBreeder 1.1 🐱

Если (ну вдруг) у вас когда-либо возникало желание взглянуть на себя в облике пёселя или кошары, то сейчас появилась прекрасная возможность. Почему я это собрал? Дело в том, что я наткнулся на стайлгановские веса ffhq, дотюниные собачьим и кошачьим датасетами, которые дают весьма хорошие результаты и при этом «черты» лица человека (с входного изображения) сохраняются. Разве это не повод сделать что-нибудь забавное? В общем, по ссылке ниже можно генерировать как простое изображение своего психологического питомца, так и анимацию морфинга.

P.S. время удобства колаба медленно, но верно уходит. Возможно следующую нейронку соберу каким-нибудь градио, но не факт. Вот, кстати, пример от подписчика. Плюс хотел бы все-таки постить время от времени что-то новостное, обзорное, образовательное или тому подобное. А то канал пустует, а мне иногда есть что рассказать.

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/PetBreeder.ipynb

Upscaler VS Frame Interpolator

Наконец я созрел до написания статейки (как в старые добрые времена). В этот раз весьма занимательный эксперимент, а именно: пробую увеличить FPS с помощью Real-ESRGAN и сделать апскейл интерполятором кадров RIFE. По ощущению будто заглядываешь в 4 измерение, когда делаешь пространственно-временной своп, которому и посвящен этот текст, но не стоит пугаться незнакомых фраз. Я очень старался сделать материал максимально доступным, поэтому проблем быть не должно.

P.S. Даже колаб собрал (пусть и думал от него отказаться), но он внутри статьи. Как появится какая-нибудь интересная нейросетка, обязательно соберу и для нее.

«Колоризация. Введение»

Колоризация кадров - одна из моих любимых задач в машинном обучении. Я протестировал, наверное, все существующие, на данный момент, репозитории с сетками по раскрашиванию, написанные на питоне, что-то писал сам (но лучше пусть это так и останется в старых, забытых колабах) и теперь могу подвести некоторые итоги. Отправной точкой возьму DeOldify (как самого популярного представителя жанра). У него есть проблемы, такие как синие ореолы вокруг объектов, отсутствие консистентности кадров, а также он часто пятнит. Приходится балансировать между буйством красок и согласованностью кадров. Либо куча цветов и фликер, либо стабильная ржавчина, но при всем при этом DeOldify все еще многие используют ибо он полностью автоматизированный. Хотя добавь немного ручной работы и видео заиграет новыми красками, так как есть куча алгоритмов, которые красят по референсу, а значит можно и богатую палитру, и когерентность сохранить.

В прикрепленном примере слева DeOldify, а справа я разбил ч/б видео на сцены, взял из них по одному кадру, прогнал их через image2text (да, такие сетки тоже кому-то нужны в 2к22), загуглил картинки по тексту (хотя можно было бы и сгенерить) и подал как референс, а в колабе ниже я попытался все это автоматизировать на примере одной старенькой сетки. Видно, результат сыроват, но это ведь только «Введение». Далее, если эта тема окажется интресной не только мне, я постараюсь простым языком шире ее раскрыть. Пока не решил серия ли это будет постов, или в статейку все уместить.

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/VCR.ipynb

За последние годы я сильно пристрастился к Колабу. Не припомню и дня, когда я бы не запускал в нем какую-нибудь нейронку. Что уж там, я в ML начал погружаться в том числе благодаря доступности ВычМощей, которые он предлагал. Но в какой-то момент халява подходит к концу и мы замечаем, что остается всего 15 часов до момента, когда ресурсы закончатся. Этого времени как раз хватит, чтобы пару деньков позапускать какие-нибудь старенькие ноутбуки, выпить бутылочку вина за прекрасные мгновения, проведенные вместе, и попрощаться с Колабом, так и не став его амбассадором. Через месяц снова появится возможность пользоваться сервисом в полной мере, но опять всего на несколько часов.

🎤 Pop2Piano 🎹

Ку. Продолжаем пилить колабы? Вроде как активнее начали появляться интересные проекты, а значит я снова в строю. На этот раз сетка, которая изменить музыкальное сопровождение какой-нибудь попсовой песенки на аккомпонимент пианино. Работает быстро и звучит миленько. Париться с вырезанием голоса не нужно (все, что необходимо я вшил в колаб). Просто грузите трек как есть и получайте забавный результат. Учтите, что если у песни долгое вступление, то и мелодия начнется не сразу.

P.S. буду стараться собирать все то, что тянет бесплатный колаб. В платном вы сами знаете что творится.

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/Pop2Piano.ipynb