Привет! Там хайптрейн ruDALL-E еще не уехал? Если нет, хочу поделиться стикерпаком из сгенерированных нейросетью эмодзи (иногда пополняется). Местами вышло даже более проклято, чем ожидалось

Теперь можно будет достать минус из вашего любимого трека 👍

🧿 Meta AI Research выкатили Demucs v3 | Demucs Music Source Separation

Задача сведения музыки сложна, зато если трек сведен хорошо, то он становится шедевром. Что может быть сложнее? Все верно, разложить готовый трек на исходные дорожки, и выделить отдельно, как в примере (вкл звук 🔉):
- Барабаны
- Вокал и бэк-вокал
- Гитары и синты
- Бас гитару

Задача сепарирования оригинального микса на дорожки можно считать решенной. И все благодаря нейронной архитектуре Demucs 3, вдохновенной сверточным Wave-U-Net’ом.

Вообще очень советую посмотреть репозиторий этого проекта. Там и архитектура и веса, и модели работающие в спектральном и волновом домене. Кстати, сам Demucs 3 гибрид: работает и со спектром и с волной!

p.s.: Представьте себе не просто ремастеринг, а полноценное новое сведение старых треков, для которых не сохранились исходники! Да и создание ремиксов из них теперь станет куда более доступным.

💿 Code 🔮 Demucs Colab 🤗 Demo

Привет, немного мыслей про нейросети.🤖

Последнее время очень активно растет мультимодальный и мультизадачный подходы. В первом случае нейросеть учат на разных доменах одновременно, например как в CLIP изображения и их текстовое описание. Во втором модель пытается выполнять много разных задач одновременно вовремя обучения (к примеру, выдавать краткое содержание по тексту и также хорошо уметь отвечать на вопросы по входному тексту)

Что эта даёт? Нейронка обобщает лучше концепты, а значит ее потом можно использовать в очень многих задачах. Например, если чего-то не было среди изображений, но было среди текстов, то это знание может переложиться и на вектора картинок. Мне кажется, это похожее на то как работает наш мозг. Мы можем услышать или прочитать описание какого-то мифического существа без картинок, но при виде чего-то похожего поймём, что эта картинка совпадает с описанием.

Также и с мультизадачным подходом. ИИ учится решать сразу многие проблемы одновременно и это помогает лучше обобщать смыслы в тексте и решать задачи даже лучше людей. К примеру недавно проиграл в задаче вопрос-ответ нейронной сети t5, которая была обучена подобным образом😆.


Думаю в 2022 ИИ будут обобщать еще больше знаний разного рода и задач, а вы как считаете 🧐?


Кому интересно углубиться советую почитать оригиналы статей с данными подходами:

*GPT
*Transformer is all you need
*CLIP
*T5

Недавно наткнулся на гитхаб одного разработчика из Сбербанка, зовут Сергей Шкарин, лично не знакомы, но все разработчики и начинающие ds зацените его открытый план обучения ds.

Человек расписал крутой роадмап на несколько лет вперед и действительно поступательно проходит курсы и добавляет сертификаты, если посмотреть историю обновлений! 💪

Лично я планирую форкнуть и немного обновить под себя добавив больше курсов по предпринимательству и стартапам.

https://github.com/SergeyShk/DataScience-Roadmap

Неплохо так Уилли Смит раскрутил ребят 😄

Как Уилл Смит помог стартапу из Ростова-на-Дону

Ребята из Ростова-на-Дону рассказали сегодня крутую историю. У них (Виталия Николаева и его жены Вероники) анимационная студия. И несколько лет назад они решили по фану сделать анимацию для Уилла Смита. И он его перепостил в свой Инстаграм. Пошел хайп, заказы, работа с другими знаменитостями. А потом они подумали, как автоматизировать анимацию, чтобы не отрисовывать каждому в отдельности. Так родился их стартап Vibetoon.

Почитайте историю целиком, она правда любопытная. Но я хочу подсветить пару важных моментов из статьи со своими небольшими комментариями:

— когда вы делаете MVP, то делайте его не для инвесторов, а для клиентов. Расчет должен быть не на инвесторов, которые вам дадут денег и вы полетите, а на клиентов. Вы должны и так лететь. Пусть медленно, но лететь. Просто с деньгами инвесторов вы полетите быстрее. Такое ощущение, что многие придумывают идеи и ждут инвестиций. Дадут — будем делать, а нет — так нет.

— не нужно ждать идеального момента и допиливать продукт до идеального состояния. Так получилось, что Уилл Смит, сам того не ожидая, дал ребятам волшебный пинок, и они вынуждены были выходить на рынок США. Глупо же упускать такую возможность. И продукт — можно долго пилить до идеала, а можно сделать минимальную версию и выпустить. Отзывы и деньги от клиентов будут вдохновлять вас дальше развивать свой продукт.

@TheEdinorogBlog

Google Research показал алгоритм Palette который решает задачу «догенерирования» скрытых частей картинок на таком уровне, на котором я еще не встречал – в посте примеры, центральная часть этих картинок реальны, остальные части панорам сгенерированы. Сразу даже и не поймешь какая именно часть какая, такая клевая генерация.

Вот тут больше примеров с панорамами.

Привет! Продолжаю рассказывать о своем проекте #dataism.

В чем соль?
Я собираю очень много разных данных о своем здоровье, настроении, перемещениях, посещениях вебстраниц.

Часть данных выложу примерно через год в опенсорс. Часть попытаюсь продать медицинским центрам.

Все скрипты для сбора данных также планирую выложить в открытый доступ. Там разный код в виде автоматизаций для айфона и макбука (часть на отвратительном AppleScript 💩).

После первого этапа пойму какие данные наиболее полезные оказались и увеличу число скриптов, запущу сбор средств на полноценную платформу и комьюнити на kickstarter.

На платформе каждый сможет скачав скрипты и купив нужные гаджеты собирать статистику и продавать ее и использовать по своей воле, а не воле корпораций🙏😎

Что я уже собираю:
1) Отмечаю настроение в течении дня (около 2-3 раз, что мало конечно)
2) Фоткаю все что ем с описанием
3) Много данных с умных часов автоматом скалдываю в облако
4) Перемещения
5) Страницы и открытые программы на смартфоне и лэптопе
6) Умная бутылка отмечает количество выпитой жидкости, когда я не забываю пить из нее.

Все данные автоматически складываются в клауд в пригодный csv формат для data science, а не тот в котором вам пришлют корпорации, если вы запросите.

Что планирую добавить в ближайшее время:
1) keylogger на смартфоне и ноуте, записывать все что печатаю
2) трекать как-то больше данных о качестве сна



Вопрос:
Стали бы продавать свои перс данные и если да то какие и за сколько 💰💰💰?

Красивое)

#ml

Для тех, кто занимается выкатыванием моделей машинного обучения в прод и кому нужен быстрый инференс моделей, существует много разных способов ускорить инференс.

Многие начинают с инференса на обычном питон сервисе c использоваием flask или fast-api. Затем можно попробовать разные способы самостоятельно:

*инференс на GPU вместо CPU
*обучать модель меньшего размера
*разные подходы вроде квантизации, прунинга, дистилляции

Или можно посмотреть не на модель, а на язык и фреймворки для сервинга моделей, многие из них ускоряют инференс в несколько раз.

Для сервинга можно посмотреть проекты bento-ml, torch-serving, triton.
Они кроме поддержки инференса моделей имеют дополнительные функционалы вроде версионирования моделей, быстрого бэкенда к моделям и пр.

Или можно взять и конвертировать модели в ONNX формат и использовать движок onnxruntime, который обещает на сайте ускорить модели в 17 раз! Как я и поступил и на моих тестах вышло ускорение инференса торч модели на цпу в 4 раза 😮. Также есть API на различных языках программирования, если вы совсем хотите отказаться от питона в проде и перейти скажем на C++.

Но иногда нужно внедрять аккуратно, так как в больших проектах могут вылезти накладные расходы на препроцессинг входных данных и подготовку моделей в нужный формат (не все слои легко импортируются в ONNX формат), а также такой перенос может искажать ответы модели и снижать метрики качества.

Подробнее можно почитать на оф. сайте:

https://onnxruntime.ai/

⚡️OpenAI’s API Now Available with No Waitlist

Наконец-то OpenAI открыли публичный доступ к GPT-3. За время закрытого теста к нему добавили небольшие улучшения, такие как Instruct series models, которые лучше реагируют на промты. Кроме этого добавили в документацию safety best practices, которые рассказывают как сделать такую систему, которую нельзя будет атаковать очевидными способами.

Цена пока что кажется неплохой, по крайней мере ниже чем я ожидал. Самая большая модель стоит 6 центов за тысячу токенов. После регистрации вам дают $18, чего хватит для генерации 300 тысяч токенов.

Заходите на openai.com/api, регистрируйтесь и играйтесь с GPT-3 или Codex. Пишите что получается в чат, будет интересно узнать какие у людей в среднем впечатления.

#dataism

Продолжаю писать про идею датаизма. В прошлый раз рассказывал, что приобрел умную спортивную бутылку, которая считает объем выпитой воды каждый раз как только вы пьете из нее. Называется она HidrateSpark Pro. Работает так: с каждым глотком идет подсчет выпитой воды в миллилитрах с помощью разных сенсоров внутри бутылки и затем при синхронизации через приложение происходит отправка собранных данных по bluetooth на смартфон.

В конце дня можно посмотреть количество выпитого, а также получать нотификации в течении дня, если отстаете от нормы.

Для своего проекта собираю дневные данные через автоматизации Айфона в облако.

Вот тут можно глянуть подробнее про эти бутылки.