Flowsic v 0.1.
В продолжение темы прошлого поста о том что в октябре 2023 я начал писать Flowsic с чистого проекта, пожалуй стоит рассказать о том, как проект был устроен в самом начале пути. Кстати начало пути было где-то в августе 2023.
Работало это примерно так -
1. Нафоркав несколько проектов с гит-хаба и соединив их в один, я получил простейший проект который генерировал midi-поток в соответствии с заданными параметрами.
2. midi-поток транслировался по виртуальному midi-кабелю в DAW. В моем случае это FL-Studio. Если кому-то понадобится софт имитирующий midi-кабель то вот он, бесплатно для не коммерческого использования.
3. FL-Studio принимала midi сигнал в любой VSTI и обрабатывала его всеми доступными инструментами. И конечно же записывала полученный сигнал в треки.
4. Далее, работа алгоритмов на этом всё, а полученные записи можно на свое усмотрение как угодно править, изменять, сводить, рендерить в готовые аудио файлы.
Почему это тупик?
На самом деле не тупик, это в целом интересный инструмент который можно использовать при сочинении мелодий (или для вдохновения), если очень хочется поиграть музыку но не с кем, можно использовать данный поток как плейбэк, но и на этом в принципе все достоинства и заканчиваются. Получается очень "нишевой" продукт для очень узкой аудитории и который невозможно вывести в интернет для массовой аудитории. Да и запустить его на компе не так уж и просто. В общем, я понял что сервис доступный в интернете должен отдавать пользователю готовый аудиофайл, а не что-то другое.
Чтобы все это вспомнить и перенестись на немного на 2 года назад, нашел старые исходники проекта и запустил его). Я к сожалению не помню уже всех параметров, и то как устроено одновременная генерация на несколько портов, но какую-то мелодию сгенерить и записать у меня все-таки получилось на видео) А вот и само видео -
https://rutube.ru/video/7db9dd5921697634618aa5caba65ca84/
В продолжение темы прошлого поста о том что в октябре 2023 я начал писать Flowsic с чистого проекта, пожалуй стоит рассказать о том, как проект был устроен в самом начале пути. Кстати начало пути было где-то в августе 2023.
Работало это примерно так -
1. Нафоркав несколько проектов с гит-хаба и соединив их в один, я получил простейший проект который генерировал midi-поток в соответствии с заданными параметрами.
2. midi-поток транслировался по виртуальному midi-кабелю в DAW. В моем случае это FL-Studio. Если кому-то понадобится софт имитирующий midi-кабель то вот он, бесплатно для не коммерческого использования.
3. FL-Studio принимала midi сигнал в любой VSTI и обрабатывала его всеми доступными инструментами. И конечно же записывала полученный сигнал в треки.
4. Далее, работа алгоритмов на этом всё, а полученные записи можно на свое усмотрение как угодно править, изменять, сводить, рендерить в готовые аудио файлы.
Почему это тупик?
На самом деле не тупик, это в целом интересный инструмент который можно использовать при сочинении мелодий (или для вдохновения), если очень хочется поиграть музыку но не с кем, можно использовать данный поток как плейбэк, но и на этом в принципе все достоинства и заканчиваются. Получается очень "нишевой" продукт для очень узкой аудитории и который невозможно вывести в интернет для массовой аудитории. Да и запустить его на компе не так уж и просто. В общем, я понял что сервис доступный в интернете должен отдавать пользователю готовый аудиофайл, а не что-то другое.
Чтобы все это вспомнить и перенестись на немного на 2 года назад, нашел старые исходники проекта и запустил его). Я к сожалению не помню уже всех параметров, и то как устроено одновременная генерация на несколько портов, но какую-то мелодию сгенерить и записать у меня все-таки получилось на видео) А вот и само видео -
https://rutube.ru/video/7db9dd5921697634618aa5caba65ca84/
👍1
This media is not supported in your browser
VIEW IN TELEGRAM
Flowsic v 0.1.1.
Продолжая тему "ранних версий", нашел у себя в телефоне работающие скрипты одну из первых версий, в которой исходя из нескольких параметров складывается мелодия.
Работает прямо в смартфоне в качестве сервера. Его я написал пока ездил в метро).
На то время проект еще не мог обрабаотывать пользовательские промпты а также мастЕрить и перекодировать сочиненные мелодии в wav и mp3. Впрочем, позднее это оказалось слишком сложно реализуемо на arm архитектуре (именно на ней построено большинство андройд-устройств). Но для того сгенерить простую мелодию и прослушать ее достаточно было смартфона))
Все это возможно благодаря Termux - эмулятор Linux для андройда. Хоть это и эмуль, на него можно поставить огромное множество пакетов и софта, и python (правда не все библиотеки на arm существуют). Да и в принципе, управлять современным смартфоном через консоль это увлекательный процесс).
А на видео то, как это работало).
Продолжая тему "ранних версий", нашел у себя в телефоне работающие скрипты одну из первых версий, в которой исходя из нескольких параметров складывается мелодия.
Работает прямо в смартфоне в качестве сервера. Его я написал пока ездил в метро).
На то время проект еще не мог обрабаотывать пользовательские промпты а также мастЕрить и перекодировать сочиненные мелодии в wav и mp3. Впрочем, позднее это оказалось слишком сложно реализуемо на arm архитектуре (именно на ней построено большинство андройд-устройств). Но для того сгенерить простую мелодию и прослушать ее достаточно было смартфона))
Все это возможно благодаря Termux - эмулятор Linux для андройда. Хоть это и эмуль, на него можно поставить огромное множество пакетов и софта, и python (правда не все библиотеки на arm существуют). Да и в принципе, управлять современным смартфоном через консоль это увлекательный процесс).
А на видео то, как это работало).
❤1
Наткнулся я тут недавно на этот мемчик, и вспомнил про lo-fy girl. Кто не знает, это такие треки на ютубе по несколько часов, при этом на экране изображение девушки почти статично, а на фоне играет lo-fy музыка. Например вот
Подобных треком на ютубе огромное множество, и у некоторых действительно большие просмотры.
Также я видел и варианты в которых музыка транслируется, то есть работает как стрим. Картинка или статична или зациклена а аудио транслируется по несколько дней (или месяцев).
И я подумал - поскольку теперь у меня аудиопотоки спокойствия и продуктивной работы транслируются как радио, то можно это транслировать и в ютуб... И снова все оказалось сложнее чем казалось). Проблема в том, что ютуб - это видеохостинг. Логично что для потока требуется именно видео хостинг (а не аудиопоток). Но можно выкрутиться, с помощью например софта OBS а тут нюанс в том, что хоть и есть данный софт под ОС семейства линукс, он работает только "в графике". И в просто как "еще один контейнер в стеке" его запустить проблематично, и получается что нужен еще и комп который будет транслировать 24/7 поток с сервера на ютуб. А еще, для трансляций свыше 12 часов нужна доп верификация от ютуба, не знаю насколько это сложно или просто в текущих реалиях.
В общем, я решил сделать максимально просто. Сгенерить 2+ часа спокойной музыки, свести это в 1 трек и сделать картинку в стиле lo-fy girl. И теперь у flowsic есть своя "lo-fy girl" а посмотреть и послушать можно по ссылке -
https://youtu.be/shoikibIxFE
Логичный вопрос - для чего?
Ответ - попытки заявить о проекте на не русскоязычную аудиторию. В перспективе планирую этим заняться плотно, и если будут видео с достойным количеством просмотров, то это будет в плюс)
Подобных треком на ютубе огромное множество, и у некоторых действительно большие просмотры.
Также я видел и варианты в которых музыка транслируется, то есть работает как стрим. Картинка или статична или зациклена а аудио транслируется по несколько дней (или месяцев).
И я подумал - поскольку теперь у меня аудиопотоки спокойствия и продуктивной работы транслируются как радио, то можно это транслировать и в ютуб... И снова все оказалось сложнее чем казалось). Проблема в том, что ютуб - это видеохостинг. Логично что для потока требуется именно видео хостинг (а не аудиопоток). Но можно выкрутиться, с помощью например софта OBS а тут нюанс в том, что хоть и есть данный софт под ОС семейства линукс, он работает только "в графике". И в просто как "еще один контейнер в стеке" его запустить проблематично, и получается что нужен еще и комп который будет транслировать 24/7 поток с сервера на ютуб. А еще, для трансляций свыше 12 часов нужна доп верификация от ютуба, не знаю насколько это сложно или просто в текущих реалиях.
В общем, я решил сделать максимально просто. Сгенерить 2+ часа спокойной музыки, свести это в 1 трек и сделать картинку в стиле lo-fy girl. И теперь у flowsic есть своя "lo-fy girl" а посмотреть и послушать можно по ссылке -
https://youtu.be/shoikibIxFE
Логичный вопрос - для чего?
Ответ - попытки заявить о проекте на не русскоязычную аудиторию. В перспективе планирую этим заняться плотно, и если будут видео с достойным количеством просмотров, то это будет в плюс)
👍1🔥1
Про устройства и неочевидное.
Если верить яндекс-метрике (а верить ей надо примерно на 70%, но это отдельная тема) то 93% посетителей сайта flowsic - это пользователи мобильных устройств (если еще глубже проанализировать то андройд/iOS соотношение примерно 80/20). То есть пк пользователи это всего-лишь около 6 процентов. Я эту статистику знал и раньше, она почти не изменилась за последний год, и то, что надо максимум внимания мобильной версии сайта уделять (а еще лучше сделать отдельное приложение) вместо того чтобы оттачивать десктопную, я тоже давно понял.
Мне стало интересно, а учитывает ли как-то Яндекс Метрика телевизоры?
Ведь как оказалось - телевизор это отличное устройство для прослушивания музыки. Даже просто через браузер без приложения. Особенно если к тв еще и саундбар в придачу имеется.
Попробовал свой сайт открыть на тв и послушать музыку с него (удивительно что эта идея мне не приходила в голову раньше)). Сайт на большом экране выглядит не плохо, шаблон сайта оказывается также имеет верстку под тв-экран. Хотя большая диагональ открывает недостатки прорисивки анимации, навигация удобная.
Интересно, насколько вообще популярно использовать стриминоговые музыкальные сервисы на тв, тема явно с потенциалом.
Если верить яндекс-метрике (а верить ей надо примерно на 70%, но это отдельная тема) то 93% посетителей сайта flowsic - это пользователи мобильных устройств (если еще глубже проанализировать то андройд/iOS соотношение примерно 80/20). То есть пк пользователи это всего-лишь около 6 процентов. Я эту статистику знал и раньше, она почти не изменилась за последний год, и то, что надо максимум внимания мобильной версии сайта уделять (а еще лучше сделать отдельное приложение) вместо того чтобы оттачивать десктопную, я тоже давно понял.
Мне стало интересно, а учитывает ли как-то Яндекс Метрика телевизоры?
Ведь как оказалось - телевизор это отличное устройство для прослушивания музыки. Даже просто через браузер без приложения. Особенно если к тв еще и саундбар в придачу имеется.
Попробовал свой сайт открыть на тв и послушать музыку с него (удивительно что эта идея мне не приходила в голову раньше)). Сайт на большом экране выглядит не плохо, шаблон сайта оказывается также имеет верстку под тв-экран. Хотя большая диагональ открывает недостатки прорисивки анимации, навигация удобная.
Интересно, насколько вообще популярно использовать стриминоговые музыкальные сервисы на тв, тема явно с потенциалом.
🔥1
Новый раздел на сайте - нейро-медитации.
Как уже заметно из поста о прослушивании музыки на тв, на сайте появился новый раздел - нейромедитации.
Еще при разработке и тестировании функционала генерации фоновой музыки, я тестил как это все вместе работает на примере в том числе и сгенерированной chat gpt медитаций и озвученных сторонним сервисом.
И вот решил я сделать отдельный раздел сайта с подобными медитациями, Лично мне первая медитация нравится, залип в нее уже несколько раз).
На мой взгляд - тема занятная, надо посмотреть на сколько будет находить отклик у аудитории, а пока буду пополнять список подобных медитаций.
Послушать и помедитировать можно тут -
https://flowsic.ru/station/meditats/
А как Вам идея нейромедитаций?
Как уже заметно из поста о прослушивании музыки на тв, на сайте появился новый раздел - нейромедитации.
Еще при разработке и тестировании функционала генерации фоновой музыки, я тестил как это все вместе работает на примере в том числе и сгенерированной chat gpt медитаций и озвученных сторонним сервисом.
И вот решил я сделать отдельный раздел сайта с подобными медитациями, Лично мне первая медитация нравится, залип в нее уже несколько раз).
На мой взгляд - тема занятная, надо посмотреть на сколько будет находить отклик у аудитории, а пока буду пополнять список подобных медитаций.
Послушать и помедитировать можно тут -
https://flowsic.ru/station/meditats/
А как Вам идея нейромедитаций?
flowsic.ru
Нейромедитации от ФЛОУМ -
👍2
Про Google и опять про неочевидное.
Когда-то я вручную проанализировал активность зарегистрированных пользователей, и пришел к выводу - наиболее активные пользователи это те, которые зарегистрировались на сайте через учетку Google.
А еще, как я ранее писал - недавно приступил к SEO-аналитике сайта. И я анализировал только положение в Яндексе (статистика по яндексу к слову - грустная) и при этом я совсем не анализировал положения в выдаче от Гугла. Возможно потому, что у меня в голове сидит мысль о том что в России Яндекс это 90% трафика а гугл как поисковик не очень релевантен, поэтому надо пытаться "выдавить максимум" из яндекса а все остальное не так важно. Но когда я в топвизоре случайно переключил поисковик с яндекса на гугл, то он показал что я по некоторым запросам (например - нейромузыка онлайн) сайт в топ 5. Я не поверил, Но да, действительно некоторые запросы в топ-5.
Далее, я подключил Гугл-аналитику, и на удивление там тоже "оптимистичные числа". Получается, большая часть ЦА находила все это время проект в гугле а я наивно рассчитывал только на яндекс)).
Когда-то я вручную проанализировал активность зарегистрированных пользователей, и пришел к выводу - наиболее активные пользователи это те, которые зарегистрировались на сайте через учетку Google.
А еще, как я ранее писал - недавно приступил к SEO-аналитике сайта. И я анализировал только положение в Яндексе (статистика по яндексу к слову - грустная) и при этом я совсем не анализировал положения в выдаче от Гугла. Возможно потому, что у меня в голове сидит мысль о том что в России Яндекс это 90% трафика а гугл как поисковик не очень релевантен, поэтому надо пытаться "выдавить максимум" из яндекса а все остальное не так важно. Но когда я в топвизоре случайно переключил поисковик с яндекса на гугл, то он показал что я по некоторым запросам (например - нейромузыка онлайн) сайт в топ 5. Я не поверил, Но да, действительно некоторые запросы в топ-5.
Далее, я подключил Гугл-аналитику, и на удивление там тоже "оптимистичные числа". Получается, большая часть ЦА находила все это время проект в гугле а я наивно рассчитывал только на яндекс)).
🔥1
Итоги года или стоит ли подводить итоги?
Традиционно, последние дни декабря – время, когда принято подводить итоги.
Конечно же, не могу не подвести итоги года и по проекту Flowsic.
Глобально, как было год назад, так и сейчас осталось – проект по-прежнему является инди-проектом одного человека и не приносит прибыль. С- стабильность!). Объективно, не было на этот год цели в генерации прибыли, да и вообще если представить, что есть X людей которые готовы платить за использование сервиса, то возникает сугубо техническая сложность с тем, как тарифицировать и привязывать платежи к аккаунтам пользователей. Это требует очень глубокой переработки сайта и его связки с сервисом. Настолько, что скорее проще полностью новый сайт сделать. По этой теме я уже присматриваюсь, например, к Black candy.
Планы на 2025 год у меня действительно были, и само собой часть из них оказались нереализуемые а часть неактуальными а что-то все-таки сделал:
✅Перенести генерацию музыки из телеграма на сайт. (Получилось даже лучше чем ожидалось)).
✅Выправить логические ошибки генерации мелодий. (Ошибок была огромная куча, исправлено почти всё)
❌Добавить в генерацию процессор эффектов для разнообразия звучания. (В процессе реализации отказался от затеи в пользу разработки нового алгоритма генерации у которого возможности синтеза звука намного больше).
✅Научить алгоритмы ритмическим рисункам и акцентам. Сделал. Наиболее интересно на мой взгляд это реализовано в регги.
✅Сделать отдельный сайт про движок ФЛОУМ engine. Сделал, но сам не понял зачем)).
❌Сделать англоязычный сайт. Отложил идею.
❌Связать пользователей сайта и телеграм-бота. Отказался от идеи, т.к. стремлюсь реализовать работу пользователей только через сайт.
Вкратце так, были еще организационные задачи, но они по большей степени утратили актуальность.
Основная организационная задача - решить юридические аспекты. Какие именно и как это тема для отдельного интересного поста.
И все-таки на мой взгляд, самое ключевое достижение 2025 года в том, что в начале года я читал сотни пользовательских промптов из серии –
-Трек Linkin park Numb исполненный гоблинами и сыгранных на губных гармошках.
Или
-Сочини песню чтобы в ней пелось про имя – Ассель, пожалуйста!
Это реальные запросы реальных пользователей. И я думал – как вообще удовлетворить запросы такой аудитории? С этим справится разве что только Суно) и то не факт.
В 2025 году я нашел то чем сервис может быть полезен аудитории – генерацией фоновой музыки для контента, или какой-то свой уникальный контент как бесконечные потоки тематической музыки или нейромедитации. И пусть это приживается пока откровенно медленно, именно эти фичи я буду развивать в продукте.
P.S.
Пока пишу этот пост, фоном слушаю вот эту аудиокнигу. На мой взгляд полезная книга, очевидные и не очень очевидные вещи описывает простыми словами без воды. И одна из этих самых фраз –
Хороший тайм-менеджмент это не «успевать всё», а «регулярно успевать» делать то, что тебе важно.
То есть, если на что-то не хватило времени и сил, значит не очень то оно и было надо).
С наступающим 2026 годом дорогие друзья!
Традиционно, последние дни декабря – время, когда принято подводить итоги.
Конечно же, не могу не подвести итоги года и по проекту Flowsic.
Глобально, как было год назад, так и сейчас осталось – проект по-прежнему является инди-проектом одного человека и не приносит прибыль. С- стабильность!). Объективно, не было на этот год цели в генерации прибыли, да и вообще если представить, что есть X людей которые готовы платить за использование сервиса, то возникает сугубо техническая сложность с тем, как тарифицировать и привязывать платежи к аккаунтам пользователей. Это требует очень глубокой переработки сайта и его связки с сервисом. Настолько, что скорее проще полностью новый сайт сделать. По этой теме я уже присматриваюсь, например, к Black candy.
Планы на 2025 год у меня действительно были, и само собой часть из них оказались нереализуемые а часть неактуальными а что-то все-таки сделал:
✅Перенести генерацию музыки из телеграма на сайт. (Получилось даже лучше чем ожидалось)).
✅Выправить логические ошибки генерации мелодий. (Ошибок была огромная куча, исправлено почти всё)
❌Добавить в генерацию процессор эффектов для разнообразия звучания. (В процессе реализации отказался от затеи в пользу разработки нового алгоритма генерации у которого возможности синтеза звука намного больше).
✅Научить алгоритмы ритмическим рисункам и акцентам. Сделал. Наиболее интересно на мой взгляд это реализовано в регги.
✅Сделать отдельный сайт про движок ФЛОУМ engine. Сделал, но сам не понял зачем)).
❌Сделать англоязычный сайт. Отложил идею.
❌Связать пользователей сайта и телеграм-бота. Отказался от идеи, т.к. стремлюсь реализовать работу пользователей только через сайт.
Вкратце так, были еще организационные задачи, но они по большей степени утратили актуальность.
Основная организационная задача - решить юридические аспекты. Какие именно и как это тема для отдельного интересного поста.
И все-таки на мой взгляд, самое ключевое достижение 2025 года в том, что в начале года я читал сотни пользовательских промптов из серии –
-Трек Linkin park Numb исполненный гоблинами и сыгранных на губных гармошках.
Или
-Сочини песню чтобы в ней пелось про имя – Ассель, пожалуйста!
Это реальные запросы реальных пользователей. И я думал – как вообще удовлетворить запросы такой аудитории? С этим справится разве что только Суно) и то не факт.
В 2025 году я нашел то чем сервис может быть полезен аудитории – генерацией фоновой музыки для контента, или какой-то свой уникальный контент как бесконечные потоки тематической музыки или нейромедитации. И пусть это приживается пока откровенно медленно, именно эти фичи я буду развивать в продукте.
P.S.
Пока пишу этот пост, фоном слушаю вот эту аудиокнигу. На мой взгляд полезная книга, очевидные и не очень очевидные вещи описывает простыми словами без воды. И одна из этих самых фраз –
Хороший тайм-менеджмент это не «успевать всё», а «регулярно успевать» делать то, что тебе важно.
То есть, если на что-то не хватило времени и сил, значит не очень то оно и было надо).
С наступающим 2026 годом дорогие друзья!
☃3
Про звуковые эффекты
А следующие несколько постов видимо будут про синтез, генерацию звука и пост-обработку эффектами.
Самая интересная часть звукового синтеза лично для меня это использование звуковых эффектов. То есть когда на сконвертированную мелодию накладываются такие эффекты как – chorus (многоголосие), delay (эхо и задержки с повторениями), reverb (реверерация) – это наиболее часто используемые, но есть еще различные эффекты изменения волны, частот, громкостей flanger, pitch shifter, tremolo, distortion и т.д.
Но сначала немного теории про такие технологии как VST и VSTI
VSTi (Virtual Studio Technology Instrument)
-Виртуальные инструменты — генераторы звука
-Создают звук с нуля
-Получают MIDI-данные (ноты) и превращают их в аудио
-Примеры: синтезаторы, сэмплеры, виртуальные пианино, драм-машины, оркестровые библиотеки
VST (Virtual Studio Technology)
-Эффекты-процессоры обработки звука
-Обрабатывают уже существующий аудиосигнал
-Не генерируют звук сами
-Примеры: ревербераторы, компрессоры, эквалайзеры, дилеи, дисторшн, хорус
Простая аналогия:
VST = педаль эффектов для гитары (изменяет звук)
VSTi = сама гитара (создаёт звук)
Если интересно углубиться в тему, то вот хорошая статья –
Ранее, когда я писал про вялотекущую работу над «принципиально новыми алгоритмами генерации звука» я подразумевал что ключевое изменение будет в том, что звук будет генерироваться с помощью технологи VSTI и обрабатываться с помощью технологии VST. Поскольку вст-плагинов существует огромное множество, платных бесплатных, доступных для использования в коммерческих целях и т.д.
Начать я решил изначально с использования VST эффектов. И конечно же снова все оказалось сложнее чем казалось)…
В чем сложности?
Во-первых, Linux. Абсолютное большинство плагинов заточены под ОС Windows, а под Linux плагинов во много раз меньше.
Во-вторых, работа VST должна управляться DAW или бриджем. То есть надо внедрить в проект дополнительное ПО а в этом тоже свои нюансы и про ОС в том числе тоже.
Что же делать?
Ранее у меня был самодельный процессор эффектов, форк каких-то нескольких проектов с гитхаба. Довести его до действительно красивого звучания так и не хватило сил, плюс он очень сильно увеличивал нагрузку на сервер. В итоге я просто достаточно быстро я его отключил.
Сейчас, вижу в качестве решения (скорее всего временного) использование вот этого комбайна
В нем есть в том числе и возможность работы со звуком. По первым пробам работает бодро и эффекты звучат не плохо. Надеюсь скоро покажу пример работы.
А следующие несколько постов видимо будут про синтез, генерацию звука и пост-обработку эффектами.
Самая интересная часть звукового синтеза лично для меня это использование звуковых эффектов. То есть когда на сконвертированную мелодию накладываются такие эффекты как – chorus (многоголосие), delay (эхо и задержки с повторениями), reverb (реверерация) – это наиболее часто используемые, но есть еще различные эффекты изменения волны, частот, громкостей flanger, pitch shifter, tremolo, distortion и т.д.
Но сначала немного теории про такие технологии как VST и VSTI
VSTi (Virtual Studio Technology Instrument)
-Виртуальные инструменты — генераторы звука
-Создают звук с нуля
-Получают MIDI-данные (ноты) и превращают их в аудио
-Примеры: синтезаторы, сэмплеры, виртуальные пианино, драм-машины, оркестровые библиотеки
VST (Virtual Studio Technology)
-Эффекты-процессоры обработки звука
-Обрабатывают уже существующий аудиосигнал
-Не генерируют звук сами
-Примеры: ревербераторы, компрессоры, эквалайзеры, дилеи, дисторшн, хорус
Простая аналогия:
VST = педаль эффектов для гитары (изменяет звук)
VSTi = сама гитара (создаёт звук)
Если интересно углубиться в тему, то вот хорошая статья –
Ранее, когда я писал про вялотекущую работу над «принципиально новыми алгоритмами генерации звука» я подразумевал что ключевое изменение будет в том, что звук будет генерироваться с помощью технологи VSTI и обрабатываться с помощью технологии VST. Поскольку вст-плагинов существует огромное множество, платных бесплатных, доступных для использования в коммерческих целях и т.д.
Начать я решил изначально с использования VST эффектов. И конечно же снова все оказалось сложнее чем казалось)…
В чем сложности?
Во-первых, Linux. Абсолютное большинство плагинов заточены под ОС Windows, а под Linux плагинов во много раз меньше.
Во-вторых, работа VST должна управляться DAW или бриджем. То есть надо внедрить в проект дополнительное ПО а в этом тоже свои нюансы и про ОС в том числе тоже.
Что же делать?
Ранее у меня был самодельный процессор эффектов, форк каких-то нескольких проектов с гитхаба. Довести его до действительно красивого звучания так и не хватило сил, плюс он очень сильно увеличивал нагрузку на сервер. В итоге я просто достаточно быстро я его отключил.
Сейчас, вижу в качестве решения (скорее всего временного) использование вот этого комбайна
В нем есть в том числе и возможность работы со звуком. По первым пробам работает бодро и эффекты звучат не плохо. Надеюсь скоро покажу пример работы.
👍1
Flowstone - среда для создания vst/vsti инструментов.
Продолжая тему эффектов в генерации звука, хочется рассказать про очень интересный когда-то открытый движок - Flowstone (изначально он назывался syntmaker) в котором любой желающий может составить свой синтезатор или эффект. Когда-то я много всякого разного напрогал на нем, и возможно когда-нибудь, когда эффекты у меня в проекте начнут работать более качественно, что-нибудь добавлю из давным-давно созданного (Так я думал, пока не вспомнил о том, что невозможно плагины созданные в Flowstone запускать на Линуксе).
А пока бьюсь к огромным количеством ошибок на тесте, а вот и рассказ про Flowstone -
FlowStone (изначально SynthMaker) — это визуальная среда разработки аудио‑плагинов и приложений реального времени, известная тем, что позволяла сравнительно быстро собирать VST/VSTi без традиционного “ручного” C++‑кода, соединяя готовые блоки (модули) в схемы. Ниже — сжатая, но связная история и эволюция проекта.
От SynthMaker к FlowStone: откуда всё началось
SynthMaker появился в середине 2000‑х как Windows‑ориентированная среда “визуального патчинга” для синтезаторов, эффектов и простых хост‑приложений. Идея была в том, чтобы дать музыкантам и энтузиастам DSP инструмент, который не требует глубокого погружения в C++/SDK Steinberg: конструктор → экспорт в VST.
Популярность ему обеспечили две вещи: низкий порог входа (схемы, готовые модули) и возможность углубляться: писать свои части на низком уровне через специальные модули.
Что такое “движок” внутри: ключевые идеи
Исторически среда делилась на несколько “слоёв”:
DSP/аудио поток (то, что работает на аудиоблоках/сэмплах и должно быть детерминированным и быстрым).
GUI/событийная логика (интерфейс, контролы, обработка событий).
Связка между ними, чтобы параметры из GUI корректно попадали в DSP без артефактов.
За это SynthMaker ценили: можно было собрать рабочий VST‑эффект/инструмент “проводами”, а где не хватало — дописать.
Переименование и развитие: FlowStone
Позже проект стал известен как FlowStone. По сути это продолжение и развитие концепции SynthMaker, с фокусом на:
улучшение среды,
расширение библиотек модулей,
более удобную сборку плагинов и приложений,
развитие “встраиваемого кода” (скрипты/низкоуровневые вставки), чтобы закрывать пробелы визуальных модулей.
Важно: в сообществе долго закреплялась связка “FlowStone = обновлённый SynthMaker”, поэтому многие до сих пор говорят “в SynthMaker” имея в виду именно линию SynthMaker/FlowStone.
Почему это было важно для VST/VSTi
На фоне классического пути “VST SDK + C++ + фреймворк (JUCE и т.п.)” SynthMaker/FlowStone давал альтернативу:
быстро сделать прототип синта/эффекта,
быстро собрать GUI,
экспортировать как VST/VSTi,
а затем итеративно улучшать.
Это особенно понравилось нише разработчиков “one‑man plugins” и саунд‑дизайнеров, которым важнее скорость и эксперимент, чем построение большой кодовой базы.
Роль сообщества и модульности
Примерно с конца 2000‑х у SynthMaker/FlowStone сформировалось активное сообщество, которое:
делилось схемами,
писало новые модули,
накапливало “паттерны” (как делать осцилляторы, огибающие, фильтры, модуляционные матрицы, MIDI‑обработку и т.д.).
Эффект сети был существенным: наличие готовых наработок делало среду ещё привлекательнее.
Ограничения и “повороты” у таких сред
У визуальных IDE для DSP почти всегда одна и та же развилка:
для прототипов и средних проектов они очень удобны,
но при росте требований (производительность, сложный UI, кроссплатформа, поддержка новых форматов) становится труднее конкурировать с “чистым” кодом и крупными фреймворками.
FlowStone держался на сильной стороне — скорости разработки и доступности. Но рынок VST со временем усложнялся: новые версии форматов, требования хостов, 64‑бит, совместимость, масштабируемость UI, обновления SDK и т.д. Поэтому часть разработчиков оставалась в FlowStone, а часть мигрировала в JUCE/чистый C++.
А еще, поиграться с Flowstone можно прямо в интерфейсе FL Studio (если не ошибаюсь вплоть до 21 релиза в FL есть всроенный synthmaker).
Продолжая тему эффектов в генерации звука, хочется рассказать про очень интересный когда-то открытый движок - Flowstone (изначально он назывался syntmaker) в котором любой желающий может составить свой синтезатор или эффект. Когда-то я много всякого разного напрогал на нем, и возможно когда-нибудь, когда эффекты у меня в проекте начнут работать более качественно, что-нибудь добавлю из давным-давно созданного (Так я думал, пока не вспомнил о том, что невозможно плагины созданные в Flowstone запускать на Линуксе).
А пока бьюсь к огромным количеством ошибок на тесте, а вот и рассказ про Flowstone -
FlowStone (изначально SynthMaker) — это визуальная среда разработки аудио‑плагинов и приложений реального времени, известная тем, что позволяла сравнительно быстро собирать VST/VSTi без традиционного “ручного” C++‑кода, соединяя готовые блоки (модули) в схемы. Ниже — сжатая, но связная история и эволюция проекта.
От SynthMaker к FlowStone: откуда всё началось
SynthMaker появился в середине 2000‑х как Windows‑ориентированная среда “визуального патчинга” для синтезаторов, эффектов и простых хост‑приложений. Идея была в том, чтобы дать музыкантам и энтузиастам DSP инструмент, который не требует глубокого погружения в C++/SDK Steinberg: конструктор → экспорт в VST.
Популярность ему обеспечили две вещи: низкий порог входа (схемы, готовые модули) и возможность углубляться: писать свои части на низком уровне через специальные модули.
Что такое “движок” внутри: ключевые идеи
Исторически среда делилась на несколько “слоёв”:
DSP/аудио поток (то, что работает на аудиоблоках/сэмплах и должно быть детерминированным и быстрым).
GUI/событийная логика (интерфейс, контролы, обработка событий).
Связка между ними, чтобы параметры из GUI корректно попадали в DSP без артефактов.
За это SynthMaker ценили: можно было собрать рабочий VST‑эффект/инструмент “проводами”, а где не хватало — дописать.
Переименование и развитие: FlowStone
Позже проект стал известен как FlowStone. По сути это продолжение и развитие концепции SynthMaker, с фокусом на:
улучшение среды,
расширение библиотек модулей,
более удобную сборку плагинов и приложений,
развитие “встраиваемого кода” (скрипты/низкоуровневые вставки), чтобы закрывать пробелы визуальных модулей.
Важно: в сообществе долго закреплялась связка “FlowStone = обновлённый SynthMaker”, поэтому многие до сих пор говорят “в SynthMaker” имея в виду именно линию SynthMaker/FlowStone.
Почему это было важно для VST/VSTi
На фоне классического пути “VST SDK + C++ + фреймворк (JUCE и т.п.)” SynthMaker/FlowStone давал альтернативу:
быстро сделать прототип синта/эффекта,
быстро собрать GUI,
экспортировать как VST/VSTi,
а затем итеративно улучшать.
Это особенно понравилось нише разработчиков “one‑man plugins” и саунд‑дизайнеров, которым важнее скорость и эксперимент, чем построение большой кодовой базы.
Роль сообщества и модульности
Примерно с конца 2000‑х у SynthMaker/FlowStone сформировалось активное сообщество, которое:
делилось схемами,
писало новые модули,
накапливало “паттерны” (как делать осцилляторы, огибающие, фильтры, модуляционные матрицы, MIDI‑обработку и т.д.).
Эффект сети был существенным: наличие готовых наработок делало среду ещё привлекательнее.
Ограничения и “повороты” у таких сред
У визуальных IDE для DSP почти всегда одна и та же развилка:
для прототипов и средних проектов они очень удобны,
но при росте требований (производительность, сложный UI, кроссплатформа, поддержка новых форматов) становится труднее конкурировать с “чистым” кодом и крупными фреймворками.
FlowStone держался на сильной стороне — скорости разработки и доступности. Но рынок VST со временем усложнялся: новые версии форматов, требования хостов, 64‑бит, совместимость, масштабируемость UI, обновления SDK и т.д. Поэтому часть разработчиков оставалась в FlowStone, а часть мигрировала в JUCE/чистый C++.
А еще, поиграться с Flowstone можно прямо в интерфейсе FL Studio (если не ошибаюсь вплоть до 21 релиза в FL есть всроенный synthmaker).
🔥1
Опять про Яндекс, Google, маркетинг и неочевидное.
Ранее я писал о том, что начал активно вникать в тему SEO и "двигать" сайт в поисковиках. Вот тут - пост.
К слову, там же я писал о том что самые активные пользователи это те, которые зарегистрировались через гугл.
На днях я узнал о том, что в соответствии с ФЗ 406 нельзя использовать гугл для авторизации в российских сервисах. Вот можно тут почитать.
Итог - не хочу самостоятельно вникать в вопрос - можно ли использовать в моем случае авторизацию через гугл или нет, поэтому просто отключил авторизацию через внешние сервисы. Теперь авторизация только по старинке).
А из позитивного, по запросам "Нейромузыка" и "Нейромузыка онлайн" сайт попал в топ не только в гугле но и в яндексе. SEO работает!)
Ранее я писал о том, что начал активно вникать в тему SEO и "двигать" сайт в поисковиках. Вот тут - пост.
К слову, там же я писал о том что самые активные пользователи это те, которые зарегистрировались через гугл.
На днях я узнал о том, что в соответствии с ФЗ 406 нельзя использовать гугл для авторизации в российских сервисах. Вот можно тут почитать.
Итог - не хочу самостоятельно вникать в вопрос - можно ли использовать в моем случае авторизацию через гугл или нет, поэтому просто отключил авторизацию через внешние сервисы. Теперь авторизация только по старинке).
А из позитивного, по запросам "Нейромузыка" и "Нейромузыка онлайн" сайт попал в топ не только в гугле но и в яндексе. SEO работает!)
🎉2
Про эффекты и хвосты.
Почти запрогал алгоритмы для использования эффектов. Уже несколько эффектов (chorus, delay и reverb) работают. Буду скорее всего еще какие-нибудь эффекты добавлять, но это уже в процессе работы. Вспомнил то, с чем сталкивался уже когда-то в FL studio, когда писал треки, а теперь такая проблема возникла и во Flowsic).
Когда используются эффекты, меняющие амплитуду (в частности delay) то семпл к которому применяется эффект получает т.н. «хвост». Хвост – это увеличенная длительность семпла в следствии использования эффекта. Если еще проще, то это длительность семпла увеличивается на эхо, появившееся от применения эффекта.
Чтобы показать наглядно в графике, использую ФЛочку, на первой дорожке семпл в формате wav, на второй – он же только с применением delay. Как следствие на второй дорожке длительность больше на целый такт (пару секунд).
А тут стоит понять, как складывается музыка. Применительно к Flowsic –все дорожки (основная мелодия, бас, барабаны, иногда еще какие-нибудь) генерируются параллельно, после чего сводятся одна поверх другой и получается микс. Примерно так вся музыка создается (и человеком и алгоритмами).
А поскольку, длительность у семплов после эффектов меняется, получается, что или образуются паузы, или инструменты перестают друг в друга «попадать», т.к. нарушается темп. На картинке с 4 дорожками хорошо виден пример, как на исходный звук барабанная партия ложится идеально, а с эффектами получается 2 такта тишины.
Что с этим делать? Самый простой способ (и наверное самый правильный) это возвращать семплу исходную длительность. И встает вопрос – а как ее посчитать? Это очень интересный вопрос поскольку есть камень преткновения всей электронной музыки – компьютеры считают все в секундах (миллисекундах если быть до конца точным) а человек считает в тактах. Естественно программы для сочинения музыки (DAW) отображают в интерфейсе пользователю такты, хотя сами работают в секундах. В общем, посчитать лишние секунды и отрезать их от «хвоста» вполне себе метод. Посчитать количество секунд можно с помощью любой DAW. Например, вычислил что 16 тактов в темпе 60 bpm длятся ровно 64 секунды, а 16 тактов в темпе 92 bpm длятся 41,73 секунд. Таким образом, получается, что можно «обрезать» после обработки семпл до нужной длительности и все будет аккуратно сводиться) по замыслу именно так). А вообще тема пересчета тактов в секунды и наоборот это очень занимательная математика, возможно стоит о ней отдельный пост написать.
Думаю, что скоро в ТГ боте появится новая версия генерации мелодий, и будет в тестовом режиме работать.
А пока вот пример мелодии с эффектом, и «разъезжанием» семплов из-за «хвостов». Как по мне, уровень "лоуфайности" звука существенно подрос).
Почти запрогал алгоритмы для использования эффектов. Уже несколько эффектов (chorus, delay и reverb) работают. Буду скорее всего еще какие-нибудь эффекты добавлять, но это уже в процессе работы. Вспомнил то, с чем сталкивался уже когда-то в FL studio, когда писал треки, а теперь такая проблема возникла и во Flowsic).
Когда используются эффекты, меняющие амплитуду (в частности delay) то семпл к которому применяется эффект получает т.н. «хвост». Хвост – это увеличенная длительность семпла в следствии использования эффекта. Если еще проще, то это длительность семпла увеличивается на эхо, появившееся от применения эффекта.
Чтобы показать наглядно в графике, использую ФЛочку, на первой дорожке семпл в формате wav, на второй – он же только с применением delay. Как следствие на второй дорожке длительность больше на целый такт (пару секунд).
А тут стоит понять, как складывается музыка. Применительно к Flowsic –все дорожки (основная мелодия, бас, барабаны, иногда еще какие-нибудь) генерируются параллельно, после чего сводятся одна поверх другой и получается микс. Примерно так вся музыка создается (и человеком и алгоритмами).
А поскольку, длительность у семплов после эффектов меняется, получается, что или образуются паузы, или инструменты перестают друг в друга «попадать», т.к. нарушается темп. На картинке с 4 дорожками хорошо виден пример, как на исходный звук барабанная партия ложится идеально, а с эффектами получается 2 такта тишины.
Что с этим делать? Самый простой способ (и наверное самый правильный) это возвращать семплу исходную длительность. И встает вопрос – а как ее посчитать? Это очень интересный вопрос поскольку есть камень преткновения всей электронной музыки – компьютеры считают все в секундах (миллисекундах если быть до конца точным) а человек считает в тактах. Естественно программы для сочинения музыки (DAW) отображают в интерфейсе пользователю такты, хотя сами работают в секундах. В общем, посчитать лишние секунды и отрезать их от «хвоста» вполне себе метод. Посчитать количество секунд можно с помощью любой DAW. Например, вычислил что 16 тактов в темпе 60 bpm длятся ровно 64 секунды, а 16 тактов в темпе 92 bpm длятся 41,73 секунд. Таким образом, получается, что можно «обрезать» после обработки семпл до нужной длительности и все будет аккуратно сводиться) по замыслу именно так). А вообще тема пересчета тактов в секунды и наоборот это очень занимательная математика, возможно стоит о ней отдельный пост написать.
Думаю, что скоро в ТГ боте появится новая версия генерации мелодий, и будет в тестовом режиме работать.
А пока вот пример мелодии с эффектом, и «разъезжанием» семплов из-за «хвостов». Как по мне, уровень "лоуфайности" звука существенно подрос).
👍1
Как быть с Телеграм-ботом на фоне последних событий?
Когда-то проект Flowsic начался именно с ТГ бота. Не было сайта, а бот уже был.
ТГ бот — это действительно «супер оружие» в руках разработчика.
Вот почему:
🔹Это простейший способ коммуникации с пользователем.
🔹Вообще снимает с разработчика необходимость разработки фронта (речь именно о боте а не мини-приложениях)
🔹Есть масса недорогих решений для хостинга ботов, без необходимости аренды или покупки виртуальной машины.
🔹Он заменяет практически любой интерфейс
🔹ТГ берет на себя хранение файлов и историю сообщений между пользователем и сервисом.
🔹Очень много готовых ботов, которые просто адаптировать под свою задачу.
Много чего еще можно перечислить, стоит признать, что боты в телеге — это реально большая часть современного ИТ вокруг которой крутится много индустрий.
Сейчас ТГ бот Flowsic это скорее дополнение к мастерской и сайту в целом. Но как я уже писал ранее, его основная задача – тестирование новых алгоритмов. Поэтому я не хотел от него отказываться.
Но сегодня, запустив обновленную версию бота увидел, что в логах ошибки разрыва по тайм-аутам. Не мог понять в чем дело. В коде ошибок нет, генерация работает, а на этапе отправки файла что-то ступорит. При том не всегда, а как-то выборочно. Почитав новости понял, что проблема не в коде, а в «замедлении ТГ». Бот работает, и пользоваться им в целом можно, но иногда он просто перестает диалог.
Видимо, экономить за счет ТГ больше не получится😔, и надо думать чем его заменить, а заменить его нечем пока…
Когда-то проект Flowsic начался именно с ТГ бота. Не было сайта, а бот уже был.
ТГ бот — это действительно «супер оружие» в руках разработчика.
Вот почему:
🔹Это простейший способ коммуникации с пользователем.
🔹Вообще снимает с разработчика необходимость разработки фронта (речь именно о боте а не мини-приложениях)
🔹Есть масса недорогих решений для хостинга ботов, без необходимости аренды или покупки виртуальной машины.
🔹Он заменяет практически любой интерфейс
🔹ТГ берет на себя хранение файлов и историю сообщений между пользователем и сервисом.
🔹Очень много готовых ботов, которые просто адаптировать под свою задачу.
Много чего еще можно перечислить, стоит признать, что боты в телеге — это реально большая часть современного ИТ вокруг которой крутится много индустрий.
Сейчас ТГ бот Flowsic это скорее дополнение к мастерской и сайту в целом. Но как я уже писал ранее, его основная задача – тестирование новых алгоритмов. Поэтому я не хотел от него отказываться.
Но сегодня, запустив обновленную версию бота увидел, что в логах ошибки разрыва по тайм-аутам. Не мог понять в чем дело. В коде ошибок нет, генерация работает, а на этапе отправки файла что-то ступорит. При том не всегда, а как-то выборочно. Почитав новости понял, что проблема не в коде, а в «замедлении ТГ». Бот работает, и пользоваться им в целом можно, но иногда он просто перестает диалог.
Видимо, экономить за счет ТГ больше не получится😔, и надо думать чем его заменить, а заменить его нечем пока…
Telegram
Flowsic_нейромузыка
Привет дорогой друг! Я Flosic-бот. И я умею генерировать музыку!
This media is not supported in your browser
VIEW IN TELEGRAM
А пока готовлю новую версию, сделал небольшое видео для сайта. Как вам?
Если в телеге медленно грузится, то можно посмотреть на рутубе.
https://rutube.ru/video/fb351a9bd14680dfd6cdf1d1e8a11f65/
Если в телеге медленно грузится, то можно посмотреть на рутубе.
https://rutube.ru/video/fb351a9bd14680dfd6cdf1d1e8a11f65/
🔥2
Интересные аудио-стриминговые сервисы.
Периодически, для повышения насмотренности и поиска вдохновения, я изучаю то как устроены различные аудио-стриминговые сервисы.
Понято что есть топ-5 сервисов известных и популярных во всем мире:
🔹Spotify
🔹YouTube music
🔹Apple music
🔹Amazon music
🔹Deezer
Есть еще альтернатива им, но также всемирно известный и любимый Soundcloud 💥.
А кроме того, почти в каждой стране есть свои локальные аудио-стриминговые сервисы, даже в России их больше трех. И именно о локальных игроках них поговорим сегодня.
В поисках какого-то уникального дизайна, я пришел к выводу что все сервисы очень похожи. Примерно одинаковая верстка интерфейса, отличается лишь разве что цвета. Нет каких-то революционных отличий одного от всех. Видимо, все это в угоду онбордингу пользователей.
Собственно, на этот раз вот какие сервисы я отметил и вот почему:
🟢 Rakuten music. Япония.
К сожалению, сайт рассчитан исключительно на Японскую аудиторию и не имеет поддержки английского языка, поэтому приходится пользоваться переводчиком внутри браузера. Понравился немного олд-скульный яркий дизайн блоков. Все-таки умеют в Японии делать интересный дизайн).
🟢 Gaana. Индия.
Как и Ракутен, сервис ориентирован на внутренний рынок, только уже Индии, но есть и полноценный английский язык. Музыка, как и ожидаемо тоже вся родом из Индии. Впрочем, иностранная музыка тоже присутсвует. Дизайн простой и лаконичный в стиле большинства сервисов. Зато обложки индийских музыкантов задают атмосферу).
🟢 Hafrikplay. Африка.
Как и следует из Названия, оно говорит само за себя) сервис популярный в странах Африки. По сути, это локальный клон Саундклауда. Но сделан интересно. Естественно, музыка вся локальная. Много вообще на самом деле в Африке происходит интересного по части цифровых сервисов, например, вот ресурс с интересными статьями по теме.
А какие вы знаете интересные, но не самые популярные аудио-стриминговые сервисы?
Периодически, для повышения насмотренности и поиска вдохновения, я изучаю то как устроены различные аудио-стриминговые сервисы.
Понято что есть топ-5 сервисов известных и популярных во всем мире:
🔹Spotify
🔹YouTube music
🔹Apple music
🔹Amazon music
🔹Deezer
Есть еще альтернатива им, но также всемирно известный и любимый Soundcloud 💥.
А кроме того, почти в каждой стране есть свои локальные аудио-стриминговые сервисы, даже в России их больше трех. И именно о локальных игроках них поговорим сегодня.
В поисках какого-то уникального дизайна, я пришел к выводу что все сервисы очень похожи. Примерно одинаковая верстка интерфейса, отличается лишь разве что цвета. Нет каких-то революционных отличий одного от всех. Видимо, все это в угоду онбордингу пользователей.
Собственно, на этот раз вот какие сервисы я отметил и вот почему:
🟢 Rakuten music. Япония.
К сожалению, сайт рассчитан исключительно на Японскую аудиторию и не имеет поддержки английского языка, поэтому приходится пользоваться переводчиком внутри браузера. Понравился немного олд-скульный яркий дизайн блоков. Все-таки умеют в Японии делать интересный дизайн).
🟢 Gaana. Индия.
Как и Ракутен, сервис ориентирован на внутренний рынок, только уже Индии, но есть и полноценный английский язык. Музыка, как и ожидаемо тоже вся родом из Индии. Впрочем, иностранная музыка тоже присутсвует. Дизайн простой и лаконичный в стиле большинства сервисов. Зато обложки индийских музыкантов задают атмосферу).
🟢 Hafrikplay. Африка.
Как и следует из Названия, оно говорит само за себя) сервис популярный в странах Африки. По сути, это локальный клон Саундклауда. Но сделан интересно. Естественно, музыка вся локальная. Много вообще на самом деле в Африке происходит интересного по части цифровых сервисов, например, вот ресурс с интересными статьями по теме.
А какие вы знаете интересные, но не самые популярные аудио-стриминговые сервисы?