нейро эксперимент. натренировал stylegan2-ada на красивых картинках с пинтереста по тегам fluid neon paint etc. затем использовал полученную модель для создания видео в колабе Lucid Sonic Dreams

а, ну да, музыка - Max Cooper - Distant Light

вот тут можно тренировать свою модель

https://github.com/dvschultz/ml-art-colabs/blob/master/Stylegan2_ada_Custom_Training.ipynb

а здесь происходит вся магия оживления картинки под музыку. для того чтобы попробовать необязательно тренировать что то, можно выбрать из большого списка уже предложенных обученных моделей и музыка тоже доступна прямо в колабе

https://github.com/mikaelalafriz/lucid-sonic-dreams

кстати вот так выглядит плитка того чему учится сетка. то что получается сейчас уже похоже но до финала далеко. в начале обучения на каждой итерации хорошо видны изменения, сейчас их почти нет и непонятно, сеть еще учится или уже достигла предела

важно понимать что процесс обучения происходит не с нуля а с другой уже обученной модели, в моем случае это лица, дефолтный ffhq от nvidia. на этой картинке запечатлен прекрасный момент - лица уже забываются и проявляются краски. хочу такое тоже под музыку запустить, попозже выложу

вот такое можно сгенерить за пару кликов мышкой (ну почти). хорошая модель обученная на современных абстрактных картинах

а это инсталляция для выставки в Томске. интерактив, touchdesigner. захват изображения с камеры, вычисление optical flow, дальше через glsl шейдер создаются частицы, которым присваиваются вектора и скорость движения из карты optical flow

вот тут создатель изначального сетапа подробно рассказывает как это работает. там же ссылка на патч.

любой может попробовать это у себя на компе - нужно поставить учебную бесплатную версию тача и желательно иметь хорошую видео карту, так как все вычисления происходят на ней

https://youtu.be/XVh_eHL_7XU

кстати, для тех кого пугает слово колаб или кто уже его открывал но ничего не понял, постараюсь это исправить:

колаб создан программистами для программистов, но на деле это очень дружественная среда для любого уровня пользователей

главная фишка - все вычисления происходят на серверах гугла. пользоваться можно без ограничений, только раз в 10 часов надо переподключаться

тот кто пробовал запускать нейронку у себя на машине, скорее всего столкнулся с кучей сложностей, так было со мной

в колабе такого нет. нужно просто поочередно запускать заранее прописанные команды (ячейки = cells) и получать результат. если перед этим читать комментарии автора все становится очень просто.

не бойся колаба! попробуй

дэррик шульц обучает художников основам нейросетей, убирает зажимы и страхи. на гитхабе он собрал прекрасную коллекцию колабов для разных художественных задач

https://github.com/dvschultz/ml-art-colabs