нейро эксперимент. натренировал stylegan2-ada на красивых картинках с пинтереста по тегам fluid neon paint etc. затем использовал полученную модель для создания видео в колабе Lucid Sonic Dreams

а, ну да, музыка - Max Cooper - Distant Light

вот тут можно тренировать свою модель

https://github.com/dvschultz/ml-art-colabs/blob/master/Stylegan2_ada_Custom_Training.ipynb

а здесь происходит вся магия оживления картинки под музыку. для того чтобы попробовать необязательно тренировать что то, можно выбрать из большого списка уже предложенных обученных моделей и музыка тоже доступна прямо в колабе

https://github.com/mikaelalafriz/lucid-sonic-dreams

кстати вот так выглядит плитка того чему учится сетка. то что получается сейчас уже похоже но до финала далеко. в начале обучения на каждой итерации хорошо видны изменения, сейчас их почти нет и непонятно, сеть еще учится или уже достигла предела

важно понимать что процесс обучения происходит не с нуля а с другой уже обученной модели, в моем случае это лица, дефолтный ffhq от nvidia. на этой картинке запечатлен прекрасный момент - лица уже забываются и проявляются краски. хочу такое тоже под музыку запустить, попозже выложу

вот такое можно сгенерить за пару кликов мышкой (ну почти). хорошая модель обученная на современных абстрактных картинах

а это инсталляция для выставки в Томске. интерактив, touchdesigner. захват изображения с камеры, вычисление optical flow, дальше через glsl шейдер создаются частицы, которым присваиваются вектора и скорость движения из карты optical flow

вот тут создатель изначального сетапа подробно рассказывает как это работает. там же ссылка на патч.

любой может попробовать это у себя на компе - нужно поставить учебную бесплатную версию тача и желательно иметь хорошую видео карту, так как все вычисления происходят на ней

https://youtu.be/XVh_eHL_7XU

кстати, для тех кого пугает слово колаб или кто уже его открывал но ничего не понял, постараюсь это исправить:

колаб создан программистами для программистов, но на деле это очень дружественная среда для любого уровня пользователей

главная фишка - все вычисления происходят на серверах гугла. пользоваться можно без ограничений, только раз в 10 часов надо переподключаться

тот кто пробовал запускать нейронку у себя на машине, скорее всего столкнулся с кучей сложностей, так было со мной

в колабе такого нет. нужно просто поочередно запускать заранее прописанные команды (ячейки = cells) и получать результат. если перед этим читать комментарии автора все становится очень просто.

не бойся колаба! попробуй

дэррик шульц обучает художников основам нейросетей, убирает зажимы и страхи. на гитхабе он собрал прекрасную коллекцию колабов для разных художественных задач

https://github.com/dvschultz/ml-art-colabs

он же ведет канал на ютубе. в этом видео показывает что вообще умеют нейронки с художественной точки зрения

https://youtu.be/HNwXrHiHW7Q

думаю deepdream знаком почти каждому. глючные видосы в которых нейросеть разглядела морды собак или рыб или башни замков. по ссылке ниже нечто удивившее меня, первый раз наткнулся на дипдрим про цветочки. пролистай инстаграм этого парня, местами выглядит очень впечатляюще

https://www.instagram.com/p/CM7DQiinE1R/?utm_source=ig_web_copy_link

простую но довольно красивую проекцию сделал прошлым летом для томского фестиваля сплетение. залипательно

нашел первые тесты того сетапа для выставки. туева хуча частиц!
в основном для анимации частиц использую афтер и гудини. а это значит необходимо время на просчет, рендер.
а тут реалтайм!