последние три дня я провел в компании очень интересной нейросети - tensorflow lucid. разработчики пишут что это исследовательский проект, для продакшна не годится. но зато годится для создания очень странных психоделичных видео.

признаюсь честно, я не очень шарю в дипдриме. но здесь использованы те же нейроны. кстати, вот подгончик - полный список доступных нейронов. а то дипдрим все знают в основном по собакам и рыбам хотя заложено в него гораздо больше возможностей. а вот из этой статьи я узнал, что это за зверь такой, внутри красивые гифки и ссылки на колабы.

на видео запечатлен процесс тренировки нейронов. мне нравится что это выглядит как открывание глаз на что то непонятное или режим близорукости, а иногда и выход из трипа. а может и вход)
китайцы в зрительном зале, шкворчащее зеленое нечто на сковородке, мятая ткань, пробка на дороге, цветы крупным планом вообще замечательно получаются. только вот результат тренировки никогда не повторяется идеально

тот же люсид, только другой алгоритм, позволяет делать залипательно красивые переходы из одного натренированного состояния в другое

п.с. мой внутренний перфекционист ругался, поэтому перезалив)

благодаря Александру Грозных из Генклуба я узнал что результат работы сети люсид можно экспортировать в виде glsl кода, который надо скопировать в шейдертой или например тачдизайнер и он выдаст реалтайм результат близкий по эстетике к видео из предыдущих постов. сеть получает на вход картинку, учится ее воспроизводить. отлично фиксирует цвета и даже угадываются какие то формы с начальной картинки но выглядит очень карамельно и странно.

для меня это все сущая магия! и я не верю до сих пор что можно соединить нейросеть с шейдером, в голове не укладывается) и что вне зависимости от разрешения мы получим тот же красивый результат, потому что математика!

приключения с люсид продолжаются. теперь мне доступна технология создания шейдера через генератор изображений из текста - CLIP. то есть я могу попросить нейросеть пофантазировать на заданную тему и она выдает готовый шейдер и анимацию записи обучения. первое - иногда волне себе произведение цифрового искусства. второе - красиво и приятно смотреть как проступают образы внутри.