Сижу экспериментирую с CLIP и StyleGAN моделью.
Текстовый запрос "Обама с рыжими волосами" в один момент превращает какую-то тетку в Обаму с рыжими волосами.
Еще пол года назад для достижения похожего результата нужно было самому сидеть пердолиться с кучей векторов, либо рисовать в графическом редакторе нечто похожее для дальнейшего поиска в модели, а сейчас просто в одно предложение поясняешь машине что хочешь получить на выходе и получаешь. И это очень охуенно!

Очередная попытка учить стайлган на работах Покраса Лампаса. В этот раз был немножко другой подход и другие параметры обучения.
На ютубах видео без шакалов

А вообще, только сейчас сообразил, как добиться интересных результатов при маленьких датасетах. В данном случае можно взять модель, обученную на архитектуре (да и вообще другую не слишком абстрактную) и модель из поста выше, обученную почти до оверфита и заменить 64x64 слои так, чтоб первая модель задавала форму, авторая — содержание. Позже надо будет попробовать

Информационная безопасность, курсы, книги, подборки полезного материала для IT специалистов — https://t.me/Social_engineering

Тут товарищ @response1000000 выкатил русскоязычную версию clip. Понимает русский все это дело не за счет переводчика, как было ранее, а из-за того, что к нему прикручена русскоязычная gpt-2 модель от Сбера.
Тут колаб-ноутбук для желающих потестить. На выбор несколько моделей (BigGAN самая охуенная, имхо)

На изображении пример генераций по запросу "Современное искусство"

Киберпанк, который мы заслужили

Python, сука, блядь.

Таки сгенерировал видос из этой модельки (смотреть со звуком)

На ютубе полная версия клипа в качестве сильно лучше