✍️ Text2Voxel v.1.0 👽

Наступил 2022 год и мне хотелось бы пожелать всем вам счастья, любви и благополучия. Я благодарен каждому кто проявляет интерес к моему труду. В новом году будем знакомиться с еще большим количеством интересных нейронок и собирать на них Колабы.

Сегодня мне хотелось бы поделиться Колабом, который по текстовому описанию генерирует воксельный объект. Двухмерные генерации стали трендом предыдущего года. Кто знает, может 3D будет трендом текущего. Внутри основного блока есть куча всяких переменных. Не хотелось усложнять интерфейс, но кому нужна тонкая настройка, тот может открыть код и подправить.

P.S. На видео процесс генерации новогодней елки.

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/Text2Voxel.ipynb

попробовал новый отличный колаб Disco Diffusion v4 для анимации по текстовому запросу. интересно было проверить технику работы с ключами - изменениями параметров во времени, получилось вот такое музыкальное видео. на мой взгляд это готовый для продакшна инструмент. он странный, но для каких то задач точно подойдет, он не очень быстрый, зато очень красивый, в нем нельзя дважды получить один результат, но все же это инструмент. очень жду когда же этот метод генерации картинки прикрутят к pytti, это будет вообще бомба!

поймал себя на том что не могу перестать смотреть как генерируется изображение, это похоже на магию, слишком уж художественный результат. каждая картинка прекрасна. но это же и является проблемой - заметны различия между кадрами, это немного похоже на пластилиновую анимацию. уверен в скором времени придумают какой то замедлятор или оптимизируют нынешний способ чтобы картинка менялась более плавно но сохранила такую же степень художественной детализации.

референсом к видео из прошлого поста для меня стало вот это видео. здесь картинку создавали VQGAN+CLIP. но самое крутое тут - работа с анимацией параметров поворота и зума. есть привязка к звуку, да не простая а нейросетевая - через Musicnn который "слушает" музыку и GPT-Neo который придумывает текстовый образ. в итоге получается такая "живая" анимация. на минуте очень нравится эффект

оригинальный колаб VQGAN+CLIP с анимацией ключей
видео на ютуб
твиттер

и горячие пирожки!! два новых интересных колаба:
тут есть интерфейс для создания и настраивания ключей
а этот обещает под музыку анимировать, потому что music driven

Нвидия Канвас (в девичестве Гоген) обновился до версии 1.1.
И там уже появились первые признаки (очень первичные) pipeline ready инструмента.
В 4 раза большее разрешение, новая ИИ модель с улучшенным качеством и минимизацией артефактов.
И там появился экспорт в Фотошоп!
Где все ваши безумные мазки раскиданы по слоям.
В общем ИИ настойчиво рекомендует "spend more time visualizing ideas" или "ИИ все дорисует за вас".
Пробуем тут: https://www.nvidia.com/en-us/studio/canvas/

у Артема Онигири вышло новое видео, где он доступным языком объясняет как нейросети генерируют изображения

отличная новость: появились два инструмента для автоматизации создания ключей, которые можно использовать в колабах Zooming VQGAN+CLIP и Disco Diffusion. первый позволяет рисовать и редактировать кривую в удобном интерфейсе, а второй генерирует ключи из музыкального файла, плюс в нем можно писать стандартные выражения типа синусов косинусов. в прошлый раз все ключи я прописывал вручную, теперь возможностей гораздо больше)

на видео - абстракция в стиле Кандинского под музыку

keyframe string generator
audio keyframe generator
твиттер Chigozie Nri

18 месяцев назад: "Обучение NeRF занимает 5 часов..."
2 месяца назад: «Обучение NeRF занимает 5 минут!»
Вчера: «Обучение NeRF занимает 5 секунд!!??»

Умелые инженеры из NVIDIA поженили мульти-скейл хеш таблицу, реализованную на CUDA, с методом NeRF.
Результат: трейн занимает несколько секунд, рендеринг новой сцены делают за десятки миллисекунд в разрешении 1920x1080 🤯.

Конечно, не все так просто. Препроцессинг требует получить позиции камер, используя SfM алгоритмы, например COLMAP, ну а это требует побольше чем пару секунд времени.

Сцена на видео выше тоже довольно громоздкая и тренировка метода заняла несколько минут.

Статья "Instant Neural Graphics Primitives with a Multiresolution Hash Encoding"
>> Pdf >> Project page >> Code

Появился новый демократичный софт для вытягивания рига из видео.
Работает чуть ли не из браузера с вебкой, конечно, стоит готовиться к огромной куче стороннего шума в движениях.

С другой стороны, для панковских проектов будет очень даже кстати, типа nft'шку запилить или что-то подобное, учитывая, что софт фришный.

https://plask.ai/

для всех счастливых пользователей pytti прекрасная новость - теперь генераторы ключей от Chigozie Nri подходят и для pytti. формат данных очень странный, но работает. а значит теперь можно делать audio driven ролики прямо в pytti

Вышла новая версия Disco Diffusion - 4.1
Всем шампанского, господа!

Из нового:
- возможность продолжить предыдущую генерацию (привет бесплатные колабы!)
- отключение анимации
- поддержка видео в качестве источника опорных кадров
- улучшение результата (для фото режима)

Колаб

интересный проект, к которому я имею хоть и скромное но отношение. на 23 секунде ролика, где москва трансформируется в город будущего, это дело рук моих и pytti.
и походу выставка интересная, рекомендую посмотреть - все это на огромном экране тц рио, на ленинском проспекте каждый день с 17 до 18

подробности по ссылке

со дня на день должен появиться в открытом доступе колаб diffusion 3d. а пока что можно только смотреть и завидовать

нельзя просто так взять и перестать играться с диско диффьюжн! новые модели бостон дайнемикс атакуют токио. под музыку