референсом к видео из прошлого поста для меня стало вот это видео. здесь картинку создавали VQGAN+CLIP. но самое крутое тут - работа с анимацией параметров поворота и зума. есть привязка к звуку, да не простая а нейросетевая - через Musicnn который "слушает" музыку и GPT-Neo который придумывает текстовый образ. в итоге получается такая "живая" анимация. на минуте очень нравится эффект

оригинальный колаб VQGAN+CLIP с анимацией ключей
видео на ютуб
твиттер

и горячие пирожки!! два новых интересных колаба:
тут есть интерфейс для создания и настраивания ключей
а этот обещает под музыку анимировать, потому что music driven

Нвидия Канвас (в девичестве Гоген) обновился до версии 1.1.
И там уже появились первые признаки (очень первичные) pipeline ready инструмента.
В 4 раза большее разрешение, новая ИИ модель с улучшенным качеством и минимизацией артефактов.
И там появился экспорт в Фотошоп!
Где все ваши безумные мазки раскиданы по слоям.
В общем ИИ настойчиво рекомендует "spend more time visualizing ideas" или "ИИ все дорисует за вас".
Пробуем тут: https://www.nvidia.com/en-us/studio/canvas/

у Артема Онигири вышло новое видео, где он доступным языком объясняет как нейросети генерируют изображения

отличная новость: появились два инструмента для автоматизации создания ключей, которые можно использовать в колабах Zooming VQGAN+CLIP и Disco Diffusion. первый позволяет рисовать и редактировать кривую в удобном интерфейсе, а второй генерирует ключи из музыкального файла, плюс в нем можно писать стандартные выражения типа синусов косинусов. в прошлый раз все ключи я прописывал вручную, теперь возможностей гораздо больше)

на видео - абстракция в стиле Кандинского под музыку

keyframe string generator
audio keyframe generator
твиттер Chigozie Nri

18 месяцев назад: "Обучение NeRF занимает 5 часов..."
2 месяца назад: «Обучение NeRF занимает 5 минут!»
Вчера: «Обучение NeRF занимает 5 секунд!!??»

Умелые инженеры из NVIDIA поженили мульти-скейл хеш таблицу, реализованную на CUDA, с методом NeRF.
Результат: трейн занимает несколько секунд, рендеринг новой сцены делают за десятки миллисекунд в разрешении 1920x1080 🤯.

Конечно, не все так просто. Препроцессинг требует получить позиции камер, используя SfM алгоритмы, например COLMAP, ну а это требует побольше чем пару секунд времени.

Сцена на видео выше тоже довольно громоздкая и тренировка метода заняла несколько минут.

Статья "Instant Neural Graphics Primitives with a Multiresolution Hash Encoding"
>> Pdf >> Project page >> Code

Появился новый демократичный софт для вытягивания рига из видео.
Работает чуть ли не из браузера с вебкой, конечно, стоит готовиться к огромной куче стороннего шума в движениях.

С другой стороны, для панковских проектов будет очень даже кстати, типа nft'шку запилить или что-то подобное, учитывая, что софт фришный.

https://plask.ai/

для всех счастливых пользователей pytti прекрасная новость - теперь генераторы ключей от Chigozie Nri подходят и для pytti. формат данных очень странный, но работает. а значит теперь можно делать audio driven ролики прямо в pytti

Вышла новая версия Disco Diffusion - 4.1
Всем шампанского, господа!

Из нового:
- возможность продолжить предыдущую генерацию (привет бесплатные колабы!)
- отключение анимации
- поддержка видео в качестве источника опорных кадров
- улучшение результата (для фото режима)

Колаб

интересный проект, к которому я имею хоть и скромное но отношение. на 23 секунде ролика, где москва трансформируется в город будущего, это дело рук моих и pytti.
и походу выставка интересная, рекомендую посмотреть - все это на огромном экране тц рио, на ленинском проспекте каждый день с 17 до 18

подробности по ссылке

со дня на день должен появиться в открытом доступе колаб diffusion 3d. а пока что можно только смотреть и завидовать

нельзя просто так взять и перестать играться с диско диффьюжн! новые модели бостон дайнемикс атакуют токио. под музыку

чудесный подгон от спейсфиллера - основы симуляции биологических организмов

https://notes.spacefiller.space/living-wall/

В ряду бесплатных PBR-текстур прибыло. Больше полутора тысяч материалов, обязательно зацените! https://ambientcg.com/