TouchDesigner's UI — урок про модификацию интерфейса TouchDesigner. Видео показывает как добавить кастомные инструменты в панель меню.

https://youtu.be/zzWvnlYdeQM

TDResources — система вызова компонентов через Global OP Shortcut. Доступны такие компоненты как POP-UP MENU, BUTTON POP-UP MENU, POP-UP DIALOG, MOUSE, WEBCLIENT.

Например: можно сделать асинхронные веб-запросы без ноды webclientDAT. Создаете функцию callback и добавляете в нужном месте: op.TDResources.WebClient.Request(callback, url, method *args)

https://derivative.ca/UserGuide/TDResources

TDDiffusion API — обновление компонента для генерации изображений в Stable Diffusion (A1111) и TouchDesigner. Постараюсь сделать урок на этой неделе, но если уже хотите потестить, то вот инструкция.

Переписал компонент с нуля, теперь все работает в самом TD без внешних Python скриптов.

https://github.com/olegchomp/TDDiffusionAPI

Resolume REST API — управление Resolume из веб-браузера с любых устройств. Довольно простой пример, который появился после вопроса в чате про управление с телефона двумя кнопками.

Скидываете режиссеру ссылку на страничку и идете обедать.

Анализатор BPM — автоматически считаем BPM в Resolume.

https://youtu.be/vrkMMczTP1s

TDA ControlNet — тестирую ControlNet в TDDiffusion API. Надеюсь скоро зарелизить и можно будет играться с более consistent генерацией.

TDDiffusion API & ControlNet — обновление компонента для генерации изображений в Stable Diffusion (A1111) и TouchDesigner. В версии 2.0.2 добавлена поддержка ControlNet.

Если еще не знаете про ControlNet, то вот подборка уроков на YouTube

https://github.com/olegchomp/TDDiffusionAPI/releases/tag/v.2.0.2

There's an AI for that — сайт с ежедневными обновлениями AI инструментов, в формате задачи и ее решения. На момент поста, представлено 2285 AI инструментов для 550 задач. Многие инструменты доступны в онлайн формате и не требуют локальной установки.

https://theresanaiforthat.com/

aiNodes Engine — инструмент визуального программирования для Stable Diffusion. Проект позволяет использовать функции SD в виде нод и строить последовательности выполнения.

https://github.com/XmYx/ainodes-engine

How about another Joke, Murraaaay? — анимация созданная с помощью StableDiffusion и Controlnet из фрагмента фильма «Джокер». Ранее Corridor Crew выпустили аналогичный ролик (видео в комментариях к посту), в котором показали процесс создания анимации.

https://www.youtube.com/watch?v=_9fBXmTQ_Sg

AI лицевая анимация — LiveLink синхронизация NVIDIA Audio2Face и Unreal Engine Metahuman.

https://youtu.be/tgq9m1HgASE

ChatGPT и Nvidia Omniverse — видео и пост на Medium (ссылка в первом комментарии) о том, как инструменты генеративного ИИ, включая ChatGPT, можно использовать для создания 3D-контента, чтобы сократить количество ручных задач и помочь авторам сосредоточиться на приятных аспектах своей работы.

https://www.youtube.com/watch?v=mFazJsjUUSo

Resolume 7.15 — превью обновления, в котором наконец-то добавят возможность сворачивать слои!

TDDiffusion API & Seed travel — обновление компонента для генерации изображений в Stable Diffusion (A1111) и TouchDesigner. В версии 2.0.4 добавлена поддержка скрипта Seed travel.

Seed travel позволяет создавать анимации с интерполяцией между сидами. В комментариях пример видео и интерфейса.

https://github.com/olegchomp/TDDiffusionAPI/releases/

TDDiffusion API & Upscale — обновление компонента для генерации изображений в Stable Diffusion (A1111) и TouchDesigner. В версии 2.0.6 добавлено:
- Upscale. AI увеличение размеров изображения.
- Random seed. Генерация случайного сида при каждой генерации картинки.
- Controlnet detect. Возможность использовать модули без генерации самого изображения. Например сгенерировать карту глубины из любого TOP.

https://github.com/olegchomp/TDDiffusionAPI/releases/tag/v.2.0.6

Paisley Skies — видео сгенерированное художником NEWP Visuals с помощью TDDiffusion API в TouchDesigner. Автор немного рассказал про пайплайн в дискорде, он использует несколько слоев и смешивает их через feedback.

Если честно не ожидал, что можно прийти к такой интерполяции в TD с помощью feedback. Визуально очень напоминает Deforum конечно.

https://www.youtube.com/watch?v=8M9TxIEws3o

Track-Anything — инструмент для трекинга и сегментации объектов в видео. Для создания маски используется AI модель Segment Anything (SAM). Также на Github есть пример с Inpaint моделью, для удаления объектов с видео.

https://github.com/gaomingqi/Track-Anything

Resolume 7.15 — обновление в котором добавлено сворачивание слоев и групп, новые эффекты Dilate, Sharpen, Kuwahara, а также встроенный блокнот.

https://m.youtube.com/watch?v=X0_3zd-MKPQ

Stable Diffusion & AITemplate — фреймворк ускоряющий генерацию в два раза. При использовании PyTorch моделей с параметрами 512x512, 20 steps, 15 cfg, 0.6 denoising strength скорость обычно около 1.5-3 секунд на генерацию, а с AITemplate в среднем 0.7-0.9 секунд. И это очень круто, не риал-тайм конечно, но все равно :)
Осталось разобраться с ControlNet и попробовать улучшить качество, в примере SD 1.5 от Runway ML.