Наконец-то дошли руки до CopyCat в нюке!
Попробовал натренировать на своём рендере апререз х4, из 480х270 в фуллхд (рис.1).
Без понятия сколько нужно итераций (epochs) чтобы получить нормальный результат. Видимо х4 это предел мечтаний.

К х2 апскейлу, практически нет вопросов, на первый взгляд не отличить от оригинала (рис.2) при 20к эпох (6 минут тренировки) очень достойных результат. Но в 2к25 х2 апскейлом уже никого не удивить.

Скорей всего, надо тренировать последовательно по х2 от предыдущего разрешения, тогда в теории сможем получить х4-хN результат.

Но кто в продакшене будет заморачиваться с рендером инкримент сиквенции, композить её, тренировать, интерферировать и в итоге прийти к
выводу - Миша это всё фигня, давай заново (отправляй хайрез на ферму)

Сетевой червь ч.4

Нет, речь не про вредоносное ПО, а про скайнет.

Давече мне понадобилось нагенерить 4к карты глубины (depth map). Я нашел супер точный алгоритм с темпоральным дождём сглаживанием под названием DepthCrafter (рис.1) я использовал его в #comfyUI. Всё бы ничего, но 24Гб видеопамяти улетают мгновенно.
В том же комфи у меня давным давно пылился depthAnythingV2 (рис. 2), он конечно и быстрей и в 4к выдает более детализированный резульатат, но кипит если кидаешь в него анимацию.
Таким образом я пришел к оптимальному варианту под названием Video Depth Anything (рис.3) это алгоритм на базе depthAnythingV2 только под анимацию.
и чтобы он жрал всю видеопамять ему надо это разрешить при помощи команды export PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True

Все сравнительные тесты всех трёх вариантов есть на их сайтах.

#ml #ai #depth

Чуть не забыл про маски.

Здесь всё рассказано

Установка данной тулзы для #comfyui такой какой одна должна быть! (без всяких там пип инсталлов и прочего)

#ml #ai #roto

10 лет назад я выступил с визуальным перформансом на первом фестивале INTERVALS в Нижнем Новгороде.

На мне был надет нейроинтерфейс «мозг-компьютер» Emotiv Epoc — 14-канальная ЭЭГ-гарнитура, регистрирующая электрическую активность мозга. С её помощью я "управлял" всем визуалом, который проецировался на главном танцполе.

Совершенно неосознанно я выбрал образом для выступления робота EVA-01 из аниме "Neon Genesis Evangelion". Как и главному герою аниме, Икари Синдзи, мне предстояло взять на себя управление этим огромным роботом 🤖.

Благодаря встроенному гироскопу все движения моей головы в реальном времени передавались на 3D-модель в #touchdesigner. Но привязать конкретные мысли к действиям персонажа было непросто (за исключением анимации лазеров из глаз, которые я запускал с помощью "секретного" действия 😏). Для точного контроля требовалось состояние, близкое к медитации, что под техно-музыку оказалось не так просто 😬. К тому же нейропластичность мозга постоянно вносила свои коррективы в процесс "мэппинга".