Карьерный\образовательный гайд в Computer Graphics, 2024

В последние недели меня всё чаще и чаще спрашивают о том, что следует изучать чтобы ворваться в индустрию. И запросы совершенно разные:
- как начать заниматься ИИ-графикой?
- как стать рендер-инженером в геймдеве?
- как войти в ресерч-мир?

Я искренне не хочу брать деньги с молодых спецов для ответа на множество вопросов... но и времени у меня свободного мало чтобы предоставлять консультации за бесплатно. я и так преподаю своим студентам в KIT...

Поэтому я решил демократизировать эти знания и опубликовать открытый обновленный гайд для карьеры в графике в 2024ом году: вот он прям здесь

надеюсь он вам поможет и не стесняйтесь его пересылать всем тем, кому нужна помощь, если вы считаете его полезным! (а ну и пишите, что следует поменять конечно же)

удачи 😊😊😊

Заранее прошу прощение за русский язык уровня Б1, активное изучение английского и немецкого добило первый окончательно

#карьера

Я продолжаю работать над фреймворком таким образом, чтобы он мог потенциально использоваться в других движках, даже без Slang. Тип шейдерный PyTorch.
Пока таргет: Vulkan GLSL

но если DirectX выкатит поддержку cooperative matrices (или уже 🤔?), то с удовольствием бы и в hlsl с DX12 протащил

Пока вопрос: может кто посоветовать популярный опенсурс рендер-движок с Вулкан бекендом, на примере интеграции в которой можно было проверить фреймворк?

P.s. возможно с последним нужна будет помощь, отпишу как решение станет публичным. вдруг кому будет интересно помочь 😊

#графон #ии

Diffusion Models Are Real-Time Game Engines [сайт]

Диффузку научили предсказывать новый кадр на основе прошлых + conditioned on actions на примере DOOM в 50 FPS. получилась ИИ-игра

Авторы исследовали а-ля "DLSS Frame Generation", но с подачей нажатых клавиш, Fig. 10

Из интересного:
1️⃣ Число сохраненных прошлых кадров на самом деле не сильно улучшает метрики. Хватает всего 2-4, Table 1

2️⃣ Перформанс упирается в число итераций денойзинга. 10 ms/step. Обычно нам требуется 20-100 шагов (DDIM). Но из-за когерентности кадров хватает всего 4 шагов => 40 ms, Table 3

В чём же крутость работы?

1️⃣ Устаревшая SD 1.4 может симулировать простую но динамическую игру. Но для этого нужен датасет

2️⃣ Диффузки уже ускоряли на порядки (Imagine Flash, SDXL) и они работают в real-time на RTX. Т.к. они лучше проецируются на ГПУ, нежели чем игровые-движки, с FPS еще можно сделать многое

Главный вопрос:
Можно ли будет диффузки использовать как DLSS 5.0 (или даже как рендер), открыв доступ к логическому состоянию игры?
#ии

Зная, что на меня подписано немного студентов, думаю вам будет интересно почитать коротенький тред, как должен выглядеть диплом и взаимоотношения с научником в 2024. Со стороны дипломов по компьютерной графике в том числе

с примером плана одного из последних, который сейчас выводим на публикацию 😊

Все обсуждают PS5 Pro, которую вчера анонсировали

Я все еще жду полноценной официальной информации, т.к. ничего кроме абстрактных чисел нам не дали:

... has 67% more Compute Units than the current PS5 console and 28% faster memory...

1️⃣ кажется что по TFLOPS консоль находится где-то между 4060 и 4060ti, что конечно не поражает воображение, учитывая что последние стоят 250-400 евро против 800 за PS5 Pro (но конечно нужен еще CPU, материнка, SSD и т.д.)

2️⃣ скорее всего будут Tensor Cores из-за анонса их версии DLSS (см видео)

3️⃣ также ускорили трассировку лучей

Буду очень рад 2му пункту, т.к. позволит применить множество нового ресерча и на консольном рынке 😊

Но, в общем, 0ые впечатления т.к. Sony продемонстрировали, что они тупо пытаются догнать Nvidia вместе с AMD. Последние кстати на днях анонсировали UDNA, пойдя также за Nvidia

С другой стороны удобно, что все развивается таким образом, т.к. можно продолжать делать ресерч, полагаясь на железо и видение Нвидиа в долгосрок 👍

#индустрия

Profs. David Lindell, Kyros Kutulakos и Kosta Derpanis ищут PhD студентов и ПостДоков для работы в коллаборации с Ubisoft по направлениям:

- нейронный рендер
- text -> 3D/4D. генеративные модели
- реконструкция сцен
- дифференциальный рендер

податься можно здесь

Коллаборация с индустрией - это очень крутая штука, в том числе из-за адекватного финансирования

Это университеты Торонто, Канада, что я считаю прекрасной возможностью в 2024ом году. Если вы все сделаете правильно, то сможете податься на ПМЖ и получить ещё и паспорт к концу PhD!

#карьера

0.0032$/720p frame

А за сколько вы продаете отрендеренные пиксели? 😁

Luma Labs опубликовало доступ к Dream Machine через миниатюрный API

#ии

Автор оригинального 3D Gaussian Splats переписал гауссианы на Slang.D

Считаю, что это прекрасный случай чтобы напомнить о современном шейдерном языке Slang, который все еще нет так популярен среди инженеров в графике и CV, хотя он:

1️⃣ Поддерживает генерацию кода для D3D12, Vulkan, Metal, D3D11, OpenGL, CUDA, and CPU. Т.е hlsl, glsl, DXIL, SPIR-V - не проблема

2️⃣ Приносит фичи из современных я.п. по типу наследования, "шаблоны", указатели, которые все еще не доступны в hlsl\glsl

3️⃣ Auto-Differentiation с возможностью реализовать кастомные backward блоки и соединить с тем же PyTorch. Ребята даже публиковали статью на Сиграффе об этом и как с помощью него сделать дифференциальный рендер. И оно работает, сам проверял!

Да, он не идеален, т.к. не поддерживает ряд фич (те же тензорные ядра) но можно делать platform-dependent кодовые-вставки. также все еще есть баги и компиляция шейдеров может быть не самой быстрой... Но рекомендую обратить внимание для pet-проектов, да и просто на долгосрок

#графон

Тут в X многие в шоке от домашек нового курса Stanford-а, CS149 Parallel Computing. Я как ведущий похожего курса, но в KIT, тоже немного в ахуе:

1️⃣ ISPC Programming on multi-core CPUs (SSE, AVX)
2️⃣ Scheduling a task graph. Как я понимаю речь идёт о lock-free С++-based алгоритмах
3️⃣ A render in CUDA on Nvidia GPU
4️⃣ Flash-attention transformer for a "small LM". Радикальнее сложнее воспроизведения того же tiny-cuda-nn и требует знаний L1, Bank Conflicts, Tensor Cores.
5️⃣ TBD, FPGAs, Multi-core graph processing. Опционально

Понятно, что скорее всего студентам даны шаблоны, но как отметил Ethan Smith, ко-фаундер Leonardo.Ai ~40m. $ raised:

if you are implementing flash attention for a grade and you'd rather be doing it for money, come join our team :)
dms open

(они нанимают на удаленку)

и я 100% с ним согласен

поэтому считаю это прекрасным напоминанием, что знания GPGPU в 2024 имеют неадекватно высокую цену и рекомендую всем этим воспользоваться 😉

UPD: задания с лекциями

#карьера

Meta ставят на "Hyperscape" (radiance fields) с анонсом нового бюджетного VR Quest 3s

Про сами очки я думаю вы можете прочитать от любого другого техно-блогера, но TLTR: 300$ за "полноценный" VR-функционал -> больший маркет

Что же я нашел интересного для нашей сферы, так это анонс нового проекта Hyperscale (демка), позволяющего отсканировать с помощью телефона какое-то помещение, загрузить его в Мета-Вселенную и где далее любой желающий может в нём походить с помощью VR

По сути выглядит на 99% как то, что делали ранее в Luma Labs, но возможно новый user experience через VR продемонстрирует успешность технологии

Работает всё через Gaussian Splatting, но так или иначе изначально оптимизируется через inverse volumetric rendering!

#индустрия

В Unreal Engine 5 анонсировали MegaLights c поддержкой тысяч динамических источников света с полноценным затенением!

Поддержка "всех" источников света:
- Spot Light
- Area Lights (c текстурами)
- Point Lights и другие аналитические модели
и вольюметрик эффектов!

По демо пока не очень понятно как они смогли этого добиться на обычном PS5 в 60 фпс. Brian Karis также не раскрыл никаких интересных деталей.

Я лишь смог заметить стандартные темпоральные лаги, присущие вычислению освещения методом Monte Carlo и последующим его денойзингом... Также демка была взята с довольно "скучной" сценой, без микро-геометрии, на которых соответственно и интереснее всего проверять точность теней. хотя скорее всего компрессия ютуба всё подпортила

Понятно, что с высокой вероятностью это какая-то версия ReSTIR-а, но буду рад ошибиться! Ждём докладов :)

Update: подписчик, следящий за репой, добавляет что ранние версии стоили ~4-7ms с 256 лайтами на PS5/2080TI в 1080p -> приходилось использовать в 1/4 экрана. мб ускорили

#графон