как же это можно использовать на практике? Оригинальный WoS вообще можно закодить в шейдертое за 5 минут, пример. Я тогда попробовал в своем движке его использовать для стохастического размытия, ведь распространение тепла работает в соответствие с Гауссовским профилем при определенных условиях.

Т.е. хотим что-то поблюрить на поверхности геометрии (шумы там от рендера) -> штука работает. Но тогда я столкнулся с ограничениями оригинального WoS, не все "параметры были доступны" (хотел анизотропный блюр и т.д.)

Сейчас после множества работ кажется многие из них ушли, и возможно стоит снова обратить внимание 😉

Карьерный\образовательный гайд в Computer Graphics, 2024

В последние недели меня всё чаще и чаще спрашивают о том, что следует изучать чтобы ворваться в индустрию. И запросы совершенно разные:
- как начать заниматься ИИ-графикой?
- как стать рендер-инженером в геймдеве?
- как войти в ресерч-мир?

Я искренне не хочу брать деньги с молодых спецов для ответа на множество вопросов... но и времени у меня свободного мало чтобы предоставлять консультации за бесплатно. я и так преподаю своим студентам в KIT...

Поэтому я решил демократизировать эти знания и опубликовать открытый обновленный гайд для карьеры в графике в 2024ом году: вот он прям здесь

надеюсь он вам поможет и не стесняйтесь его пересылать всем тем, кому нужна помощь, если вы считаете его полезным! (а ну и пишите, что следует поменять конечно же)

удачи 😊😊😊

Заранее прошу прощение за русский язык уровня Б1, активное изучение английского и немецкого добило первый окончательно

#карьера

Я продолжаю работать над фреймворком таким образом, чтобы он мог потенциально использоваться в других движках, даже без Slang. Тип шейдерный PyTorch.
Пока таргет: Vulkan GLSL

но если DirectX выкатит поддержку cooperative matrices (или уже 🤔?), то с удовольствием бы и в hlsl с DX12 протащил

Пока вопрос: может кто посоветовать популярный опенсурс рендер-движок с Вулкан бекендом, на примере интеграции в которой можно было проверить фреймворк?

P.s. возможно с последним нужна будет помощь, отпишу как решение станет публичным. вдруг кому будет интересно помочь 😊

#графон #ии

Diffusion Models Are Real-Time Game Engines [сайт]

Диффузку научили предсказывать новый кадр на основе прошлых + conditioned on actions на примере DOOM в 50 FPS. получилась ИИ-игра

Авторы исследовали а-ля "DLSS Frame Generation", но с подачей нажатых клавиш, Fig. 10

Из интересного:
1️⃣ Число сохраненных прошлых кадров на самом деле не сильно улучшает метрики. Хватает всего 2-4, Table 1

2️⃣ Перформанс упирается в число итераций денойзинга. 10 ms/step. Обычно нам требуется 20-100 шагов (DDIM). Но из-за когерентности кадров хватает всего 4 шагов => 40 ms, Table 3

В чём же крутость работы?

1️⃣ Устаревшая SD 1.4 может симулировать простую но динамическую игру. Но для этого нужен датасет

2️⃣ Диффузки уже ускоряли на порядки (Imagine Flash, SDXL) и они работают в real-time на RTX. Т.к. они лучше проецируются на ГПУ, нежели чем игровые-движки, с FPS еще можно сделать многое

Главный вопрос:
Можно ли будет диффузки использовать как DLSS 5.0 (или даже как рендер), открыв доступ к логическому состоянию игры?
#ии

Зная, что на меня подписано немного студентов, думаю вам будет интересно почитать коротенький тред, как должен выглядеть диплом и взаимоотношения с научником в 2024. Со стороны дипломов по компьютерной графике в том числе

с примером плана одного из последних, который сейчас выводим на публикацию 😊

Все обсуждают PS5 Pro, которую вчера анонсировали

Я все еще жду полноценной официальной информации, т.к. ничего кроме абстрактных чисел нам не дали:

... has 67% more Compute Units than the current PS5 console and 28% faster memory...

1️⃣ кажется что по TFLOPS консоль находится где-то между 4060 и 4060ti, что конечно не поражает воображение, учитывая что последние стоят 250-400 евро против 800 за PS5 Pro (но конечно нужен еще CPU, материнка, SSD и т.д.)

2️⃣ скорее всего будут Tensor Cores из-за анонса их версии DLSS (см видео)

3️⃣ также ускорили трассировку лучей

Буду очень рад 2му пункту, т.к. позволит применить множество нового ресерча и на консольном рынке 😊

Но, в общем, 0ые впечатления т.к. Sony продемонстрировали, что они тупо пытаются догнать Nvidia вместе с AMD. Последние кстати на днях анонсировали UDNA, пойдя также за Nvidia

С другой стороны удобно, что все развивается таким образом, т.к. можно продолжать делать ресерч, полагаясь на железо и видение Нвидиа в долгосрок 👍

#индустрия

Profs. David Lindell, Kyros Kutulakos и Kosta Derpanis ищут PhD студентов и ПостДоков для работы в коллаборации с Ubisoft по направлениям:

- нейронный рендер
- text -> 3D/4D. генеративные модели
- реконструкция сцен
- дифференциальный рендер

податься можно здесь

Коллаборация с индустрией - это очень крутая штука, в том числе из-за адекватного финансирования

Это университеты Торонто, Канада, что я считаю прекрасной возможностью в 2024ом году. Если вы все сделаете правильно, то сможете податься на ПМЖ и получить ещё и паспорт к концу PhD!

#карьера