Все обсуждают PS5 Pro, которую вчера анонсировали

Я все еще жду полноценной официальной информации, т.к. ничего кроме абстрактных чисел нам не дали:

... has 67% more Compute Units than the current PS5 console and 28% faster memory...

1️⃣ кажется что по TFLOPS консоль находится где-то между 4060 и 4060ti, что конечно не поражает воображение, учитывая что последние стоят 250-400 евро против 800 за PS5 Pro (но конечно нужен еще CPU, материнка, SSD и т.д.)

2️⃣ скорее всего будут Tensor Cores из-за анонса их версии DLSS (см видео)

3️⃣ также ускорили трассировку лучей

Буду очень рад 2му пункту, т.к. позволит применить множество нового ресерча и на консольном рынке 😊

Но, в общем, 0ые впечатления т.к. Sony продемонстрировали, что они тупо пытаются догнать Nvidia вместе с AMD. Последние кстати на днях анонсировали UDNA, пойдя также за Nvidia

С другой стороны удобно, что все развивается таким образом, т.к. можно продолжать делать ресерч, полагаясь на железо и видение Нвидиа в долгосрок 👍

#индустрия

Profs. David Lindell, Kyros Kutulakos и Kosta Derpanis ищут PhD студентов и ПостДоков для работы в коллаборации с Ubisoft по направлениям:

- нейронный рендер
- text -> 3D/4D. генеративные модели
- реконструкция сцен
- дифференциальный рендер

податься можно здесь

Коллаборация с индустрией - это очень крутая штука, в том числе из-за адекватного финансирования

Это университеты Торонто, Канада, что я считаю прекрасной возможностью в 2024ом году. Если вы все сделаете правильно, то сможете податься на ПМЖ и получить ещё и паспорт к концу PhD!

#карьера

0.0032$/720p frame

А за сколько вы продаете отрендеренные пиксели? 😁

Luma Labs опубликовало доступ к Dream Machine через миниатюрный API

#ии

Автор оригинального 3D Gaussian Splats переписал гауссианы на Slang.D

Считаю, что это прекрасный случай чтобы напомнить о современном шейдерном языке Slang, который все еще нет так популярен среди инженеров в графике и CV, хотя он:

1️⃣ Поддерживает генерацию кода для D3D12, Vulkan, Metal, D3D11, OpenGL, CUDA, and CPU. Т.е hlsl, glsl, DXIL, SPIR-V - не проблема

2️⃣ Приносит фичи из современных я.п. по типу наследования, "шаблоны", указатели, которые все еще не доступны в hlsl\glsl

3️⃣ Auto-Differentiation с возможностью реализовать кастомные backward блоки и соединить с тем же PyTorch. Ребята даже публиковали статью на Сиграффе об этом и как с помощью него сделать дифференциальный рендер. И оно работает, сам проверял!

Да, он не идеален, т.к. не поддерживает ряд фич (те же тензорные ядра) но можно делать platform-dependent кодовые-вставки. также все еще есть баги и компиляция шейдеров может быть не самой быстрой... Но рекомендую обратить внимание для pet-проектов, да и просто на долгосрок

#графон

Тут в X многие в шоке от домашек нового курса Stanford-а, CS149 Parallel Computing. Я как ведущий похожего курса, но в KIT, тоже немного в ахуе:

1️⃣ ISPC Programming on multi-core CPUs (SSE, AVX)
2️⃣ Scheduling a task graph. Как я понимаю речь идёт о lock-free С++-based алгоритмах
3️⃣ A render in CUDA on Nvidia GPU
4️⃣ Flash-attention transformer for a "small LM". Радикальнее сложнее воспроизведения того же tiny-cuda-nn и требует знаний L1, Bank Conflicts, Tensor Cores.
5️⃣ TBD, FPGAs, Multi-core graph processing. Опционально

Понятно, что скорее всего студентам даны шаблоны, но как отметил Ethan Smith, ко-фаундер Leonardo.Ai ~40m. $ raised:

if you are implementing flash attention for a grade and you'd rather be doing it for money, come join our team :)
dms open

(они нанимают на удаленку)

и я 100% с ним согласен

поэтому считаю это прекрасным напоминанием, что знания GPGPU в 2024 имеют неадекватно высокую цену и рекомендую всем этим воспользоваться 😉

UPD: задания с лекциями

#карьера

Meta ставят на "Hyperscape" (radiance fields) с анонсом нового бюджетного VR Quest 3s

Про сами очки я думаю вы можете прочитать от любого другого техно-блогера, но TLTR: 300$ за "полноценный" VR-функционал -> больший маркет

Что же я нашел интересного для нашей сферы, так это анонс нового проекта Hyperscale (демка), позволяющего отсканировать с помощью телефона какое-то помещение, загрузить его в Мета-Вселенную и где далее любой желающий может в нём походить с помощью VR

По сути выглядит на 99% как то, что делали ранее в Luma Labs, но возможно новый user experience через VR продемонстрирует успешность технологии

Работает всё через Gaussian Splatting, но так или иначе изначально оптимизируется через inverse volumetric rendering!

#индустрия

В Unreal Engine 5 анонсировали MegaLights c поддержкой тысяч динамических источников света с полноценным затенением!

Поддержка "всех" источников света:
- Spot Light
- Area Lights (c текстурами)
- Point Lights и другие аналитические модели
и вольюметрик эффектов!

По демо пока не очень понятно как они смогли этого добиться на обычном PS5 в 60 фпс. Brian Karis также не раскрыл никаких интересных деталей.

Я лишь смог заметить стандартные темпоральные лаги, присущие вычислению освещения методом Monte Carlo и последующим его денойзингом... Также демка была взята с довольно "скучной" сценой, без микро-геометрии, на которых соответственно и интереснее всего проверять точность теней. хотя скорее всего компрессия ютуба всё подпортила

Понятно, что с высокой вероятностью это какая-то версия ReSTIR-а, но буду рад ошибиться! Ждём докладов :)

Update: подписчик, следящий за репой, добавляет что ранние версии стоили ~4-7ms с 256 лайтами на PS5/2080TI в 1080p -> приходилось использовать в 1/4 экрана. мб ускорили

#графон

Еврографикс 2025 продлил дедлайн из-за Рош ха-Шана (праздник Новолетия, еврейский Новый год)

не ну вообще-то в Германии тоже в четверг официальный праздник какбы с объединением страны....

Но ладно, с учетом вчерашних событий ученым из Израиля и правда надо дать еще время... 🙏