Немного предыстории наполнения сегодняшних пабликов сливами работы DLSS5.

В ранней версии NBA 2K27 были найдены файлы, активирующие технологию нейронного рендеринга. Когда моддеры поняли, что нашли, понесли тестировать все это в другие игры. И тут выяснилось, что если поколдовать с библиотеками, то можно запустить все это на 4 серии карточек Nvidia. А я прям помню, как писал про такую возможность только на анонсе DLSS5, собственно, кто бы сомневался, что зеленый маркетинг опять пойдет по этой дорожке.
Прочитать подробнее можно тут

@CGIT_Vines

Кто там спрашивал, а как DLSS5 будет выглядеть с аниме гачами?

В общем, за выходные увидел очень много трясущихся людей "хахаах это слоп фильтр для лиц".
Если кто копнул чуть дальше смешных видосиков, то в целом смог увидеть, что там очень много параметров настройки, и нарулить можно будет по своему вкусу. С одного конца будут разработчики, с другого, вы со своим вкусом. Всем на релизе выдадут достаточно параметров для управления, от полного фарша до возможности вообще отключить технологию.

Вторая причина - тряски по поводу FPS, который падает в 2 раза. Сейчаc DLSS5 включают поверх абсолютно оптимизированного конвеера ренедринга под максимальный визуал для текущих технологий. Свет, материалы, тени, постаброботка и т.д. Если DLSS позволяет вам апскейлить текстуры, то зачем их выводить в максимальном разрешении, которое сделано для классического рендеринг пайплайна? Зачем делать 4к текстуры для персов по классике, когда можно будет использовать от той же Nvidia, Neural Compression + апскейлер, высвобождая пул текстурной памяти? Не забывайте про наниты, люмен, Mega Geometry и т.д. К выходу DLSS5 текущим и будущим играм нужно будет пройти отдельный пасс оптимизации, прежде чем можно будет судить о реальной производительности в играх под эту технологию.

И последнее про художественную ценность или ее нивелирование.
Если внимательно глянуть, то DLSS не меняет никак геометрию, анимацию, липсинг. А вот что он затрагивает, используя пасы рендеринга, так это текстуры, докручивая их по деталям интенсивности и глосу. Очень круто дотюнивает свет, часто доводя его до более "киношного" освещения, что, честно говоря, сложно сделать на текущих пайплайнах освещения, например, модульные объекты на персонажах такие, как шляпы, маски и шлемы. Так что, как вы сделаете игру, она так и будет выглядеть со всеми всратостями, но с DLSS будет чуть лучше, а не принципиально другое.

Ну и в следующих итерациях, я полагаю, появятся более умное сегментирование с доработкой отдельных деталей. Например, когда вы нарисовали на куртке зип молнию, но разрешения текстуры не достаточно, чтобы ее корректно нарисовать, а через сегментацию ее можно будет просто догенерить.
Ну и лет через 8 мы таки придем в создании контента к плейсингу волюмов и баундин боксов, а все остальное визуальное будет вычислять нейрочип, который станет неотъемлемой частью архитектуры видеокарт. Так что пока можно не переживать. Надеюсь, это последний пост про DLSS.

@CGIT_Vines

Впечатляющая работа от World Labs

Работает так, что соединяет данные с разных источников и пытается реконструировать сцену в трехмерном представлении. К примеру, данное видео было снято одним дублем с трех мобильных телефонов. Далее все сгружено в модель которая реконструировала сцену и дала возможность полетать камерой по заданной траектории, записать дополнительные секвенции и получить новые кадры.

Модель сама достраивает недостающие части мира, если конечно, у нее хватает данных, а то вы сами понимаете что она там достроит. Работает на гауссианах. Им бы еще хорошую сегментацию прикрутить, вообще не было бы цены.

В общем обязательно идите по ссылке, там примеры вообще отвал жопы/
@CGIT_Vines

Еще одна интересная работа от ByteDance - Lucida.

Очевидным является тот факт, что роботам нужно будет понимать с чем они имеют дело когда они выйдет в открытый реальный мир.

Сейчас когда их обучают, для них делают специальные виртуальные среды максимально приближенные к реальности. Когда они попадут в реальный мир им нужно будет самим определять что перед ними, цельный ли это объект, или составной, тяжелый или легкий. Одним из предлагаемых вариантов являются подобные алгоритмы по достраиванию сцены и переводу данных с датчиков в приближенные к реальным предметы окружения.

Мы тут с коллегой Даниилом Осиповым пишем курс по использованию ИИ в 3D продакшене. И в общем, пока пишем, вышла Astra, и Даня решил ее погонять на максимуме.

Короче, обычно мы делаем концепт в GPT, например, потом отправляем в какой-нибудь Tripo или Hy3D, теперь тот же концепт Даня закинул в Astra и попросил сделать модель и  настроить красивый рендер все это в Blender.

За 20 минут на экстра хай Astra сожрала половину 5-часового лимита, но!

Геометрия получается мидпольной, т. е. фаски, ngone, никаких 1.5-2 миллиона, как в классических генераторах, т.е. бери редактируй, мапинг сделан повидово, т.е. фронтальная, боковая, задняя часть отдельно, все равно гавно, конечно, но для некоторых пайплайнов сгодится.

Местами потянуло, не везде оптимально, но геометрия уже прям на голову лучше всего, что было до этого, и чище. Текстуры пока просто слитая картинка, надо учить пользоваться пэинтером)
В общем, пока не боимся, просто готовимся)
*.blend кину в комменты/

@CGIT_Vines

Мне вот эти вот смехуечки напоминают как все года 3-4 назад угарали с того, какую херню могут делать сетки. Я к тому, что Астра в 3д сейчас как те старые видосы, поняли да?)

С тех пор ИИ оказал значительный импакт на индустрии CG и IT. Теперь мы можем наблюдать целых двух Смитов, поедающих 3D спагетти, написанных и созданных Астрой и рендерящихся на Three.js в реальном времени у вас в браузере; это ли не прекрасное будущее, к которому мы все стремимся?

Крутить вот тут/
@CGIT_Vines

Меня уже даже не интересует, правда это или нет, просто оставьте нейротрупик мухи в ПОКОЕ!
@CGIT_Vines

Ладно, вот вам мухи/