Делимся картинкой, где собраны все самые популярные способы графического представления информации.

DataViz - визуализация данных, направлена на то, чтобы облегчить потребление информации человеком.

Необходимо использовать перечисленные инструменты, чтобы люди могли просматривать большее количество информации и делать это более эффективно. Не забудьте сохранить картинку 🙂

#tipsandtools #DataViz

Наконец-то эта нейронка о которой я писал еще летом в стиле «нейронный пеинт» опубликована и можно поиграться самому. Пока что никакого «удобного» способа ее запустить нет, будем ждать пока кто-то запилит веб версию ʕ·͡ᴥ·ʔ

Исходный код:
https://github.com/taesungp/swapping-autoencoder-pytorch

Keijiro реализовал обнаружение лица в Unity с помощью нейронной сети BlazeFace и Unity Barracuda. Вы можете запустить эксперимент, склонировав проект с GitGub, и больше не использовать библиотеку ArKit для трекинга лица.

Это круто, потому что проект работает в риал тайме c высокой скоростью. Потенциально, вы можете любое устройство с камерой научить распознавать лица или накладывать на вас маски, даже холодильник 🙂

#tipsandtools

Стартовала Nvidia GTC. Все в онлайне, все доступно.
Ну и конечно же все началось с keynote от Jensen Huang. Идет прям щас.

Самое интересное (пока), что самой первой темой стала Omniverse. Платформа вот с таким позиционированием в 2021: shared virtual worlds.
И если в прошлом году акцент был в основном на возможность работы над одной сценой из разных мест и одно демо с мраморными шариками, то в этом году риторика поменялась в сторону концепции Digital Twins - возможности создания копии нашего ветхого мира и обитания в нем. Да, создания и обитания.
В этом смысле Дженсен еще раз упомянул Snow Crash и показал пару не то, что примеров, а кейсов ипользования Omniverse, которая выходит из беты.
Там упоминалась ILM с виртуальными декорациями, Activision, которые присунули туда 100 000 своих ассетов и сделали систему работы с ними на базе Omniverse.
WPP показали ... виртуальный продакшен в Omniverse! И тут стало понятно, что амбиции Omniverse лежат далеко за пределами дизайна и коллективной работы.
Bentley показала цифровые двойники заданий и кварталов, которые они проектируют, собранные в Omniverse.
Но круче всех выступила BMW, они показали цифровые копии своих фабрик. Грубо говоря, вместо камер наблюдения и тысяч экранов с видео, там полная 3Д-копия фабрики, по которой можно перемещаться и следить за любыми деталями в реалтайме. Мало того, что там копии роботов, там еще и копии людей. Показали, как инженеры в мокап-костюмах настраивают конвеерную линию в виртуальном пространстве, оптимизируя расположение инструментов и безопасность. Общаясь при этом, как в игре. Чистый киберпанк с копией фабрик, роботов и работников!
В общем Omniverse это реальная киберпанк-амбиция.
Ну и не зря я тут задумал конференцию DIGITAL HUMANS - все эти виртуальные миры надо будет заселять нашими цифровыми двойниками. А для них надо будет сделать годные оболочки. По новым правилам, которых пока никто не знает. Мир стремительно оцифровывается и валит в параллельную вселенную...

P/S/ Ну блин, только что показали Drive Sim - цифровые двойники РЕАЛЬНЫХ автомобилей, которые катятся по виртуальным дорогам копии этого мира. В 3Д. В Омниверсе.
Ладно, я пошел, ищите меня там. Аватар не забудьте.

P/S/S/ Максин просто меня убила. 3Д-женюсь!

Само выступление Дженсена Хуанга
https://youtu.be/eAn_oiZwUXA

Вообще от Nvidia сегодня прямо пачка анонсов с их виртуальной конференции GDC 2021.

Вот например невероятной величины огромный ARM-процессор Grace, который будет производиться для серверов, работающих по большей части над нейронными сетками. Еще один гвоздик в крышку гроба Интел https://www.anandtech.com/show/16610/nvidia-unveils-grace-a-highperformance-arm-server-cpu-for-use-in-ai-systems

А вот вышел в релиз нагло названный Nvidia Jarvis - фреймворк для написания диалоговых ИИ. Поддерживает 5 языков (очевидно что лучше всего работает английский и китайский). Кстати, там же промотируется мой любимый Mozilla CommonVoice, это сейчас один из самых важных опенсорс проектов https://venturebeat.com/2021/04/12/nvidia-launches-jarvis-conversational-ai-framework-in-general-availability/

Или вот запустился TAO, сложный фреймворк для распределенного обучения нейронных сетей, использующий оборудование Nvidia и при этом заточенный на переиспользование для обучения уже преобученных моделей. https://venturebeat.com/2021/04/12/nvidia-launches-tao-an-enterprise-workflow-for-ai-development/

Короче бурно проходит GDC, не ожидал никто такого большого количества анонсов.

Сейчас все обсуждают новинки от Nvidia: от новых серверных чипов, анонс которых слегка уронил акции Intel, до будущей платформы для автомобилей (про видеокарты я уж и не говорю).
Немного меньше пишут почему-то про их крутую вычислительную платформу с красивым именем Omniverse - она обеспечивает возможность коллабораций для очень разных команд, которым требуется тяжелое ресурсоемкое моделирование и сложные визуализации. Тут есть новые возможности для всех — от дизайнеров и создателей видео до инженеров, разрабатывающих 5G покрытия (вот красивый пример https://www.ericsson.com/en/blog/2021/4/5g-simulation-omniverse-platform )
“Every few decades, technologies converge to enable a whole new thing – Omniverse is such an invention, ” -- и это похоже на правду: виртуальные детальные 3D миры с реальной физикой сейчас куда важней в промышленности,чем в играх ;)

https://youtu.be/xC6cho2VL6c

Вчера в Бостоне nVIDIA открыла свое мероприятие для разработчиков GTC 2021 — и тут же как из рога изобилия посыпались новости, в том числе и связанные с нашим любимым VR/AR. Итак, главное, что же там произошло:
 
Во-первых, NVIDIA объявила, что их стриминговый сервис CloudXR, кроме Amazon Web Services запустится и на остальных крупнейших мировых облачных платформах, таких как Microsoft Azure и Google Cloud. Это очень крутой прорыв — ждем теперь, когда подтянутся Яндекс и Mail.Ru. 
 
Для тех кто забыл — CloudXR это сервис для стриминга в VR или дополненной реальности, который разрабатывается с прицелом на будущие технологии 5G-связи. После установки специального SDK технология открывает доступ к особо мощным серверам NVIDIA RTX, где стоят графические процессоры, разработанные исключительно для VR-вычислений и с их помощью можно легко стримить VR- и AR-контента из любого приложения с поддержкой OpenVR. По словам корпорации, в идеале даже самую сложную графику с VR и AR можно передавать в реальном времени с удаленного сервера по сети на любое устройство без ограничений физического оборудования. Если вы разработчик и виар-энтузиаст, то на официальном сайте уже сегодня можно оставить заявку и получить developers kit для CloudXR.
 
Во-вторых, NVIDIA проапдейтили свою технологию Variable Rate Supersampling (виар-суперсэмплинг, или VRSS) и теперь она поддерживает любые VR-устройства с полноценным трекингом зрачков глаз (наконец-то их будет где применить!).
 
Что это такое: VRSS — это такой программный комплекс, который невероятно четко обсчитывает ровно ту область изображения на экране, куда в настоящий момент направлен ваш взгляд. Природа так устроила человеческий глаз, что во всех подробностях мы улавливаем дай бог 1/3 всего видимого им изображения, а все что за его пределами на периферии внимания воспринимается мозгом эдаким «заблюренным». Так зачем расходовать лишние программные мощности видеокарт на лишний рендер? С вводом функции трекинга зрачков, VRSS будет работать еще естественнее и круче. 
 
Наконец, в третьих, и главных — NVIDIA замахнулась на создание собственных виртуальных миров и анонсировала открытую платформу Omniverse. Короче, это такое глобальное нечто с доступным SDK, на котором можно собрать свой мир как в «Первому игроку приготовиться», только еще круче чем у Спилберга. Гендиректор NVIDIA Дженсен Хуанг заявил, что платформа при помощи простых инструментов сможет объединить всех — от инженеров и промышленных дизайнеров до художников и лысого черта в ступе. С ее помощью можно буквально на коленке собрать все — от интерактивной 3D-модели фабрики по конвейерному производству чапельников, до модели МКС, причем результат будет не просто статичной картинкой, а вполне себе функциональной виртуальной средой. 
 
По словам руководства этот проект разрабатывался уже несколько лет под кодовым именем Holodeck (так называлась виртуальная палуба космического корабля из сериала «Стар Трек») и на сегодняшний день в него вбухано уже «несколько сотен миллионов долларов». Попробовать бета-версию Omniverse в действии уже сейчас можно по этой ссылке.

Еще один ML инструмент для анимации - Cascadeur вчера анонсировал новую версию спустя 2 года!

Это инструментарий для создания анимации 3D-персонажей, а интуитивный дизайн поможет быстро освоиться, даже если вы не имели опыта работы в похожих программах.

Инструменты на основе физики и deep learning позволяют упростить работу. Например, корректировать тайминги и траектории и выставлять максимально естественные позы. Таким образом вы можете избежать ненужной рутины и полностью сосредоточиться на творчестве.

#ml

Привет! Тут вы узнаете про особенности работы с компьютерной графикой для фиджитал проектов. Канал ведет команда PHYGITALISM 👋

Вас ждет контент:

- Обзоры крутых механик #mechanics
- ML инструменты для создания графики #ml
- Новости из мира CG и Phygital #news
- Обзоры интересных кейсов и решений #case
- Наши эксперименты и плагины #byphygitalism
- Тесты тулзов и приложений полезных для работы #tipsandtools
- Рубрика от художницы Кати Токсик про NUE #interface #KatyaYanzen

Наконец-то в Unity добавят DLSS в новой версии 2021.2!

DLSS - это технология рендеринга на базе искусственного интеллекта, которая улучшает производительность и качество графики.

Это значит, что появится возможность показывать свои проекты в высоком разрешении и большим FPS. При меньших нагрузках можно делать более качественную графику и визуальные эффекты, а также увеличивать производительность приложения, нужна только видеокарта NVIDIA серии GeForce RTX :)

#unity #news

Подборка приложений с красивыми визуальными эффектами и интересными механиками в дополненной реальности для вдохновения 🙂

Storytelling
- В приложении Statue of Liberty красиво представлена история Статуи Свободы в AR. Из особенностей - интересный переход в дополненной реальности при наклоне телефона.
- Below The Surface социальный сторителлинг проект, привлекающий внимание к не гуманными способам истребления рыб.

Порталы
- CrimeDoor приложение, объединяющее базу данных True Crime, улики и подкасты с трехмерными сценами преступлений в AR.
- AR Moon приложение о космосе, которое через портал переносит вас на поверхность Луны.

Искусство
- Weird Type приложение, в котором вы можете рисовать словами. Оно основано на серии экспериментов с дополненной реальностью от Зака Либермана и Молмол Куо.
- 4th Wall бесплатная паблик-арт-платформа с произведениями искусства, студией, голограммой и паблик-артом художницы Нэнси Бейкер.

#artist #mechanics

Еще одна классная нейронка, можно прямо на сайте посмотреть демку как работает:
Позволяет дорисовывать продолжение картинки (в примере на сайте пейзаж гор, но может быть что угодно) и главное, генерируется все в хорошем качестве ✨

Сайт проекта и код:
https://universome.github.io/alis

Что полезно знать про AR/VR интерфейсы?

- Супер подборка видео про интерфейсы в VR
- Статья, объясняющая, почему мы застряли в окнах браузеров и как нам из них выбраться
- Tangible Media Group в MIT Как сделать диджитал осязаемым?
- XR дизайн: теория и практика в видеоформате
- Группа энтузиастов с интересными разработками
- TED 10-ти летней давности, который все еще остается актуальным
- Виды интерфейсов - все, что есть в википедии, но аккуратно оформлено
- Смешная, но познавательная pdf’ка про 3D и взаимодействие в смешанной реальности

#NUE #KatyaYanzen

GANverse3D - ворота в Omniverse

Мы уже видели много бумаг про проеобразование 2Д в 3Д, то есть попыток восстановления трехмерного меша из фотографии. Самый выразительный проект даже дорисовывал спину девушки по фотографии спереди.
Но все это было экпериментальное качество и скорее исследовательские разработки.
А теперь на эту поляну приходят взрослые мальчики. Нет, взрослые медведи.
Нет, годзиллы.
В общем на эту поляну приходит Нвидия и неслучайно. Ибо Omniverse, обретающий уже реальные (или виртуальные, я запутался) очертания, требует заселения и застройки нового мира многочисленным трехмерным контентом.
Не намоделишься.
Поэтому Нвидия только что выкатила вот такую штуку:

GANverse3D

Это движок глубокого обучения, который создает 3D-модели из стандартных 2D-изображений и может, например, оживить культовые автомобили, такие как KITT Knight Rider на базе ИИ в NVIDIA Omniverse. GANverse3D, преобразует плоские изображения в реалистичные 3D-модели, которые можно визуализировать и контролировать в любых виртуальных средах и прежде всего в Omniverse.

Посыл такой: помочь архитекторам, дизайнерам, разработчикам игр и просто энтузиастам легко добавлять новые объекты в свои 3Д-миры, не требуя опыта в 3D-моделировании или большого бюджета, который можно потратить на визуализацию.
Также интересно вот это: «Поскольку мы обучались на реальных изображениях, а не на типичном конвейере, который полагается на синтетические данные, модель ИИ лучше обобщается на реальные приложения»

Сначала можно подумать, что это сетка обученная только на автомобилях:
"Чтобы воссоздать машину KITT, разработчики просто скармливали обученной модели изображение автомобиля, позволяя GANverse3D предсказывать соответствующую трехмерную текстурированную сетку, а также различные части автомобиля, такие как колеса и фары. Затем они использовали NVIDIA Omniverse Kit и инструменты NVIDIA PhysX для преобразования предсказанной текстуры в высококачественные материалы, которые придали KITT более реалистичный вид и поместили ее в динамическую последовательность движения"

Однако если почитать внимательно: "GANverse3D можно использовать для преобразования стандартных изображений автомобиля, здания или даже лошади в трехмерную фигуру, которую можно настроить и анимировать в Omniverse."

В общем за моделлеров!

Ассетное мышление, 3Д-стоки, сборка сцен и миров - все как мы любим. А теперь еще 2Д в 3Д.

Подробности тут:
https://blogs.nvidia.com/blog/2021/04/16/gan-research-knight-rider-ai-omniverse/

Минутка лайфхаков для Blender, функция Mesh to Volume позволяет легко превратить любую сетку в облако!

#tipsandtools

На прошлой неделе мы поделились подборкой AR приложений с интересными механиками и красивыми визуальными эффектами. А какие есть еще механики, как их применять?

Чтобы упорядочить информацию об AR для художников, наших клиентов и просто людей, которые хотят познакомиться с технологией, мы создали White Paper “AR механики: все о дополненной реальности”, где доступным языком собрали всю самую важную информацию по дополненной реальности.

Что вы будете знать после прочтения?
- Как работает AR, механики применения
- Возможности дополненной реальности
- Обязательно ли скачивать приложение, чтобы просмотреть контент в дополненной реальности, какие платформы еще можно использовать
- Больше трендов и актуальных приложений

Ознакомиться с White Paper можно будет в нашей следующей Business рассылке, подписывайтесь!

А помните сочную демку про Австралию в UE4? Дак вот, её выкупили и теперь раздают бесплатно, го ковырять!

https://vimeo.com/458740434


https://www.unrealengine.com/en-US/blog/rural-australia-environment-collection-now-available-for-free

Делимся еще одной интересной механикой, на которую наткнулись в Snapchat.

В Китае используют специальные жесты для цифр от 1 до 10, разработчик Oscar Falmer привязал к каждому жесту текстовое описание. Потенциально это можно использовать для перевода культурных языков в AR, избегая недоразумений, берите на заметку! :)

#artist #mechanics