Трекинг рук и тела уже доступен в Instagram

Как и обещал Марк на конференции Facebook Connect - Spark AR выкатил обновление и теперь трекинг тела и рук доступен для всех! Надеемся, что вы уже придумали такой эффект для бренда?

Про трекинг тела стоит рассказать чуть подробнее: он 2D-шый, цепляется к 20 точкам тела (колени и локти, например), эффект будет работать как для одного человека, так и для нескольких в кадре. Эффект можно создавать и для отдельных частей тела. Можно так же трекать где начинается и заканчивается тело людей в кадре и, например, поменять их местами 😂
Meta уже работает над тем, чтобы трекинг стал 3D и скоро поделятся инфой. Это значит виртуальный шмот скоро прибудет в Instagram.

Трекинг рук. У него столько вариантов использования! Советуем пробежаться по подобным линзам Snapchat, чтобы найти вдохновение. Spark AR работает над распознаванием жестов (пальцы и запястье), так что привет эффекты как в TikTok.

Niantic выпустили Lightship ARDK.

Niantic — это ребята, которые создали Pokémon Go. Платформа Lightship ARDK через интеграцию в Unity открывает разработчикам доступ к фичам, которыми раньше пользовался только Niantic. Это:
⏺ Real-Time Mapping.
Инструмент считывает пространство в радиусе 5-10 метров и за счет цвета создает его карту. Благодаря этому в AR опыте мяч будет отскакивать от стен, пола и закатится за диван.
⏺ Мультиплеер.
До 8 человек в одном AR-пространстве могут играть или проходить квесты. Вот это новый уровень для AR-приложений.
⏺ Semantic Segmentation.
Lightship сегментирует "естественные" объекты, что открывает много возможностей: от "покраски" объектов до интерактивного взаимодействия с ними. Для сегментации доступны небо, земля, искусственный газон, вода, здания и листва. Например, используя сегментацию неба, можно разместить объекты на горизонте, и их будут перекрывать деревья и дома.

Разрабатывать такие AR-опыты рекомендуется для iPhone 8 и старше и для Android смартфонов старше 2018 г.

8th Wall выпустил Reality Engine.

Reality Engine помогает создавать WebAR опыт, который будет доступен на смартфонах, планшетах, десктопе, AR и VR очках одновременно. Это сильно расширяет охватность проектов на 8th Wall, сохраняя при этом те же сроки на разработку опыта. Контент будет адаптироваться под каждую площадку автоматически, поэтому оптимизация для опыта не нужна.

Мы, честно говоря, не поняли зачем. Сценарии использования AR и VR технологий различаются и из-за этого контент будет разным. В гифке видно, что смысл голограммы теряется, как только его перемещают в VR или на десктоп. При этом в AR-очках голограмма будет крутой.

Посмотреть промо ролик.

Кейс: Голограммы звезд в Web AR Сбербанка.

Ждём много Сбербанка в медиапространстве, потому что банк празднует 180 лет. Проект СберТанцы - это Web AR на базе 8th Wall, в котором пользователь найдет голограммы a.k.a. волюметрик видео любимых исполнителей: Филипп Киркоров, Клава Кока, Вера Брежнева и др. Web AR создан для конкурса, в котором пользователь танцует вместе с голограммой выбранной селебы, выкладывает видео в соц. сети и выигрывает кучу призов. В призах, конечно, найдется и iPhone 13. У проекта крутое user journey и качественное волюметрик видео, снятое в собственной студии Сбера. Попробуйте опыт тут.

Пока нет новостей, подборка эффектов Instagram для вдохновения.

🔥 Puppet - эффект для чревовещателей :) https://www.instagram.com/ar/593326008661279/
🔥 Maestro - почувствуйте себя дирижером, в эффекте вы управляете руками мелодией. Багованный эффект (музыка может просто не играть), но с очень крутой идеей. https://www.instagram.com/ar/319920442913562/
🔥 4 милых эффекта для сети ТЦ в Сингапуре, которые украшают окружение к Рождеству.
https://www.instagram.com/ar/1063229364482579/
https://www.instagram.com/ar/393855688947972/
https://www.instagram.com/ar/287450849879793/
https://www.instagram.com/ar/388138132847121/
🔥 Speed Boxing - клевый пример использования трекера рук для развлечения + немного фитнеса для пользователей. https://www.instagram.com/ar/446938340137382
🔥 Классный эффект от NYX UK к коллекции Волшебник в стране OZ, где реализовали кликабельные элементы в сцене, которые ведут к тематическому макияжу https://www.instagram.com/ar/4516079241801622/
🔥 Holiday Challenge для Pandora, стандартная механика игры, но очень красивая реализация. https://www.instagram.com/ar/216870060502278/
🔥 Hit or miss, вовлекающий world effect, по сути тир :) https://www.instagram.com/ar/376877057457899/

Видео с эффектами в комментариях.

Станьте охотником за приведениями в AR-игре.

К выходу фильма "Охотники за привидениями: Загробная жизнь" Sony выпустили приложение Ghostbusters: Afterlife ScARe. Игра доступна на iOS и Android.
В игре пользователь выступает в роли охотника, который ловит призраков и решает головоломки. Игра разделена на "эпизоды", часть из которых игроку предлагается купить. 99 рублей по отдельности или 499 за полный "сезон".

Интерактив имитирует стандартные действия, которые человек совершает, когда пользуется смартфоном. Например, ответы на видеозвонки, уведомления о сообщениях. После общения с персонажем, игрок проходит короткое обучение и отправляется на первую миссию.

Если сравнивать с приложением Marvel к фильму "Вечные", то Охотники выигрывают с отрывом. Трейлер тут: https://youtu.be/c-m8-Xek6zQ
Интересно, как игра поможет фильму получить больше зрителей.
Скачать на iOS, скачать на Android.

Миссия-обучение длится около 5 минут, мы сделали скринкаст и порезали, чтобы вы посмотрели на геймплей.

Телеканал "Пятница!" запустит ремейк шоу "Alter Ego".

Адаптация шоу FOX появится на экранах в 2022 году. Напомним, что Alter Ego - это шоу в котором перед судьями выступают цифровые аватары артистов. Это открывает двери начинающим певцам - их не ограничивает возраст и пол, или то, что они не довольны своим внешним видом.
Мы будем следить за проектом, а пока посмотрите выступление из оригинального шоу.

Продано 10 миллионов VR гарнитур Oculus Quest 2.

Qualcomm - компания, которая разрабатывает решения для беспроводной связи. 16 ноября на презентации для инвесторов они объявили, что в сотрудничестве с Meta (a.k.a. Facebook) было продано 10 миллионов шлемов Oculus Quest 2. И это продажи за год - версия Oculus Quest 2 запущена в октябре 2020.

Успех продукта очевиден, отчасти из-за того, что он доступен для широкой аудитории (в рублях около 20к.).

Summit Scramble - первая кросс-платформенная игра 8th Wall.

8th Wall запустил Reality Engine 9 ноября и теперь представил игру, которая показывает, как этот инструмент работает. Напомним, что теперь Web AR опыт автоматически оптимизируется под разные платформы, и посмотреть контент можно со смартфона, компьютера и VR-гарнитуры.

В игру Summit Scramble можно играть как одному, так и нескольким людям одновременно в одном опыте. В ней аватар пользователя (который создается с помощью Ready Player Me) забирается на гору, преодолевая препятствия на время и соревнуется в количестве набранных монет с друзьями или за звание чемпиона мира в одиночной игре.
Попробуйте на разных устройствах: https://summitscramble.com/

Кейс: коллаборация REESE'S PUFFS и артиста KAWS.

KAWSPUFFS - это коллаборация бренда утренних хлопушек (ну шоколадных шариков, ладно) REESE'S PUFFS и артиста KAWS. Бренд выпустил лимитированную коробку для хлопушек в дизайне KAWS, с QR-кодом. Он отправляет покупателя в AR-игру, где заработанные очки помогут выиграть призы. Главный приз - коробка с хлопушками, подписанная артистом.

Игра простая - с неба падают шарики, которые надо лопать. Со временем скорость падения увеличивается, появляютcя другие элементы, которые лопать не стоит. Когда игра заканчивается пользователю предлагают скачать приложение, в котором еще больше игр и призов.
Красивый кейс, но назвать игру полноценным AR-опытом сложно. Поиграть самим можно тут, но для этого вам понадобится VPN (игра работает только на территории США) и фото коробки.

Заработать биткоинов играя с Niantic и Fold - уже реально.

В США. Fold - это крипто-дебетовая карта. Niantic - создатель Pokémon Go. В коллаборации они создали игру в дополненной реальности, где пользователь не только играет, но и зарабатывает Сатоши (или копейки в Биткоинах).
Игрок так же ищет бинарные кубы, внутри которого может оказаться Сатоши или бонус для дебетовой карты. Игра разворачивается на территории 1-15 метров от игрока и обновляется каждые 10 минут, а не привязана к карте. Одна из целей компании Fold - сделать виртуальную валюту более реальной с помощью AR и попасть в тренд "зарабатывай играя".

Подробнее в The Verge

eBay тестирует ИИ для создания 3D моделей товаров.

С 7 декабря eBay и продавцы кроссовок тестируют новую технологию создания 3D моделей товаров, которая основана на искусственном интеллекте. Она поможет продавцам быстро и дешево создавать 3D модели товаров, которые позволяют увидеть мелкие детали так, как будто покупатель видит товар вживую.

Продавец снимает товар на видео, a.k.a сканирует, со всех сторон, данные загружаются в облако, где их обрабатывает ИИ и выдает фотореалистичное 3D изображение товара.

Все больше e-commerce проектов добавляют в карточки товаров просмотр в 3D и AR (если у бренда уже есть 3D модель, то сделать товар доступным для просмотра в дополненной реальности не составляет труда). Исследования показывают, что 3D и AR просмотр товара в онлайн магазинах повышает вероятность покупки и снижает количество возвратов, а возможность рассмотреть товар в деталях особо важна для Б/У товаров.

https://vimeo.com/651297687

Приложение Spark AR Go запустили в бета тестирование.

Вчера Марк Цукерберг запостил Reel, в котором рассказал о запуске того самого приложения для iOS. Оно называется Spark AR Go (в анонсе оно называлось Polar) и помогает создавать и публиковать простейшие эффекты без дополнительных навыков. Большие бренды, конечно, будут продолжать работать с агентствами и студиями, но вот бренды с маленьким бюджетом и малый бизнес смогут использовать инструмент. Ждем открытого доступа!

Рандомайзер на видео он создал сам, попробовать его можно тут.

Попробовать получить beta доступ можно тут: https://go.facebookinc.com/SparkARGo-Signup.html

Для AR-эффектов в Instagram доступны новые метрики.

В Spark AR Hub в статистике эффекта теперь будут доступны:
Топ городов: города, в которых пользователь впервые открывает эффект, метрика получает локацию через IP пользователя.
Топ языков: метрика основывается на языке, который пользователь выбрал в Facebook или Instagram.

Важно: города показываются только если эффект открывали более 1000 раз, языки - более 100.
Подробнее и на английском тут: https://bit.ly/3s8MIG6

Отслеживание тела в Web AR от Geenee.

Площадка для Web AR Geenee выкатила новый SDK и с его помощью теперь в Web AR отслеживается тело. Это первая площадка, которая предлагает такую возможность в Web AR. Маркетологи могут использовать инструмент, например, для виртуальной примерки одежды, игр и интерактивного опыта. Пользователи еще смогут примерять аватаров и NFT-шмот.
Говоря о минусах: в тестовом опыте нет возможности записать видео.

Попробовать тестовый опыт тут: https://lab.geen.ee/avatar/

Сеть магазинов Lowe показала прототип AR-приложения для планирования ремонта.

Lowe - это сеть магазинов, в которых продается товар для обустройства дома - от нового пола, до мебели. В начале следующего года Lowe запустит в бета тестирование новую функцию Measure your room в приложении iOS.

С помощью этой функции пользователь сканирует комнату и создает её точную 3D модель. После он сможет "примерить" разные цвета и материалы для пола и увидеть, как они вписываются в комнату. Без "перекрытия" мебели - AR-пол будет отображаться под столами, стульями, диванами и другой мебелью. Технология работает благодаря LiDAR в новых iPhone и iPad, который считывает изображение в 3-х измерениях и понимает глубину изображения.

3D модель можно передать консультанту в оффлайн магазине и он рассчитает количество материалов, которые нужны для ремонта. В бета доступе будет только пол, но в прототипе Lowe показывает как покупатели примеряют и цвет стен и занавески, поэтому инструмент будет работать для всех категорий товаров.

Вспоминаем отчет Snap и Deloitte: аудитория ожидает, что AR станет полезным инструментом, ведь этап "это просто игрушка" уже пройден. Такие инструменты - первые звоночки нового этапа развития AR для массового покупателя.

Подробнее о проекте и на английском: https://www.digitalcommerce360.com/2021/11/19/lowes-unveils-a-new-ar-measurement-tool-for-sizing-up-rooms/