Web AR станет лучше в iOS 15

Новая версия iOS улучшит производительность Web AR на iPhone, а мы попробуем рассказать почему, без лишних технических подробностей.

iOS 15 стал поддерживать WebGL 2.0 и WebGL с поддержкой Metal. Это инструменты, которые повышают качество 3D моделей, их текстуры, тени и скорость загрузки. В итоге на устройствах с iOS 15 частота кадров выросла на 36%. Теперь привычный опыт стал быстрее, а в новых проектах можно создавать более сложный опыт, который не будет баговать.

Появился удобный и быстрый способ поделиться AR опытом: теперь разработчики 8th Wall могут добавлять нужные кнопки в Share Sheet. Это всплывающее окно, где вы делитесь файлом или контентом с другим приложением на устройстве. Например, когда жмете "Поделиться" фотографией и выбираете приложение или мессенджер.

Как это работает для Web AR. Например, цель проекта на 8th Wall получить UGC. Раньше, если пользователь делал фото или видео не через скрин, а через сайт - они сохранялись в Файлы. Теперь они будут сохраняться в Фото и пользователь сразу может отправить фото или видео в другое приложение, не сохраняя его на устройстве.

Эти улучшения коснутся большинства iPhone, потому что пользователи Apple привыкли обновлять свои устройства. Например, 85% всех iPhone были обновлены до iOS 14 - это официальная статистика Apple. Можно уверенно говорить о том, что через несколько месяцев большая часть iPhone будут работать на iOS 15.

Больше технических подробностей по ссылке:
https://www.8thwall.com/blog/post/55735684932/ios-15-makes-iphone-an-even-more-powerful-webar-machine

Кейс: концерт Muse на виртуальном стадионе.

Приложение Stageverse - это платформа для проведения виртуальных мероприятий или создания иммерсивных проектов. Большой плюс этой платформы в том, что ей можно пользоваться как на смартфоне, так и с помощью VR гарнитуры. Это сильно расширяет аудиторию проекта.

2-х часовой концерт “Muse: Enter The Simulation”, который записан в июле 2019 года в Мадриде, можно посмотреть с 16 точек обзора в 360, между которыми можно свободно перемещаться. Для VR гарнитур концерт дополнен визуальными эффектами в 3D. Пользователь посещает концерт в виде аватара, выбрать его можно только из уже "готовых" - одетых в костюмы Muse или Balmain. Внутри точек просмотра пользователи могут общаться голосом с другими пользователями, которые смотрят концерт в той же точке.

Концерт - это хороший пример кросс-платформенного интерактивного опыта. Проект можно отнести к концепции метавселенной, о которой последнее время так много говорят.

Подробнее на сайте проекта: https://stageverse.com/muse

Google добавил AR-модели достопримечательностей в поиск

3D модели в поиске Google начались с животных, потом добавились товары, космические корабли, атлеты и даже бейби Йода. Теперь в поиске доступно около сотни достопримечательностей. Пользователь набирает в поиске название достопримечательности и в результатах поиска нужно найти кнопку "Смотреть в 3D" и готово: Статуя Свободы в вашем дворе.

Стоит отметить особенность этих моделей: они генерируются из данных Google Earth. За счет этого модели будут хорошо загружаться даже на "слабых" смартфонах.

Кейс: Funko Europe запустили AR-квиз по сериалу Локи.

Компания Funko выпускает фигурки по сериалам, комиксам, фильмам и т.д. Для продвижения серии фигурок с персонажами сериала Локи, Funko создали квиз по сериалу в Web AR. После прохождения квиза пользователь участвовал в лотерее и мог выиграть лимитированные шлем и фигурки Funko Pop и, конечно, кнопка со ссылкой на покупку фигурки из коллекции заметна в течение опыта.

Аудитория сериала + мерч = гарантия высокой вовлеченности, а с возможностью получить подарок в конце стимулирует пройти опыт еще больше :) Качество продакшн на высоте, советуем попробовать пройти квиз: https://funkoeurope.arweb.app/

В комментариях к посту ищите скринкаст всего опыта.

Unity запускает инструмент для 3D трансляций.

Metacast создан для трансляции волюметрик видео спортивных состязаний. Так зритель сам определяет угол обзора, а компании могут добавлять интерактив в трансляцию.

Теперь повторы острых моментов могут измениться, как и судейство. Unity заявляет о том, что Metacast работает и для трансляций в прямом эфире.

Подробнее на сайте: https://unity.com/sports

Кейс BBDO: Памятники борцам против расизма в дополненной реальности.

В 2020 году в США люди выходили на демонстрации Black Lives Matter и уничтожали памятники конфедератам, которые напоминают им о неравенстве и угнетении в прошлом. Организация Color of change решила использовать пустующие монументы и рассказать об известных активистах в тех местах, которые раньше символизировали ненависть.

Поставить памятники Джону Льюису, Алисии Гарза и Челси Миллер можно через эффект в Instagram. Для подобных социальных проектов крайне важно быть легкодоступным и легко распространяемым, именно поэтому Instagram - идеальная площадка.
Кейс BBDO: https://www.youtube.com/watch?v=GC8dmGk_LdU
Попробовать эффекты: https://www.instagram.com/colorofchange/

Instagram тестирует трекинг тела. 😱

Недавно мы рассказывали о трекинге рук в Instagram. Появился фильтр Neon Dancer, в котором отслеживается движение не только ладоней, а всего тела. Руки отслеживаются хорошо, а с ногами пока не очень :) Пора начинать продумывать эффекты на все тело для будущих рекламных кампаний.

Попробовать фильтр: https://www.instagram.com/ar/352670705968434 или по QR-коду в комментариях, если вы читаете с десктопа.

Трекинг объемных объектов в линзах Snapchat.

Голландская компания GoSpooky разработала собственный инструмент для трекинга 3D объектов. Он работает через API Lenses и помогает создавать интерактивный AR опыт с объемными объектами.

Свой первый тест компания провела на банке Coca-Cola, которая отслеживается камерой со всех сторон.

Невероятно круто!

Кейс: BEHR помогает выбрать цвет стен с помощью Spotify.

Узнайте цвет вашего любимого трека! На сайте BEHR Paint работает алгоритм, который определяет характеристики музыки (например, темп) и цвет, соответствующий её настроению. У сайта шикарная анимация фона, который двигается вместе с выбранной музыкой.

Кампания дополняется маской в Instagram и эффектом в TikTok (который доступен только в США, тут можно посмотреть видео). В маске пользователь выбирает музыку и ему предлагается один из цветов палитры Кэти Перри, которые отражают её треки 🤷🏻‍♀️ и созданы специально для этой коллаборации. Мы подумали, что важно рассказать о маске, так как об этой фиче знают не все. В эффектах Instagram можно выбирать музыку до старта записи истории! Важно: при использовании этой функции микрофон не будет работать, так что говорить вместе с музыкой не получится. Мы редко видим такие маски, а BEHR хорошо обыграли её.

Позалипать можно тут: https://behrmusicincolor.com/

Прямая трансляция голограмм в Web AR.

Теперь 8th Wall умеет устраивать прямые трансляции в дополненной реальности, с записанными с помощью инструментов 8i людьми. Компания 8i - это разработчик комплексного решения для записи волюметрик видео a.k.a. голограмм: запись человека на сцене, преобразование в 3D ассеты и интегрирование голограмм на платформы.

Партнерство двух компаний привело к первому решению на рынке, с помощью которого бренд может проводить презентации и мероприятия в прямом эфире со стримингом в WebAR. С 14 октября технология доступна для разработчиков как для заранее записанных голограмм, так и для прямых эфиров. Важно: голограмму придется записывать в одной из студий 8i в США, Новой Зеландии, Японии, Корее или Таиланде.

Процесс, который раньше занимал много времени, завершается за секунды благодаря технологии 8i.

Посмотреть запись трансляции в WebAR. Или QR код в комментариях.

Тренировки в AR 😱

Давно мы не показывали, как креаторы используют Spectacles. Адам Варга показал в Twitter как он использует AR-очки для тренировок.
Если судить по видео, то такие тренировки будут результативными и практичными. Пользователь выполняет нужные действия, очки фиксируют и задают следующее, а если добавить систему ачивок - тренировка превратится в игру.

Слухи: Facebook возможно сменит название

Месяц ребрендинга продолжается, появились слухи о том, что Марк Цукерберг 28 октября объявит о смене названия Facebook. Компания хочет ассоциироваться с метавселенной, а не с соц. сетью.

Цукерберг много говорит о том, что метавселенная в AR/VR - это наше будущее. И видимо новое название будет отражать это видение. Пока это слухи и компания уже прокомментировала новость The Verge фразой "не ориентируйтесь на слухи и спекуляции". Ну, посмотрим, что произойдет в следующий четверг.

Spark AR разрешил использовать статичные лого и надписи в эффектах.

Instagram порадовал вчера вечером и обновил Spark AR Policies. Проблемное правило для идей о запрете статичного текста и логотипов в эффекте отменено! Теперь:
⏺ не нужно интегрировать логотипы и текст в сцену эффекта
⏺ если у бренда есть эффекты, которые не согласованы по этой причине, то смело отправляйте их на повторную модерацию
⏺ Важно: правило 1.3 Visual Text еще актуально. Оно запрещает тексту в эффекте призывать пользователя переходить на другие ресурсы из Instagram, Facebook, Messenger или Portal.

Ура, ура! Но есть ощущение, что качество масок сильно уменьшится. Уже видим море логотипов в правом верхнем углу.

Двойная новость об AR в соц. сетях.

Facebook выкатил групповые эффекты для видеозвонков в Messenger и скоро обещает сделать это для Instagram. В Messenger уже доступно более 70 эффектов, в том числе и игр. Подобные эффекты создаются через Spark AR API и пока доступ предоставлен только нескольким разработчикам.

Pinterest в это время продолжает искать пути монетизации и обновил Idea pin. Такие пины напоминают истории Instagram, в них создают карусели и чаще из видео. Теперь к ним привязывается товар (если у аккаунта есть Product pin), рекомендации других товаров и, ура, AR try-on. На момент анонса, в Pinterest загружено 10к товаров, в основном косметика, которые можно попробовать на себе, но в России это пока не работает. Возможно, мы не нашли, и если это так, то как это найдет пользователь? 🤷🏻‍♀️

Пример AR try-on: https://www.youtube.com/watch?v=iVB-E_0NjjI
А вот эффекты в Messenger доступны для всех, так что советуем попробовать с коллегами.

Кейс: Marvel представляет персонажей Вечных через AR приложение.

Во-первых, хочется сказать: этот AR-опыт выглядит шикарно и если у вас не было желания смотреть Вечных раньше, то после этого захочется.

А теперь к делу. QR-код для установки приложения размещен на баннерах фильма. Приложение весит 1,6 Гб. 1,6 Гб! Персонаж Спрайт устраивает экскурсию по персонажам и основным событиям, которые предшествуют сюжету фильма Вечные. Внутри опыта будут "остановки", в это время вы можете походить вокруг сцены, персонажей и монстров.

Да, это приложение, да, тяжелое, да много людей отвалится на моменте "ой, лень скачивать". Но как же этот опыт круто работает! Он погружает пользователя в мир Вечных через визуальные эффекты и интерактив. Опыт длится 10-15 минут, во время которого пользователь внимательно слушает голос Спрайт и неотрывно смотрит на экран телефона. Вовлечение уровня 2000!

Посмотреть промо-ролик тут.
Попробовать на iOS тут.

Facebook теперь Meta.

Нам даже добавить нечего 😂

Главное об AR с конференции Facebook Connect.

Вчера Марк Цукерберг представил не только видение метавсленной, но и рассказал о ближайших обновлениях AR на платформах Facebook и Instagram. Коротко расскажем о самом важном:

⏺ До конца 2021 года Meta выпустит приложение Polar, в котором пользователи смогут создавать простейшие AR эффекты. Для использования приложения не нужно знание Spark AR, это приложение похоже на сервисы Supa и Canva, только для AR-эффектов.
⏺ В следующем году выйдет новый инструмент в Spark AR - World AR, который привяжет AR-контент к гео точкам. С его помощью компания предлагает создавать экскурсии и квесты. Можно создать своеобразный Pokemon Go, только от бренда и в Instagram!
⏺ Официально подтвердили трекинг рук и тела. Очень ждем этого!
⏺ Групповые эффекты для видео звонков уже доступны в Instagram и Facebook, и их загрузка теперь открыта для всех. Игры, костюмы и просто веселые эффекты для нескольких человек - вовлечение в бренд выкручиваем на максимум 🙂
⏺ Spark AR запускает программу обучения для продвинутых креаторов + запускает сертификацию специалистов.

Более подробно и на английском в блоге Spark AR: https://sparkar.facebook.com/blog/facebook-connect-2021-roundup/

Пока нет новостей мы решили сделать подборку прикольных эффектов Instagram.
В комментариях полные видео с эффектами.

1) Эффект для нового мультика Ron's Gone Wrong для основной камеры и с крутым интерактивом внутри. Попробовать: https://www.instagram.com/ar/420676589645211

2) Единственная маска в подборке и она превратит вас в Диву Плавалагуну из Пятого Элемента. Попробовать: https://www.instagram.com/ar/183866067236221/

3) Оживающий стакан с Джоном Ленноном. Стакана для пробы ни у кого нет, так что любоваться будем только на видео.

4) Даже слишком реалистичная змея 😱 Попробовать: https://www.instagram.com/ar/944401592831965

5) Поезд, но не в Пусан, а из купален госпожи Юбабы. Портал переносит пользователя в мир Унесенных призраками. Попробовать: https://www.instagram.com/ar/626814932016217/

Трекинг рук и тела уже доступен в Instagram

Как и обещал Марк на конференции Facebook Connect - Spark AR выкатил обновление и теперь трекинг тела и рук доступен для всех! Надеемся, что вы уже придумали такой эффект для бренда?

Про трекинг тела стоит рассказать чуть подробнее: он 2D-шый, цепляется к 20 точкам тела (колени и локти, например), эффект будет работать как для одного человека, так и для нескольких в кадре. Эффект можно создавать и для отдельных частей тела. Можно так же трекать где начинается и заканчивается тело людей в кадре и, например, поменять их местами 😂
Meta уже работает над тем, чтобы трекинг стал 3D и скоро поделятся инфой. Это значит виртуальный шмот скоро прибудет в Instagram.

Трекинг рук. У него столько вариантов использования! Советуем пробежаться по подобным линзам Snapchat, чтобы найти вдохновение. Spark AR работает над распознаванием жестов (пальцы и запястье), так что привет эффекты как в TikTok.