Университет Карнеги-Меллона создал систему трекинга ног с помощью камер на ВР-контроллерах
Исследователи из Университета Карнеги-Меллона продемонстрировали работу системы отслеживания всего тела в виртуальной реальности с помощью камер, встроенных в ручные контроллеры. Идея может показаться притянутой за уши, но в ней появляется практический смысл, если вспомнить, что такие контроллеры уже делают в Magic Leap и Meta*.
Устройства для виара давно позволяют оцифровывать не только голову и руки до пальцев, но и торс с ногами. Для этого, однако, нужно дополнительное оборудование, такое как беспроводные трекеры или дорогие системы визуального слежения, находящиеся за пределами финансовых возможностей большинства людей.
В очках уже есть способные к такому трекингу камеры. Они неплохо работают с руками и пальцами, но обычно имеют угол обзора, недостаточный для наблюдения за ногами. Изучив проблему, Meta пришла к выводу, согласно которому, полный трекинг тела через очки нецелесообразен.
Учёные Университета Карнеги-Меллона провели собственное исследование, которое намекает, куда может пойти мысль инженеров Meta, если они отказались от камер очков. В рамках научной работы её авторы добавили по две камеры к каждому контроллеру Quest 2 и научили алгоритмы компьютерного зрения ассоциировать видимое изображение с положением ног и туловища аватаров, сравнивая данные с базовой информацией о положении рук.
Слабой стороной системы под названием ControllerPose является необходимость держать руки так, чтобы не перекрывать обзор камерам. Точность трекинга оставляет желать лучшего. Но перед нами результаты исследовательской работы, а не готовый продукт.
Авторы проекта говорят, что, по результатам их собственных тестов, пользователи очков виртуальной реальности держат руки перед собой примерно в 68% случаев. Когда руки находятся в неподходящем положении, система должна брать за основу данные инверсивной кинематики от инерциальных датчиков. Исследователи уверяют, что камеры с более широкими углами обзора позволят фиксировать положение ног, даже когда руки пользователя и контроллеры лежат по бокам.
Они же считают миллиметровую точность практически недостижимой. Зато сантиметровая возможна, и её будет достаточно для многих вариантов использования виртуальной реальности. Прототип показал среднюю погрешность в 6,98 сантиметра. Авторы предлагают рассматривать это как минимум, а не максимум возможностей, учитывая малое время работы над оптимизацией.
За это время сотрудники университета создали не только модель отслеживания на базе доработанных серийных очков, но и прототипы приложений, которые показывают потенциал системы в простых игровых кейсах. И подошли к вопросу с юмором: например, в игре Feet Saber разрезать блоки под музыку нужно и руками, и ногами.
Не пропускайте важнейшие новости о дополненной и виртуальной реальности и новейших технологиях — подписывайтесь на ProgramLab в Telegram и VK.
#vr #programlab #news
https://youtu.be/5p_glarZOdU
Исследователи из Университета Карнеги-Меллона продемонстрировали работу системы отслеживания всего тела в виртуальной реальности с помощью камер, встроенных в ручные контроллеры. Идея может показаться притянутой за уши, но в ней появляется практический смысл, если вспомнить, что такие контроллеры уже делают в Magic Leap и Meta*.
Устройства для виара давно позволяют оцифровывать не только голову и руки до пальцев, но и торс с ногами. Для этого, однако, нужно дополнительное оборудование, такое как беспроводные трекеры или дорогие системы визуального слежения, находящиеся за пределами финансовых возможностей большинства людей.
В очках уже есть способные к такому трекингу камеры. Они неплохо работают с руками и пальцами, но обычно имеют угол обзора, недостаточный для наблюдения за ногами. Изучив проблему, Meta пришла к выводу, согласно которому, полный трекинг тела через очки нецелесообразен.
Учёные Университета Карнеги-Меллона провели собственное исследование, которое намекает, куда может пойти мысль инженеров Meta, если они отказались от камер очков. В рамках научной работы её авторы добавили по две камеры к каждому контроллеру Quest 2 и научили алгоритмы компьютерного зрения ассоциировать видимое изображение с положением ног и туловища аватаров, сравнивая данные с базовой информацией о положении рук.
Слабой стороной системы под названием ControllerPose является необходимость держать руки так, чтобы не перекрывать обзор камерам. Точность трекинга оставляет желать лучшего. Но перед нами результаты исследовательской работы, а не готовый продукт.
Авторы проекта говорят, что, по результатам их собственных тестов, пользователи очков виртуальной реальности держат руки перед собой примерно в 68% случаев. Когда руки находятся в неподходящем положении, система должна брать за основу данные инверсивной кинематики от инерциальных датчиков. Исследователи уверяют, что камеры с более широкими углами обзора позволят фиксировать положение ног, даже когда руки пользователя и контроллеры лежат по бокам.
Они же считают миллиметровую точность практически недостижимой. Зато сантиметровая возможна, и её будет достаточно для многих вариантов использования виртуальной реальности. Прототип показал среднюю погрешность в 6,98 сантиметра. Авторы предлагают рассматривать это как минимум, а не максимум возможностей, учитывая малое время работы над оптимизацией.
За это время сотрудники университета создали не только модель отслеживания на базе доработанных серийных очков, но и прототипы приложений, которые показывают потенциал системы в простых игровых кейсах. И подошли к вопросу с юмором: например, в игре Feet Saber разрезать блоки под музыку нужно и руками, и ногами.
Не пропускайте важнейшие новости о дополненной и виртуальной реальности и новейших технологиях — подписывайтесь на ProgramLab в Telegram и VK.
#vr #programlab #news
https://youtu.be/5p_glarZOdU
YouTube
ControllerPose: Inside-Out Body Capture with VR Controller Cameras
We present a new and practical method for capturing user body pose in virtual reality experiences: integrating cameras into handheld controllers, where batteries, computation and wireless communication already exist. By virtue of the hands operating in front…
Red 6 провела лётные испытания системы тренировки лётчиков в дополненной реальности ATARS
Red 6, разработчик системы дополненной реальности для обучения воздушному бою, который недавно получил многолетний контракт от ВВС США, объявила об успешном выполнении первого тренировочного полёта на двух самолётах с поражением нескольких виртуальных целей.
Red 6 называет свою Систему воздушной тактической дополненной реальности (Airborne Tactical Augmented Reality System, ATARS) первым полноцветным ДР-решением с широким полем зрения для работы в динамичных внешних средах на высоких скоростях. ATARS представляет собой комплекс, в состав которого входят лётный шлем с прозрачными дисплеями (на изображении выше рендер слева и реальный образец с AWE 2022 справа), система обмена данными и визуализации, а также пульт наземного оператора, который управляет тренировками. Это не тренажёр в привычном виде: обучение проходит в воздухе на учебных машинах.
В рамках испытаний Red 6 удалось соединить несколько бортов в общую среду дополненной реальности, на открытом воздухе и в небе, что в компании называют важной технической вехой проекта.
Два лётчика-испытателя вылетели на машинах Berkut 540 из калифорнийского аэропорта Санта-Моника. Войдя в Комбинированную операционную сеть боевого пространства дополненной реальности (Combined Augmented Reality Battlespace Operation Network, CARBON) над округом Вентура, каждый пилот получил возможность работать с виртуальной моделью заправщика Boeing KC-46A Pegasus. Red 1 (первый борт) провёл тренировочную миссию, а Red 2 (второй борт) наблюдал за взаимодействием Red 1 и заправщика в реальном времени.
Red 6 продолжает выполнение условий контракта. Напомним, что компания получила его в результате прохождения программы «Small Business Innovation Research» (SBIR), которая направлена на инновационное развитие военно-воздушных сил Соединённых Штатов.
Не пропускайте важнейшие новости о дополненной и виртуальной реальности и новейших технологиях — подписывайтесь на ProgramLab в Telegram и VK.
#vr #programlab #news
Red 6, разработчик системы дополненной реальности для обучения воздушному бою, который недавно получил многолетний контракт от ВВС США, объявила об успешном выполнении первого тренировочного полёта на двух самолётах с поражением нескольких виртуальных целей.
Red 6 называет свою Систему воздушной тактической дополненной реальности (Airborne Tactical Augmented Reality System, ATARS) первым полноцветным ДР-решением с широким полем зрения для работы в динамичных внешних средах на высоких скоростях. ATARS представляет собой комплекс, в состав которого входят лётный шлем с прозрачными дисплеями (на изображении выше рендер слева и реальный образец с AWE 2022 справа), система обмена данными и визуализации, а также пульт наземного оператора, который управляет тренировками. Это не тренажёр в привычном виде: обучение проходит в воздухе на учебных машинах.
В рамках испытаний Red 6 удалось соединить несколько бортов в общую среду дополненной реальности, на открытом воздухе и в небе, что в компании называют важной технической вехой проекта.
Два лётчика-испытателя вылетели на машинах Berkut 540 из калифорнийского аэропорта Санта-Моника. Войдя в Комбинированную операционную сеть боевого пространства дополненной реальности (Combined Augmented Reality Battlespace Operation Network, CARBON) над округом Вентура, каждый пилот получил возможность работать с виртуальной моделью заправщика Boeing KC-46A Pegasus. Red 1 (первый борт) провёл тренировочную миссию, а Red 2 (второй борт) наблюдал за взаимодействием Red 1 и заправщика в реальном времени.
Red 6 продолжает выполнение условий контракта. Напомним, что компания получила его в результате прохождения программы «Small Business Innovation Research» (SBIR), которая направлена на инновационное развитие военно-воздушных сил Соединённых Штатов.
Не пропускайте важнейшие новости о дополненной и виртуальной реальности и новейших технологиях — подписывайтесь на ProgramLab в Telegram и VK.
#vr #programlab #news
На очереди очередная порция технологических стартапов в сфере образования.
Elevate K-12
обеспечивает высококачественное обучение в прямом эфире в школьном классе
Основан в 2015 году, США. Миссия - решение продолжающегося кризиса нехватки учителей путем масштабирования модели обучения в прямом эфире на большее количество школ и округов, в которых не хватает учителей в критических областях контента из-за барьеров с почтовыми индексами. Школы и округа сотрудничают с учебным решением, чтобы решить проблемы с нехваткой учителей и чрезмерным использованием долгосрочных заменителей или учителей низкого качества. Сервис включает запатентованную технологию Live Instruction Management, Live Instruction Service, Curriculum и Classroom Management, чтобы предоставить необходимые инструменты для совместного преподавания и обучения, которые имитируют опыт реального физического класса. В настоящее время работает в 27 штатах и быстро расширяется на новые штаты и округа США в школах K-12.
CoachHub
Профессиональное обучение и коучинг
Основан в 2018 году, США. Глобальная платформа развития талантов, которая позволяет организациям создавать персонализированные, измеримые и масштабируемые программы коучинга для всей рабочей силы, независимо от направления и уровня стажа. С помощью веб-приложений и мобильных приложений цифровая коучинговая платформа сопоставляет учащихся с пулом из более чем 3500 сертифицированных бизнес-тренеров, которые говорят более чем на 60 языках и проживают в 90 странах во всех часовых поясах. Приложение объединяет человеческий интеллект с технологией искусственного интеллекта, чтобы связать сотрудников с их идеальными тренерами и курировать библиотеку контента, которая улучшает их учебный процесс. В настоящее время обслуживает большинство ведущих мировых экономик и работает с крупными многонациональными предприятиями: Coca-Cola, Danone, Toyota, LVMH, L’Oréal, Credit Suisse и Twitter. Имеет региональные штаб-квартиры в Берлине (Европа) и Сингапуре (Азия)
UpGrad
Онлайн-портал высшего образования EdTech, предоставляющий научные курсы, которые помогают повысить квалификацию и преуспеть
Основан в 2015 году, Индия. Охватывает несколько сегментов: от подготовки к экзаменам до обучения за границей, от получения степени бакалавра до курсов в кампусе в 250 университетах. Предложения включают финансы, юриспруденцию, бизнес и программное обеспечение для возрастной группы от 18 до 60 лет. Обслуживает клиентов старшего возраста, ищущих опыт, дополнительную степень или помощь в прохождении сверхконкурентных вступительных испытаний в элитные индийские инженерные, медицинские и бизнес-школы. В финансовом году, заканчивающемся в марте следующего года, примерно 3 миллиона учащихся пройдут курсы, которые длятся от нескольких месяцев до нескольких лет и стоят от 50 000 рупий (640 долларов США) до 800 000 рупий. Планирует получить валовой доход в размере 500 миллионов долларов в год. Помимо Индии быстро растет в Индонезии, Вьетнаме и на Ближнем Востоке.
Не пропускайте важнейшие новости о дополненной и виртуальной реальности и новейших технологиях — подписывайтесь на ProgramLab в Telegram и VK.
#vr #programlab #news
Elevate K-12
обеспечивает высококачественное обучение в прямом эфире в школьном классе
Основан в 2015 году, США. Миссия - решение продолжающегося кризиса нехватки учителей путем масштабирования модели обучения в прямом эфире на большее количество школ и округов, в которых не хватает учителей в критических областях контента из-за барьеров с почтовыми индексами. Школы и округа сотрудничают с учебным решением, чтобы решить проблемы с нехваткой учителей и чрезмерным использованием долгосрочных заменителей или учителей низкого качества. Сервис включает запатентованную технологию Live Instruction Management, Live Instruction Service, Curriculum и Classroom Management, чтобы предоставить необходимые инструменты для совместного преподавания и обучения, которые имитируют опыт реального физического класса. В настоящее время работает в 27 штатах и быстро расширяется на новые штаты и округа США в школах K-12.
CoachHub
Профессиональное обучение и коучинг
Основан в 2018 году, США. Глобальная платформа развития талантов, которая позволяет организациям создавать персонализированные, измеримые и масштабируемые программы коучинга для всей рабочей силы, независимо от направления и уровня стажа. С помощью веб-приложений и мобильных приложений цифровая коучинговая платформа сопоставляет учащихся с пулом из более чем 3500 сертифицированных бизнес-тренеров, которые говорят более чем на 60 языках и проживают в 90 странах во всех часовых поясах. Приложение объединяет человеческий интеллект с технологией искусственного интеллекта, чтобы связать сотрудников с их идеальными тренерами и курировать библиотеку контента, которая улучшает их учебный процесс. В настоящее время обслуживает большинство ведущих мировых экономик и работает с крупными многонациональными предприятиями: Coca-Cola, Danone, Toyota, LVMH, L’Oréal, Credit Suisse и Twitter. Имеет региональные штаб-квартиры в Берлине (Европа) и Сингапуре (Азия)
UpGrad
Онлайн-портал высшего образования EdTech, предоставляющий научные курсы, которые помогают повысить квалификацию и преуспеть
Основан в 2015 году, Индия. Охватывает несколько сегментов: от подготовки к экзаменам до обучения за границей, от получения степени бакалавра до курсов в кампусе в 250 университетах. Предложения включают финансы, юриспруденцию, бизнес и программное обеспечение для возрастной группы от 18 до 60 лет. Обслуживает клиентов старшего возраста, ищущих опыт, дополнительную степень или помощь в прохождении сверхконкурентных вступительных испытаний в элитные индийские инженерные, медицинские и бизнес-школы. В финансовом году, заканчивающемся в марте следующего года, примерно 3 миллиона учащихся пройдут курсы, которые длятся от нескольких месяцев до нескольких лет и стоят от 50 000 рупий (640 долларов США) до 800 000 рупий. Планирует получить валовой доход в размере 500 миллионов долларов в год. Помимо Индии быстро растет в Индонезии, Вьетнаме и на Ближнем Востоке.
Не пропускайте важнейшие новости о дополненной и виртуальной реальности и новейших технологиях — подписывайтесь на ProgramLab в Telegram и VK.
#vr #programlab #news
