Microsoft IntelliFrame. Гибридные встречи двумя способами: AI-камеры или AI-сервис

Гибридные конференции породили специфическое "неравенство". Раньше ущемленными считались удаленные участники встречи, поскольку у них нет профессиональных камер и микрофонов, их плохо видно и слышно, а в конференц-зале все за одно, им проще перекинуться парой слов и быстрее понять друг друга.

Сейчас вскрылись некоторые дополнительные моменты: индивидуальному участнику проще управлять своим представлением и контентом, писать в чат, его хорошо видно, потому что он один перед персональной камерой. А люди в переговорной теряются на общей картинке и всеми их возможностями управляет администратор.

Разбивка видео из переговорной на персональные потоки и кадрирование каждого крупным планом должны были хотя бы визуально уравнять в правах участников.

Microsoft в октябре 2022 года анонсировал функцию IntelliFrame. Она позволяет показывать в отдельном окне текущего и предыдущего спикеров, а также общий план комнаты с участниками. В своем блоге они подробно описали разницу между облачным и локальным способами реализации.

⚙ IntelliFrame с использованием многопоточных интеллектуальных камер

Основную работу выполняет камера. Интеллектуальные камеры разных производителей могут быть спроектированы сразу с использованием AI от Microsoft — например, SmartVision 60 от Yealink. А могут работать на собственных AI-технологиях, интегрированных в экосистему Teams Rooms через Microsoft Intelligent Camera API, как Jabra Panacast 50

Эти камеры распознают участников по лицу и по голосу, а потом "представляют" их на собрании с помощью профилей. От распознавания можно отказаться. Также алгоритмы отслеживают активного говорящего, передают в Teams общий план комнаты и сразу отдельные потоки спикеров.

Платформа Microsoft поддерживает и классическую съемку с основного ракурса, и панорамные настольные камеры, и многокамерную съемку.

🌐 Облачный IntelliFrame для обычных камер

Видеопоток обрабатывается в облаке. Камера может быть обычной, не оснащенной интеллектуальными функциями.

Тогда работающий на серверах Microsoft облачный AI разбивает присланный камерой общий видеопоток на отдельные видео участников, используя некоторые наработки для интеллектуальных камер — например, распознавание и отслеживание головы.

Не будет распознавания людей, представления их профилей и активного отслеживания выступающих. В итоге разрешение видео может быть ниже, чем у многопоточных камер, но решается основная задача — показ выступающих в комнате крупным планом для удаленных участников.

Cloud IntelliFrame теперь доступен владельцам лицензий Teams Rooms Pro.
_________

⚙ Microsoft IntelliFrame с использованием многопоточных интеллектуальных камер

🌐 Microsoft Cloud IntelliFrame для обычных камер, не оснащенных искусственным интеллектом