Сейчас все больше и больше появляется данных о том, что определить эмоцию человека исключительно по выражению лица не представляется возможным. Точнее – можно, но это не точно 😏.

Сильной и одновременно слабой стороной теории эмоций П.Экмана является центрирование на лице человека и стремление по комбинации определенных участков напряжения и движений (так называемые action units) определить текущую эмоцию. Эти положения были ведущими еще 5-15 лет тому назад и они активно использовались в разработке различных программ по чтению лиц и эмоций. Именно на них выросли все известные на сегодня API определения эмоций.

Однако в последнее время стали появляться доказательные данные того, что одного лица крайне мало, чтобы правильно определить эмоцию человека. Такие данные были и раньше, но в целом они не становились ведущими, поскольку чувствительно бы замедлили развитие прогресса в определении эмоций компьютером.
Проще говоря то, что человек на изображении улыбается вовсе не означает, что он испытывает эмоцию радости.

Во-первых, улыбкой мы маскируем практически все другие эмоции – и страх, и печаль, и презрение и даже отвращение. Но, тем не менее, чаще всего, если машина увидела улыбку (AU12), то она припишет этому изображению эмоцию радости.

Во-вторых, даже при калибровке и наблюдении за лицом, у нас есть определенные стереотипы: динамика направления уголков губ для нас стереотипно более значима, чем динамика мышц и AU, связанных с глазами. Упрощенно – легкую улыбку мы увидим чаще, чем легкий прищур и придадим ей большее значение.

В-третьих, есть лица абсолютно не читаемые по такой методологии. Это со многим чем связано, в том числе и с уровнем контроля над собственной мимикой. И таких людей, достоверно, становится все больше и больше: люди адаптируются и перестают быть читабельными.

На современном этапе полная оценка эмоции включает в себя 5 основных компонентов: лицо, голос, жестикуляцию и движений, контент, который человек говорит в данный момент, и оценка контекста. Однако тогда, многие исследователи в таких случаях уже говорят не о базовых эмоциях, а о эмоциональных состояниях.

И вот сейчас большой интерес к оценке в том числе и контекста.

В частности, недавно корейцы представили CAER-Net — алгоритм, который умеет распознавать эмоции человека не только по его лицу, но и ориентируясь на другие маркеры на изображении. Система основана на работе двух сверточных нейросетей, каждая из которых анализирует лицо человека в кадре и все остальное, кроме лица.

Точность распознавания эмоций, как они декларируют, составляет более 73 процентов.

Работа доступна (https://arxiv.org/abs/1908.05913) на портале arXiv.org.

Архитектура их обучающей сети представляет собой систему из двух сверточных нейросетей, каждая из которых анализирует, с одной стороны, лицо человека на снимке, а с другой — то, что его окружает, при этом для каждой из сети то, что анализирует другая, остается недоступным.

Оказалось, что, несмотря на то, что такая нейросеть достаточно точно определяет эмоцию только по лицу, бывают ситуации, что по контексту эмоция распознается проще и точнее. Это позволило разработчикам заключить, что совместный анализ выражения лица и контекста ситуации (того, что происходит в кадре) является наиболее оптимальным и эффективным.

#профайлинг, #эмоции, #лицо, #голос, #жесты, #API, #мэтры, #тренды, #нейросеть, #ИИ, #профайлинг_филатов, #ProProfiling, #филатов_профайлинг

#профайлинг, #эмоции, #лицо, #голос, #жесты, #API, #мэтры, #тренды, #нейросеть, #ИИ, #профайлинг_филатов, #ProProfiling, #филатов_профайлинг

Neurodata Lab создала сервис по распознаванию эмоций и пульса по видео и аудио. Компания работает с бизнесами: банками, страховыми и телекоммуникационными компаниями, ритейлерами, а также научными лабораториями и поставляет технологию по API. Его, кстати, можно уже потестировать.

Продуктовая сеть собирает записи с камер в торговом зале, а затем отправляет их обрабатываться на сервера Neurodata Lab. Сервис анализирует эмоции клиентов по мимике и движениям тела и определяет индекс удовлетворённости в магазине. Сравнивая статистику по магазинам, сеть может улучшить качество обслуживания.
Также Neurodata Lab анализирует голоса клиента и оператора в колл-центре. Технология распознает агрессию или недовольство звонящего и оповестит об этом руководителя отдела. Тогда он сможет быстро отреагировать и сделать так, чтобы проблемой клиента занялись в первую очередь.

Компания представила публичную версию продукта в ноябре 2019 года. Она состоит из восьми модулей:
1. Распознавание эмоций по лицу.
2. Мультимодальное распознавание эмоций (лицо, голос, жесты, контент)
3. Детекция пульса.
4. Детекция лиц.
5. Детекция тел.
6. Анализ позиции тела.
7. Распозвание пола и возраста.
8. Оценка индекса удовлетворенности.
В первом квартале 2020 года Neurodata Lab планирует выпустить SDK для заказчиков.
Важность каждого канала по оценке Neurodata Lab:
• 70% — лицо.
• 15% — голос.
• 10% — тело.
• 5% — эмоциональный окрас слов.

Также Neurodata Lab разработала технологию, которая определяет пульс человека по видео. По словам управляющего директора и сооснователя фирмы Игоря Левина, компания первой в мире представила облачный сервис на её основе. И, в общем – это правда. Сейчас, отмечает как утверждает компания, технология измеряет пульс с погрешностью два удара в минуту.

Детали продукта можно посмотреть здесь, здесь и здесь.

Отлично, что появляются мультимодальные продукты, способные давать кумулятивный эффект. Уверен, что такие технологии в самое ближайшее время будут очень востребованы на рынке. Поздравляю коллег с успехом!

#достижения, #эмоции, #мультимодальныйподход, #решения, #голос, #ЧСС, #API, #профайлинг, #цифровойпрофайлинг, #профайлинг_филатов, #Филатов, #ProProfiling

Под завершение года крупные организации публикуют свои отчеты. И я тоже это собираюсь сделать дней через 5-6.

А пока меня заинтересовал итоговый отчет американского института искуственного интеллекта AI Now в Нью Йорке, о системах распознавания эмоций и искуственном интеллекте в этой индустрии. Пусть это и не самый авторитетный игрок на этом рынке, но довольно значительный.

Он предлагает запретить использование систем автоматизированного определения эмоций по лицу из-за “недостаточной методологической проработки этого вопроса” и из-за “наличия обоснованных опасений того, что даже полных лицевых данных не достаточно для определения эмоций”.

Я и сам здесь уже неоднократно писал об этом: лицо, конечно, - это хорошо, и не нужно преуменьшать его значимость в аналитике. Но нужно увеличивать значимость оценки голоса, жестикуляции/походки, психофизиологических параметров и текста.

Проблема в том, что если усомниться в правильности детекции эмоций по лицу, то под нож может пойти целая индустрия бизнеса объемом в 30-40млд $, а этого никто не хочет. При этом технологии детекции эмоций по остальным модальностям в принципе неплохо отработаны, но еще не интегрированы в одну систему. Однако, считаю, что со временем таких сообщений будет все больше и больше, пока не произойдет смена парадигмы)). А это не за горами.

#эмоции, #профайлинг, #бизнес, #психофизиология, #лицо, #FACS, #Экман, #API, #AI, #технологии, #ProProfiling, #профайлинг_Филатов, #Филатов

Между прочим 2 дня тому назад случилось знАковое событие, о котором почему-то никто не говорит.

Microsoft заявила, что постепенно прекращает публичный доступ к ряду инструментов для анализа лица на базе искусственного интеллекта которые, например, определяют эмоцию по мимическим изменениям лица. На полное завершение такого доступа Microsoft дало себе 1 год. Речь идет прежде всего о Microsoft Azure Face.

На всякий случай подчеркну – не только для России прекращает. А вообще. Для всех.

Я помню, еще в начале 10х годов Майкрософтовский стандарт определения эмоций был эталоном для очень многих прикладных решений, начиная от простого нахождения на картинке лица до даже интеграции таких алгоритмов в программы автоматической оценки человека по фото и/или видео. И вот прошло 10 лет и многое изменилось.

Понятно, что и 10 лет тому назад многие говорили, что определение эмоции исключительно по лицу в целом допустимая идея, но в огромном проценте ситуаций совершенно недостаточна. Поскольку внешние изменения лица не всегда отражают внутреннее эмоциональное состояние человека. И наоборот – не всегда внутреннее состояние отражается на лице строго определенным образом. В том числе я говорил и писал об этом здесь неоднократно (много где, прежде всего здесь). Однако тогда в период активного развития технологий мало кто слышал эти возражения: бизнес и технологии временно были важней, чем достоверность.

Напомню, что сама технология строится вокруг подхода Пола Экмана к анализу лица. Именно он был пионером мнения о том, что при правильной оценке, лица может быть достаточно для определения эмоционального состояния человека.

Однако, два дня тому назад Microsoft в своем официальном релизе указывает, что «Эксперты внутри и за пределами компании подчеркивают отсутствие научного консенсуса в отношении определения «эмоций» по лицу человека, а также на проблемы использования этих паттернов в глобальном масштабе».

Перевожу на понятный язык: из-за того, что нет достоверного научного обоснования, что эмоции ОБЯЗАТЕЛЬНО ДОЛЖНЫ приводить к конкретным стереотипным мимическим изменениям нет. К тому же нет доказательств, что такое возможно у всех наций, возрастов и даже предубеждений. Именно поэтому Microsoft отказывается от этого пути развития технологии.

Да, машина по лицу легко может определить «хмурый взгляд», но это не тоже самое, что испытывать гнев. Как минимум в данном случаем мимика не всегда является следствием эмоционального состояния гнева.

Понятно, что Microsoft далеко не самая первая, кто публично отказывается от такой технологии. Пристальный и содержательный разговор на эту тему идет года с 2016-2017. В 2019 к отказу от этой технологии публично призвал пусть не самый, но довольно авторитетный Институт искусственного интеллекта США. И вот теперь потихоньку это докатилось до таких гигантов, как Microsoft. Жду ускорения процесса отказа от автоматизированного определения эмоций по лицу и усложнения технологий. Конечно, за Microsoft последуют другие IT-гиганты. К тому же наметки (например 1, 2 и не только эти) куда идти уже есть, и довольно давно.

Основной тренд сейчас – это полимодальное определение эмоций. На сегодня в эти модальности входят как минимум 4 параметра: лицо, голос, жестикуляция/тело, и оценка контента, который сообщает человек. В некоторых случаях добавляют еще раз психофизиологических параметров – дыхание, пульс, давление, окуломоторные реакции и пр. И даже уже есть успешные примеры использования этих технологий на практике. Однако с конкретными бизнес-решениями пока нелегко, но это дело времени и денег.

#профайлинг, #эмоции, #лицо, #голос, #жесты, #API, #мэтры, #тренды, #Microsoft, #ИИ, #профайлинг_филатов, #ProProfiling, #филатов_профайлинг