Можно ли представить лицо по голосу?

Наш мозг занимается этим постоянно. Разговор по телефону, подкаст? Мы, осознанно или нет, рисуем себе образ.

Голос отражает строение голосового аппарата, а его характеристики производны от других физиологических черт.

Иногда наши догадки оказываются верными, иногда мы сильно ошибаемся: "У этого старика молодой голос".

Теперь мы можем быть уверены, что машинно-обученные модели умеют делать те же догадки и ошибки за нас.

Илья Плеханов из Fast Salt Times обращает наше внимание на модель Speech2Face, описанную в 2019 году. Она не умеет определять конкретное лицо по голосу, только делает фоторобот усреднённых черт, учитывая расу, возраст, пол.

Уже неплохо для некоторых полицейских и развлекательных применений, а ошибки модели снижаемы, если поработать над качеством обучающей выборки.

Исследований в этом направлении пока мало, но они набирают обороты. Так, уже в этом году китайские учёные описали новую модель SCAIGAN, предсказывающую черты лица по аудиоспектрограмме.