Самая модная нейросеть в моменте (в минувший уикенд, сразу после релиза) — HeyGen. Она переводит видео на 8 языков (с близким тембром к исходному голосу) и перерисовывает движение губ под новое произношение. По сути, три известные нейросети (языковой перевод, клонирование+синтез голоса и lips sync) под одним капотом. HeyGen попадал ко мне в закладки еще в июне, но теперь пробил массовость за счет открытия доступа для всех, виральности переводимых видео-мемов и уникальной комбинации нейросетей под капотом. Все чаще именно видео-нейросети собирают куш внимания, до этого — Pika и Runway Gen-2.

P.s. из ограничений HeyGen не сможет воспроизвести эмоциональный накал драматических сцен в кино.

#video #translation #speech #lips_sync #релиз