FantasyTalking: Realistic Talking Portrait Generation via Coherent Motion Synthesis

Говорящий аватар / оживлятор портретов от Alibaba с контролем интенсивности движения. работает с разными крупностями кадра и позами, с разными типами персонажей

Сравнение с конкурентами впечатляет.

Построен на базе Wan2.1

Код

#portraitanimation #image2video #speech2video #humananimation #lipsync #talkinghead

VideoX-Fun

Метод, давший нам CogVideoX-Fun прикрутили к WAN2.1. Получился Wan2.1-Fun-V1.1 - Поддерживает модели 14B and 1.3B Control и Reference Image

По ссылке в заголовке пролистните вниз, там много примеров

Веса Wan2.1-Fun-V1.1
Демо

#image2video

Phantom

Видео по референсу, дождались, ответ Bytedance (WAN) на Gen-4 References
Теперь эта функция в опенсорсе!

Веса fp16/fp32
Гитхаб
workflow

#personalization #referencing #image2video #text2video #workflow

FramePack-F1

Новая модель народного видеогенератора

F1 означает forward pass, модель предсказывает только будущие кадры. Также, модель обучена не накапливать ошибки.
Легче двигается камера, динамичность повысилась

FP-Studio есть в Pinokio в Community Scripts

Веса
Гитхаб

#image2video

А вот в FramePack Studio уже прикрутили F1

Помимо этого поддерживает промпты с таймкодами и ряд обновок есть:

- Можно задать время мягкого перехода между промптами
- Базовая поддержка LoRa: работает с большинством (всеми?) hunyuan LoRa
- Система очереди: очередь заданий не блокирует интерфейс
- Сохранение / импорт метаданных: промпт и начальные данные кодируются в выходной файл PNG, все остальные метаданные поколения сохраняются в файле JSON
- I2V и T2V: работает как с входным изображением, так и без него, что обеспечивает большую гибкость при работе со стандартными LoRA.
- Опции латентного изображения: При использовании T2V вы можете генерировать изображение на основе черного, белого, зеленого экрана или чистого шума.

Гитхаб

#image2video #text2video

TesserAct: Learning 4D Embodied World Models

Модель предсказывает развитие событий в 3D сцене по входному изображению и текстовому промпту, описывающему действие. На выходе видео RGB + глубина и нормали.

За глубину отвечает Marigold, обещают прикрутить NormalCrafter

Код
Веса

#imageto4d #4d #image2video #image2scene #image2normal #image2depth

LTX VIDEO-13B

Выложили веса модели видеогенератора с 13B параметров
ltxv-13b-0.9.7-dev и
ltxv-13b-0.9.7-dev-fp8
FP8 должен завестись на 4090

HF
Гитхаб
ComfyUI
Попробовать на офсайте - притворитесь что вы не в РФ

#text2video #image2video