⚡️ Qwen опенсорснули настоящую омни-мультимодальную модель на 7B

Qwen2.5-Omni-7B может принимать на вход видео, аудио, текст и картинки, и отвечать аудио или текстом. То есть с моделькой теперь можно общаться по «видеосвязи». Немного технических деталей:

➖ В целом архитектура поделена на thinker и talker

➖ Thinker – это трансформер, который декодит модальности и генерирует ответы и эмбеддинги для talker’а

➖ Talker – авторегрессионка для говорения. Принимает на вход эмбеддинги от thinker’а и генерирует токены речи в стрим режиме

➖ Надо понимать, что это не отдельные модели: оба модуля обучаются одновременно и работают end-to-end

Метрики для 7В замечательные. Обходит даже Gemini 1.5 Pro.

Веса (лицензия Apache 2.0)
Статья
Попробовать