UI-TARS Desktop by bytedance

Оператор від китайців) bytedance натренували свої модельки для інтеракції з компом. Дають лінійку VLLMs моделей від 2B до 72B + апку.

Використовується vllm ліба для хосту моделькі, закидуєте шлях до апі в апку і можна користуватись. Але не дуже просто це підняти, треба гпу, бажано мінімум L4.

GitHub

Просто JFYI, там курсор завіз deepseek модельки. Але я бачів що там наче закрили доступ сьогодні до deepseek, цікаво чи воно вплине.

LangFlow (якщо шо, не від langchain)

Візуальний фреймворк для створення multi-agent та RAG пайплайнів, який змінює підхід до побудови апок з написання купи коду, до простого перетягування блоків.

Що цікаво:

Drag-and-drop інтерфейс дозволяє швидко збирати складні воркфлоу без зайвого кодування. Просто під’єднуйте промпти, мовні моделі та джерела даних.

Підтримує всі популярні ллмки (openai, anthropic, google, ollama), векторні бази, ембеддінги, купу тулів. Але якщо треба, то в них наче не дуже важкі абстракції в коді щоб наприклад накидати свої тули.

З прикольного, вони скоро відкриють маркетплейс воркфлоу і це може бути круто, бо коммьюніті почнут шарити свої напрацювання.

GitHub
Project Page
Demo video

А хтось знає що зараз мутить Andrej? Я думав він щось активно пушить в EurekaLabsAI - компанію яку він засновав щоб робити едюкейшенал АІ, але щось в нього гітхаб останнім часом пустує, а твітер акк його компанії виглядає мертвим, як і діскорд

OmniHuman-1

Це крута дифузійна модель, яка об'єднує купу модальностей для реалістичної анімації аватарів. Мені, як людині, яка протягом двох років намагалася зробити щось подібне в reface, дуже приємно бачити такі результати – це розйоб, ось що я вам скажу (дуже сподіваюсь що не черіпікі).

Які проблеми були до цього:

Більшість робіт фокусуються лише на вузькому наборі модальностей. Наприклад, ліпсінк-моделі враховують лише фейс, або audio-driven моделі часто використовують тільки аудіо та таргет ідентіті фічі. Через обмеженість вхідних модальностей аутпут результат часто добре працює в одному аспекті, але в реальних кейсах, де присутні шуми в сигналі, наприклад, коли модель ліпсінку тренувалася на обличчях, рух рук, тіла чи голови може зовсім не відповідати тому, що людина говорить.

Що зроблено:

Omni-conditions training: На початкових стадіях тренують модель із використанням тексту та reference image (щоб використовувати максимум доступних даних), потім додають аудіо, а на фінальній стадії – інтегрують інформацію про позу. Це забезпечує динамічні та натуральні рухи.

Архітектура:

Модель базується на кастомному DiT (MMDiT, натренованому на текст–відео парах) у поєднанні з causal 3D VAE для компресії темпорального сигналу. Аудіо обробляється за допомогою wav2vec і додається через cross-attention в кожен DiT-блок, що забезпечує точний синхрон рухів.

Трейн дані:

Використано приблизно 18,7k годин відео (з них близько 13% – якісних даних для аудіо та поз), що містять семпли з фейсом, півтілом та повнотілими відосами.

У пейпері не cказали про резолюшен, набір aspect ratio, довжину відосів на яких був трейн, але, ймовірно, застосовано звичайний прогресів підхід: спочатку претрейн на low-res даних (256×256), потім на більшому резолюшені і якісних даних (512×512), і fine-tuning на high-res 1024, або 4к.

Пейпр якщо чесно не дуже детальний, багато всього вони не говорять, типу скільки параметрів, особливості архітектири, які кости на інференс, яка була довжина трейн відосів, датасети, які едж кейси відосів - тобто де модель страглить. Короче думаю китайці хочуть зробити свій heygen і не дуже хочуть ділитись інфою)

Project Page
Paper