Большинство голосовых ассистентов работают по очереди — сначала говорите вы, потом отвечает он, и так по кругу.

NVIDIA сделала модель, которая работает иначе, и её уже можно попробовать.

Она называется Nemotron 3 VoiceChat и входит в открытый набор NeMo Speech.

Модель слушает и отвечает в реальном времени в полнодуплексном режиме, поэтому её можно перебить прямо посреди фразы — почти как в обычном разговоре.

Для локального запуска самого фреймворка нужны GPU и CUDA.

Но у модели есть живая демоверсия, которую может открыть и попробовать любой.

https://github.com/NVIDIA-NeMo/Speech

👉 @PythonPortal

Интерактивный учебник на 7 500 строк, который учит с нуля собирать современную языковую модель.

Весь путь реализован на Python, а код подробно прокомментирован, чтобы можно было последовательно разобраться, как устроено обучение GPT-подобной модели, а не просто запускать готовые библиотеки.

https://github.com/raiyanyahya/how-to-train-your-gpt

👉 @PythonPortal

Парень сделал отслеживание рук в реальном времени с физикой цифровой ткани, используя только веб-камеру, TouchDesigner и одни выходные после просмотра презентации Vision Pro.

Система отслеживает 21 точку на каждой руке при 60 кадрах в секунду, включая кончики пальцев, костяшки и суставы, и привязывает их к трёхмерному скелету. Цифровой шёлк свисает, сминается и складывается с настоящей физикой в зависимости от положения рук.

Никакого шлема, перчаток или устройства за $3500 — только ноутбук и веб-камера.

Apple потратила 7 лет и просит $3500 за устройство. Он потратил выходные.

👉 @PythonPortal