Viggle Mine

Демоспейс с продвинутой оберткой над Viggle Animate для замен персонажа в сложных сценах. Когда герой отворачивается уходит в толпу или возвращается мелким планом идентичность не теряется.

Два режима. Standard — прямая длинная генерация. Smart — полный пайплайн: трекинг точек (TAPNext++), контроль камеры (SAM), динамический зум, Pass A и опциональный Pass B для восстановления личности.

Pass B работает так: после потери персонажа из кадра берется кадр где он снова виден, перерисовывается внешность, генерируется обратно-вперед вокруг точки сбоя и встраивается до обратного преобразования зума. Все окна около 5 секунд чтобы уложиться в один GPU allocation на ZeroGPU.

#characterswap

VK | MAX

ComposeCL

Давно ничего не постил про память LLM

Исследование о том как языковые модели могут запоминать информацию поступающую последовательно и не забывать ее после десятков обновлений. Обычное дообучение на новых задачах стирает старые знания — ComposeCL проверяет какие комбинации механизмов продолжающегося обучения работают лучше всего

- Систематический тест 16 комбинаций 4 механизмов: якорь данных (генеративный реплей), якорь функции (самодистилляция), якорь весов (Synaptic Intelligence) и merged LoRA
- Лучшая комбинация всех 3 якорей + merged LoRA дает 34.9%
- Якорь данных и merged LoRA дают наибольший прирост

- 34.9% среднее финальное удержание против 1.2% у наивного обучения
- Топ-3 на 3 датасетах у одной фиксированной композиции всех механизмов

Вывод: для долгоживущих агентов нужно не выбирать один механизм а комбинировать несколько комплементарных

Гитхаб

#memory

CocktailASR-1 (Xiaomi)

Распознавание речи, #sota на мультиспикер, заявлены английский и китайский

В демо распознавание одного целевого говорящего в шумной обстановке. Сначала извлекает голос конкретного человека по короткому референсу потом расшифровывает его. Остальные голоса и шум игнорируются

- Двухстадийная обработка: извлечение голоса цели по референсу + ASR на чистом сигнале
- Работает в шуме с несколькими говорящими — фон и посторонние голоса не попадают в распознавание
- Короткий референс голоса (до 3 секунд) достаточно чтобы выделить цель

Гитхаб
HF
Демо

Спасибо @m_franz

#asr

VK | MAX

EventEgoHands++ (Keio University)

Реконструкция 3D-модели кистей рук по данным event-камеры с точки зрения первого лица. Обычные камеры слепнут в темноте и от смаза при движении, event-камера фиксирует только изменения яркости — работает и в почти полной темноте

- Отдельный Hand Detector: различает левую и правую руку по-отдельности с bounding-box и масками
- Adaptive Attention: динамически гейтирует внимание по результатам детекции — моделирует взаимодействие и взаимное расположение двух рук
- Работает при плохом освещении и сильном смазе где RGB и depth пасуют
- Определяет сколько рук в кадре: одна две или ни одной

Гитхаб

#hands #videoto3d

VK | MAX

FoundationStereo и FoundationPose (NVIDIA)

Две открытые модели для 3D-перцепции из систем Vision AI

FoundationStereo

Стерео-глубина без дообучения. Пара RGB-картинок со стереокамеры на входе, точная карта диспаритета на выходе.

• Zero-shot стерео-матчинг на новых сценах
• Для робототехники промышленности и умных пространств
• ONNX и TensorRT
• Работает от Jetson до H100

Слабые места: прозрачные объекты пересвет и плохое освещение.

FoundationPose

6-DoF поза объектов без обучения. CAD-модель -> положение и ориентация объекта на RGBD-кадре плюс трекинг по видео

• Zero-shot на новых объектах нужен только CAD
• Оценка позы и отслеживание на видео
• Обучена на synthetic-данных Objaverse и GSO
• Средний скор 83.3 на BOP-бенчмарках
• TensorRT работает от Orin Nano до H100

#stereo2depth #image2depth #image2pose

Вы же наверняка слышали про Microduck

Так вот туда прикрутили цифровую копию мозга мухи. Ее буквально пересадили посмертно в новое кибертело. И вы тоже можете завести себе такую уткомуху, цена вопроса $400

Киберпанк. Начало

#robot #embodied

VK | MAX

Нативная поддержка гауссиан в Blender 5.3

Похоже что и редактирование в том числе

#gaussian #blender

VK | MAX