⚡️ JARVIS-VLA – модель обучения масштабных моделей «визуально-языкового взаимодействия» (Vision Language Models) для игры с использованием клавиатуры и мыши.

Проект заточен под игру в Minecraft, где модель способна выполнять более 1 000 различных атомарных задач таких как крафтинг, плавка, готовка, добыча ресурсов и даже сражения.

▪ Инновационный подход к обучению
Модель превозносит на 40% по сравнению с лучшими агентами-базами на разнообразном наборе атомарных задач.

▪ Достижение новых стандартов в Minecraft
Подход JARVIS-VLA превосходит традиционные методы имитационного обучения, демонстрируя передовые результаты и устанавливая новые стандарты производительности в управлении агентами в игровом мире Minecraft.

▪ Применение в реальных случаях
Использование данной модели в Minecraft открывает широкие возможности для автоматизации и оптимизации игровых процессов, что может быть интересно не только геймерам, но и исследователям в области ИИ, стремящимся расширить границы взаимодействия человека с компьютерными агентами.

▪ HF
▪Статья

@data_analysis_ml

🔥 Tripo MCP Server

Основная функция tripo-mcp заключается в генерации 3D-объектов на основе текстовых описаний с использованием API Tripo и их импорте в Blender. Проект находится на стадии альфа-версии.

📌 Туториал: https://tripo3d.ai/blog/cursor-tripo-mcp-tutorial
📌 Github: https://github.com/VAST-AI-Research/tripo-mcp

@data_analysis_ml


#blendermcp #vibecoding #tripo3d

🧠 Neuralink с открытым исходным кодом с использованием активности мозга обезьяны для управления роботизированными руками 🙉

Проект Jenkins исследует интерфейсы мозг-компьютер путем декодирования нейронной активности в движения роботов и генерации синтетических мозговых данных.

Используя нейронные записи мозговой активности обезьяны по имени Дженкинс, исследователи разработали модели для преобразования мозговых сигналов в движения роботизированной руки.

Лидер (рука1) двигается человеком, а Фоловер (рука 2) имитирует эти движения на основе симулированной нейронной активности обезьяны Дженкинса. Машины обучения (ML) используются для создания замкнутого цикла:
Кодирование: Transformer модель генерирует синтетические нейронные спайки из данных движения Лидера, симулируя, как бы выглядела активность мозга Дженкинса для этого движения.

Декодирование: Многослойный перцептрон (MLP) декодирует эти синтетические спайки обратно в скорости рук, которые используются для управления Фоловером.
Этот процесс создает двусторонний цикл: движение человека → симулированная нейронная активность → декодированные движения → действие робота.

В проекте используются роботизированные руки и интерактивная веб-консоль для генерации данных о работе мозга в режиме реального времени с помощью джойстика.

Проект имеет потенциальные применения в моторных протезах (например, для помощи парализованным людям управлять роботизированными конечностями) и нейронаучных исследованиях (понимание, как мозг кодирует движение). Это также имеет образовательное значение, демонстрируя применение ML в сложных нейронаучных задачах.

▪ Github

@data_analysis_ml