🌟 OpenVLA 7B — OpenVLA — VLA-модель с 7B параметрами

OpenVLA 7B (vision-language-action) — это open-source модель, обученная на 970K эпизодах манипулирования роботами из набора данных Open X-Embodiment. Модель принимает на вход текстовый промпт и изображения с камеры и генерирует действия робота.

OpenVLA 7B из коробки поддерживает управление несколькими роботами и может быть быстро адаптирована к новым областям робототехники с помощью тонкой настройки.

🖥 GitHub
🟡 Модели на Hugging Face
🟡 Страничка OpenVLA

@ai_machinelearning_big_data

⚡️ Florence-2 — open-source VLM от Microsoft

Microsoft выкатили Florence-2 — модель, принимающую изображения на вход, способную решать многие задачи CV (распознавание, сегментирование, OCR).

Есть 2 основные версии — base и large (200M и 800M параметров), при этом обе версии модели отлично себя показывают в сравнении с моделями, которые тяжелее в 100 раз.

🤗 Hugging Face
🟡 Arxiv

@ai_machinelearning_big_data

🌟 GEB-1.3B — open-source облегченная LLM

GEB-1.3B — это лёгкая LLM, обученная на 550 миллиардах лексем.
При всей своей лёгкости модель превосходит Llama-7B и схожие LLM в 3 метриках из 4 (C-Eval, CMMLU, Average)

Для достижения такого впечатляющего результата были использованы новые методы обучения, включая ROPE, Group-Query-Attention и FlashAttention-2, для ускорения обучения при сохранении производительности LLM. Кроме того, была произведена тонкая настройка модели при помощи 10 миллионов разных промптов и инструкций.

Кстати, квантизованная FP32-версия GEB-1.3B довольно быстро работает даже на CPU, при этом продолжаются работы по дальнейшему увеличению скорости с помощью квантования.

🟡 Arxiv
🤗 Hugging Face

@ai_machinelearning_big_data

🦜 Toucan — open-source TTS-модель с поддержкой 7000 языков и диалектов

Toucan — это модель преобразования текста в речь (TTS) + набор инструментов для обучения, тренировки и развертывания модели.

Модель создана в Институте обработки естественного языка (IMS) Штутгартского университета.

Всё написано на идиоматическом Python с использованием PyTorch, для максимально лёгкого изучения и тестирования.

🖥 GitHub
🤗 Затестить на HF
🤗 Датасет на HF

@ai_machinelearning_big_data