⚡️ Uni-MoE — унифицированная мультимодальная LLM с архитектурой MoE

Встречайте совсем свежую работу Y. Li, S. Jiang и ещё нескольких человек, в которой они презентуют Uni-MoE.
Комплексные бенчмарки демонстрируют главное преимущество Uni-MoE — значительное снижение погрешности при работе со смешанными мультимодальными наборами данных, а также улучшение совместной работы и обобщения данных несколькими экспертами.

📎 Arxiv

@ai_machinelearning_big_data

⚡️ Релиз Aya 23 8B и 35B от Cohere

Cohere выпустили Aya 23: с 8 и 35 млрд параметрами.
Aya 23 объединяет модели семейства Command с недавно выпущенной коллекцией Aya.
Мультиязычная (поддерживает 23 языка).

Судя по бенчмаркам, 35B версия уделывает BX-7B, Mixtral8x7B, и другие модели, а 8B версия стабильно в тройке лидеров.

▶️ Hugging Face
🟡 Протестировать

@ai_machinelearning_big_data

🌟 WhisperKit — распознавание речи на устройствах Apple с помощью Whisper

— brew install whisperkit-cli

WhisperKit — это пакет Swift, который интегрирует модель распознавания речи Whisper от OpenAI с фреймворком CoreML от Apple для эффективного локального вывода на устройствах Apple.

🖥 GitHub
🟡 Hugging Face

@ai_machinelearning_big_data

🔥 Ambient Diffusion — схема обучения ИИ-моделей на повреждённых данных

Исследователи из Техасского университета в Остине разработали инновационную схему обучения моделей на сильно поврежденных изображениях, метод получил название Ambient Diffusion. Для чего?
Последнее время то и дело возникают судебные иски — художники жалуются на незаконное использование их изображений.
И Ambient Diffusion как раз позволяет ИИ-моделям не копировать изображения, а скажем «черпать вдохновение» из них.

В ходе исследования команда исследователей обучила модель Stable Diffusion XL на наборе данных из 3 000 изображений знаменитостей. Изначально было замечено, что модели, обученные на чистых данных, откровенно копируют учебные примеры.

Однако когда обучающие данные были испорчены — случайным образом маскировалось до 90% пикселей, — модель все равно выдавала высококачественные уникальные изображения.

Возможности использования Ambient Diffusion выходят за рамки решения проблем с авторскими правами. По словам профессора Адама Кливанса, сотрудника проекта, «Ambient Diffusion может оказаться полезным и для научных и медицинских приложений. Это касается практически любых исследований, где дорого или невозможно получить полный набор неповрежденных данных — от визуализации черных дыр до некоторых видов магнитно-резонансной томографии».

▶️ Подробнее
🟡 Arxiv

@ai_machinelearning_big_data

⚡️ SWE-agent — open-source ИИ-агент для дебаггинга или решения какой-то проблемы с кодом

Всё просто: сообщаем SWE-agent, какую проблему он должен решить в нашем коде, и агент пытается автоматически исправить ее, используя GPT-4 или другую LLM.
SWE-agent исправляет 12,29% ошибок в оценочном наборе SWE-bench, что не так много — зато его работа занимает всего 1.5 минуты.

🖥 GitHub
🟡 Обзор SWE-agent, YouTube
🟡 Связанное исследование, PDF
🟡 Посмотреть демо

@ai_machinelearning_big_data