🌟 WhisperKit — распознавание речи на устройствах Apple с помощью Whisper

— brew install whisperkit-cli

WhisperKit — это пакет Swift, который интегрирует модель распознавания речи Whisper от OpenAI с фреймворком CoreML от Apple для эффективного локального вывода на устройствах Apple.

🖥 GitHub
🟡 Hugging Face

@ai_machinelearning_big_data

🔥 Ambient Diffusion — схема обучения ИИ-моделей на повреждённых данных

Исследователи из Техасского университета в Остине разработали инновационную схему обучения моделей на сильно поврежденных изображениях, метод получил название Ambient Diffusion. Для чего?
Последнее время то и дело возникают судебные иски — художники жалуются на незаконное использование их изображений.
И Ambient Diffusion как раз позволяет ИИ-моделям не копировать изображения, а скажем «черпать вдохновение» из них.

В ходе исследования команда исследователей обучила модель Stable Diffusion XL на наборе данных из 3 000 изображений знаменитостей. Изначально было замечено, что модели, обученные на чистых данных, откровенно копируют учебные примеры.

Однако когда обучающие данные были испорчены — случайным образом маскировалось до 90% пикселей, — модель все равно выдавала высококачественные уникальные изображения.

Возможности использования Ambient Diffusion выходят за рамки решения проблем с авторскими правами. По словам профессора Адама Кливанса, сотрудника проекта, «Ambient Diffusion может оказаться полезным и для научных и медицинских приложений. Это касается практически любых исследований, где дорого или невозможно получить полный набор неповрежденных данных — от визуализации черных дыр до некоторых видов магнитно-резонансной томографии».

▶️ Подробнее
🟡 Arxiv

@ai_machinelearning_big_data

⚡️ SWE-agent — open-source ИИ-агент для дебаггинга или решения какой-то проблемы с кодом

Всё просто: сообщаем SWE-agent, какую проблему он должен решить в нашем коде, и агент пытается автоматически исправить ее, используя GPT-4 или другую LLM.
SWE-agent исправляет 12,29% ошибок в оценочном наборе SWE-bench, что не так много — зато его работа занимает всего 1.5 минуты.

🖥 GitHub
🟡 Обзор SWE-agent, YouTube
🟡 Связанное исследование, PDF
🟡 Посмотреть демо

@ai_machinelearning_big_data

🔥 MiniCPM-Llama3-V 2.5 — мультимодальная LLM-ка уровня GPT-4 (почти), которую можно запустить на телефоне

# клонируем репо и перемещаемся в папку
git clone https://github.com/OpenBMB/MiniCPM-V.git
cd MiniCPM-V

# создаём conda-окружение
conda create -n MiniCPM-V python=3.10 -y
conda activate MiniCPM-V

pip install -r requirements.txt

MiniCPM-Llama3-V 2.5 имеет 8 млрд параметров и может принимать на вход изображения и текст.
Имея всего 8 млрд параметров, эта модель в некоторых тестах превосходит GPT-4V-1106, Gemini Pro, Claude 3 Qwen-VL-Max и MLLM на базе Llama 3.

Модель может обрабатывать изображения с количеством пикселей до 1.8 млн, показывает всего 10.3% галлюцинаций на Object HalBench, поддерживает ~30 языков (русский тоже), активно используется квантование для общей оптимизации.

🖥 GitHub

@ai_machinelearning_big_data

🌟 Sweep — AI-джун, который самостоятельно исправит мелкие ошибки в коде

Установка Sweep CLI:
pip install sweepai

Работает очень просто: нужно описать ошибки, функции, которые необходимо реализовать, и Sweep:
— прочитает вашу кодовую базу
— спланирует изменения
— создаст pull request с нужным кодом

Особенно удобно использовать Sweep для написания тестов

🖥 GitHub
🟡 Доки

@ai_machinelearning_big_data