Почти месяц назад был представлен новый бенчмарк для встраиваемых аудио embeddings (audio embeddings) — MAEB. Согласно их статье, одна из моделей значительно превзошла остальные.
Вот несколько моментов: занять первое место в бенчмарке в первый же день — действительно впечатляющий результат, потому что невозможно целенаправленно оптимизировать модель для бенчмарка, которого еще не существует. И это неожиданно, что модель, работающая с аудио, текстом и ВИЗУАЛЬНЫМИ ДАННЫМИ, окажется лучшей.

Статья о встраивании LCO была принята к публикации в NeurIPS в прошлом году, но, судя по количеству загрузок и лайков в репозитории HF, она почти не привлекла внимания.
Модели основаны на Qwen2.5 omni, а также имеют варианты с размерами 3B и 7B.

APPLE INTELLIGENCE (iOS 26+ / macOS 26+).
- Встроенный ИИ: Используйте Apple Intelligence без загрузки
- Мгновенный доступ: Начните общаться немедленно, не дожидаясь загрузки модели
- Плавное переключение: Легко переключайтесь между Apple Intelligence и пользовательскими моделями MLX
- Поддержка контекста 4K для быстрых разговоров

КЛЮЧЕВЫЕ ОСОБЕННОСТИ:
- 100% Конфиденциально: Вся обработка ИИ происходит локально на вашем устройстве
- Несколько моделей ИИ: Выберите из кураторских современных языковых моделей, оптимизированных для Apple Silicon
- Понимание зрения (Mac): Анализ изображений с помощью Vision Language Models
- Генерация изображений (Mac): Создание изображений Использование моделей Stable Diffusion и FLUX!
- Smart Memory: AI запоминает важные детали разговора
- Smart RAM Management: Модели автоматически загружаются в режиме ожидания
- Работает в автономном режиме: Используйте где угодно без интернета после загрузки
- Включает Qwen3, Llama 3.2, Gemma 2, модели зрения и FLUX/Stable Diffusion.
Никаких подписок, учетных записей или облака не требуется.

В мире подписок и слежки LocalMind Al создан для того, чтобы быть независимым.
Ваши разговоры, идеи и работа никогда не попадут на сервер.
Все остается там, где и должно быть: на вашем устройстве.
По-настоящему персональный ИИ LocalMind Al — это не просто очередной чат-бот.
Это ваш доступ к экосистеме ИИ с открытым исходным кодом, который открывает вам доступ к широкому спектру продвинутых моделей, работающих локально.
Выберите своего эксперта: загружайте и переключайтесь между ведущими моделями ИИ, такими как Llama, Qwen, Gemma и другими.
Подстраивайте под свои нужды: используйте легковесные модели для выполнения повседневных задач или мощные модели логического вывода для написания кода, анализа и глубокого решения проблем.

Почему стоит выбрать LocalMind Al?
100 % конфиденциальность. Никаких облачных серверов.
История сообщений не хранится удаленно.
Никакого отслеживания.
Ваш ИИ работает исключительно на вашем устройстве.
Работает в автономном режиме. После загрузки модели вы можете общаться в любое время - даже без подключения к интернету.
Мгновенные ответы. Поскольку модель работает непосредственно на вашем устройстве, ответы приходят быстро и без задержек, связанных с сетью.
Что вы можете делать
• Проводить мозговые штурмы
• Писать и редактировать текст
• Получать помощь в написании кода
• Обобщать документы
• Обсуждать изображения
• Размышлять над проблемами
• Вести личный дневник
Все это без отправки данных куда бы то ни было.

Основные функции:
- Загрузка моделей в одно касание
- Просматривайте и загружайте тщательно отобранные и постоянно пополняющиеся коллекции моделей ИИ прямо в приложении.
- Простой и лаконичный интерфейс
- Разработан для удобства использования на iPhone, iPad и Мас.
LocalMind Al — для всех, кто хочет использовать возможности современного ИИ, не теряя контроля.

Единственное приложение Mac AI с собственным кэшированием префиксов, постраничным кэшированием KV, квантованием KV, непрерывным пакетным обучением, гибридной поддержкой SSM/Mamba и полной интеграцией с VLM, а также более чем 20 инструментами для агентного программирования, обработки речи, зрения и логического вывода. Работает на движке vMLX.

MLX Studio объединяет LLM, VLM, локальную генерацию и редактирование изображений, coding agent, OpenAI + Anthropic API, Hugging Face browser и собственный inference engine vMLX.

Но самое любопытное — JANG adaptive mixed-precision quantization. Разные части модели получают различную разрядность вместо тупого одинакового 2/3/4-bit для всей сети. Проект, например, публикует MiniMax M2.5 JANG 2-bit размером около 89 GB. Есть и режим Smelt, который позволяет держать backbone в памяти, а часть MoE-experts подгружать с SSD.

- Бесплатно навсегда
- Apple Silicon
- Не требует подключения к облаку
- Более 20 инструментов

Возможности:
Полноценное рабочее пространство для работы с искусственным интеллектом — чат, код, поиск и автоматизация. Все локально и бесплатно.
Единственное локальное приложение для работы с ИИ с полным стеком логического вывода!
Самое функциональное локальное приложение для работы с искусственным интеллектом на Mac!
— кэширование префиксов, постраничная система хранения данных, квантование кэша, непрерывная пакетная обработка, поддержка VLM, гибридная система управления состоянием и более 20 агентских инструментов. Ни в одном другом приложении нет даже двух таких инструментов.

👉 Пользовательский интерфейс потокового чата
Многопоточные диалоги с встроенными кнопками вызова инструментов, сворачиваемыми блоками с пояснениями, предварительным просмотром изображений и индикаторами состояния в реальном времени. Каждая деталь продумана для удобства использования.

👉 Голосовой чат
Встроенный преобразователь текста в речь в каждом ответе. Слушайте ответы ИИ без помощи рук, используя встроенный в Mac синтез речи.

👉 Vision & Мультимодальность
Перетаскивайте изображения в чат. Модели машинного зрения, такие как Qwen VL, анализируют визуальный контент локально с возможностью предварительного просмотра с функцией масштабирования.

👉 Блоки рассуждений
Сворачиваемые разделы для таких моделей, как DeepSeek R1, Qwen 3 и GLM. См. цепочку рассуждений модели.

👉 Удаленные конечные точки
Подключайтесь к OpenAI, Anthropic или любому другому совместимому API. Используйте агентские инструменты Studio и облачные модели.

👉 Браузер HuggingFace
Ищите, просматривайте и загружайте модели MLX прямо в приложении. Один клик — и вы можете начать общение с любой моделью.

👉 Более 20 встроенных инструментов. Не требует настройки.
Единственное локальное приложение с ИИ, поддерживающее вызов встроенных инструментов MCP. Модели могут читать, записывать, искать и выполнять команды — и все это локально.

В настоящее время Thoth работает на Windows.
🍎 Поддержка macOS на подходе.
Нативная версия для macOS находится в активной разработке — следите за новостями.

Thoth — это локальный ИИ-помощник, созданный для обеспечения независимости от внешних ИИ — ваши модели, ваши данные, ваши правила. Он работает исключительно на вашем устройстве, сочетая в себе мощный агент ReAct и 20 интегрированных инструментов — веб-поиск, электронную почту, календарь, управление файлами, распознавание изображений, долговременную память, отслеживание привычек и многое другое, а также каналы обмена сообщениями в Telegram и электронной почте. Все это работает на основе локальной большой языковой модели Ollama. Данные не покидают ваше устройство, если только вы не используете онлайн-инструмент.

❓ Чем Thoth отличается от OpenClaw?
- OpenClaw — фантастический проект с открытым исходным кодом, но он решает другую задачу. OpenClaw — это инфраструктурная платформа для обмена сообщениями: она перенаправляет вызовы облачных языковых моделей (OpenAI, Anthropic, Google) в более чем 25 чатов, таких как WhatsApp, Slack и Discord. Языковая модель работает в облаке, а шлюз — на вашем компьютере.

- Thoth — это локальный помощник для настольных компьютеров: языковая модель, голосовой конвейер и память работают на вашем оборудовании. Ничто не покидает ваш компьютер, пока вы не подключитесь к онлайн-инструменту.

- Выберите Thoth, если вам нужно, чтобы все — модель, голосовой помощник, память, данные — работало на вашем собственном компьютере без привязки к облаку и без регулярных платежей.
- Выберите OpenClaw, если вам нужен облачный помощник, который будет доступен на всех платформах для общения, которыми вы уже пользуетесь.

Что он делает:
Загружайте документы, URL-адреса или видео с YouTube в качестве источников. SoyLM анализирует их с помощью локальной языковой модели, сохраняет структурированные сводки в SQLite и позволяет общаться с вашими источниками с помощью RAG (FTS5 + BM25) и дополнительного веб-поиска (DuckDuckGo).

Echovo - Лучший TTS и клонирование голоса Echovo обеспечивает совое современные преобразования текста в речь прямо на ваш iPhone, на базе Qwen3-TTS, полностью работающий на устройстве с ускорением кремния Apple. Ваше сообщение никогда не покидает ваш телефон.
Два мощных режима
- **Text-to-Speech**: Введите или вставьте любой текст и создайте естественную, выразительную речь. Выберите один из нескольких динамиков, настройте параметры качества и управляйте стиль речи с помощью пользовательских инструкций.
- **Voice Clone**: Запишите короткий аудиоклип или загрузите справочный файл, и Echovo сгенерирует речь, соответствующую характеристикам голоса. Клонировать любой голос за считанные секунды.
💬 11 языков! Создавайте речь на английском, китайском, японском, корейском, немецком, французском, испанском, русском, португальском, итальянском языках — или позвольте автоматическому обнаружению справиться с этим за вас.
👉 Полностью приватно
Вся обработка происходит на вашем устройстве с использованием фреймворка Apple MLX. Никакие аудиоданные, текст и голосовые образцы никогда не отправляются на внешние серверы. Ваши разговоры остаются вашими.
👉 Основные функции:
- Вывод ИИ на устройстве
- Интернет не требуется после загрузки модели
- Два варианта модели: Base (TTS + голосовое клонирование) и CustomVoice (управление стилем на основе инструкций)
- Показатели производительности в режиме реального времени: RTF, время синтеза, использование памяти, количество токенов и тепловое состояние
- Регулируемые предустановки качества: Fast, Balanced и High - История генерации со встроенным воспроизведением аудио
- Запись справочного звука напрямую или импорт из файлов
- Сохранение и управление эталонной аудиобиблиотекой для быстрого повторного использования
- Темная и светлая тема с элегантным, минимальным интерфейсом
- Обмен сгенерированными аудиофайлами
👉 Как это работает:
1. Скачайте модель (~1,9 ГБ каждая, один раз)
2. Введите текст и нажмите «Сгенерировать»
3. Прослушайте, поделитесь или сохраните результат
👉 Требования:
- iPhone с Apple Silicon (A17 Pro или более поздней версии рекомендуется для лучшей производительности)
- ~2 ГБ бесплатного хранилища на модель

Создали его, потому что большинство инструментов для диктовки и написания текстов с помощью ИИ были слишком громоздкими для быстрого набора текста, а нужно было что-то быстрое, приватное и простое в использовании, чтобы записывать свои мысли в любое текстовое поле.
Основная идея заключается в том, что вы можете просто говорить как обычно и запрашивать нужный черновик, вместо того чтобы переключаться между режимами или заранее выбирать, что вы пишете: электронное письмо, заметки или что-то еще.

🎯 Мультипровайдерская система преобразования текста в речь с конечными точками, совместимыми с OpenAI (OpenAI, DeepInfra, Kokoro, KittenTTS-FastAPI, Orpheus, пользовательские).
📖 Воспроизведение с чтением вслух для PDF/EPUB с озвучиванием с учетом структуры предложения.
⏱️ Выделение послов с помощью дополнительных whisper.cpp временных меток.
🛜 Синхронизация + импорт из библиотеки для переноса документов между устройствами и из папок на сервере.
🗂 Гибкое хранилище со встроенным файловым хранилищем SeaweedFS или внешними бэкендами, совместимыми с S3.
🎧 Экспорт аудиокниг в m4b/mp3 с возможностью возобновления чтения по главам.
🐳 Возможность самостоятельного хостинга с помощью Docker, опциональной аутентификации и автоматической миграции при запуске.

Local Diffusion — это приложение на Flutter, которое переносит модели Diffusion на Android с помощью потрясающего stable-diffusion.cpp

📱 По-настоящему локальный вывод: генерируйте изображения прямо на своем Android-устройстве.

🚀 Широкая совместимость с моделями:
Поддерживает широкий спектр архитектур: SD1.x, SD2.x, SDXL, SD3/SD3.5, Flux/Flux-schnell, SD-Turbo, SDXL-Turbo и другие.

⬇️ Загружайте модели напрямую из популярных источников, таких как Hugging Face и Civitai.

⚡️ Квантование на лету: автоматическое квантование полноточных моделей при загрузке для экономии памяти и потенциального повышения скорости. Поддерживаемые форматы: q8_0, q6_k, q5_0, q5_1, q5_1k, q4_0, q4_1, q4_k, q3_k, q2_k.

Android Stable Diffusion с ускорением на базе процессора Snapdragon NPU Также поддерживает логический вывод на центральном и графическом процессорах!

✨ Особенности:
🎨 txt2img — создавайте изображения на основе текстовых описаний
🖼 img2img — преобразуйте существующие изображения
🎭 inpaint — перерисовывайте выбранные области изображений
- пользовательские модели — импортируйте собственные модели SD1.5 для центрального процессора (в приложении) или нейронного процессора (следуйте руководству по конвертации). Вы можете получить несколько предварительно преобразованных моделей от xororz/sd-qnn или Mr-J-369
- поддержка LoRA — поддержка добавления весов LoRA в пользовательские модели для процессора при импорте.
- веса подсказок — выделение определенных слов в подсказках. Например, (masterpiece:1.5). Тот же формат, что и Automatic1111
- эмбеддинги — поддержка пользовательских эмбеддингов, таких как EasyNegative. Требуется формат SafeTensor. Преобразуйте pt в safetensors с помощью этого
- апскейлеров — 4-кратное увеличение с помощью realesrgan_x4plus_anime_6b и 4x-UltraSharpV2_Lite

Что улучшилось:
Самое большое изменение — переход на ACE-Step 1.5, новейшую музыкальную модель с открытым исходным кодом от ACE Studio. Эта модель по результатам тестирования на SongEval показала результаты между Suno v4.5 и v5, что является огромным скачком по сравнению с тем, на каком уровне находилась генерация локальной музыки еще месяц назад.

Конкретные улучшения качества:
- Разделение инструментов стало намного чище. Треки больше не звучат размыто или сжато
- Значительно улучшилась четкость и естественность вокала. Все еще не на уровне Suno v5, но теперь действительно приятно слушать
- Бас стал более плотным. 808-е и низкие частоты звучат как надо
- Высокочастотные детали (хай-хэты, тарелки, обертоны струнных) звучат более реалистично
- Структура песни на более длинных сессиях стала более целостной. Меньше случайных отклонений

Чем отличается архитектура новой модели:

В ACE-Step 1.5 используется гибридный подход, который отделяет планирование от рендеринга:

1) Языковая модель (на основе Qwen, 0,6–4 млрд параметров) отвечает за планирование песни с помощью метода Chain-of-Thought. Она принимает текстовое описание и создает полный план: темп, тональность, аранжировку, текст, стилистические характеристики.

2) Diffusion Transformer отвечает за синтез звука на основе этого шаблона

Такое разделение означает, что DiT не пытается одновременно понять ваш запрос и сгенерировать звук. Каждый компонент фокусируется на том, что у него получается лучше всего. Аналогичным образом разделение кодировщика текста и декодировщика изображений повысило качество SD-изображений.

Модель также использует внутреннее обучение с подкреплением для выравнивания, а не внешние модели вознаграждения. Без предвзятости в пользу RLHF. Это помогает обеспечить единообразие подсказок на более чем 50 языках.

Технические детали, которые важны для этого сабреддита:
- Модель работает через Apple MLX + графический процессор через Metal
- Требуется менее 8 ГБ памяти. Работает на базе M1/M2 с 16 ГБ памяти
- В модели реализована поддержка тонкой настройки LoRA (пока не в приложении, но в планах)
- Лицензия MIT, обучение на лицензионных и бесплатных данных

Над чем еще нужно поработать:
- Скорость генерации на MLX ниже, чем на CUDA. Минуты, а не секунды. Компромисс ради нативного интерфейса Mac
- Согласованность вокала может варьироваться в зависимости от поколения. Чувствительность к начальным данным по-прежнему высока (проблема «гача»)
- В приложении пока нет обучения с учителем. Если вы хотите провести тонкую настройку, вам нужно будет запустить необработанную модель через Python
- Некоторые жанры (особенно китайский рэп) проигрывают по сравнению с другими