Armored Llama — это не оболочка для облачного API и не повторная реализация логического вывода. Он запускает реальный llama-server бинарный файл llama.cpp из репозитория на процессоре вашего телефона, предоставляя конечную точку, совместимую с OpenAI, на 127.0.0.1, и оборачивает его в нативное приложение Jetpack Compose: аппаратную панель мониторинга в реальном времени, браузер моделей Hugging Face, чат в приложении и обновление среды выполнения в одно касание. Все данные остаются на устройстве — никаких сетевых запросов для логического вывода, никаких учетных записей.

Перевод поста:
Продолжая работу над портом Qwen 3.6, я хотел продолжать добавлять модели и в итоге по пути исправил кучу вещей, так что теперь у него есть собственный движок: Mference.

Основная идея та же, что и в TurboFieldfare: модели MoE активируют несколько параметров B для каждого токена, поэтому можно оставить общее ядро и кэш KV, а выбранные эксперты будут загружаться с SSD.

Что работает сейчас:
- Gemma 4 26B-A4B — ~2 ГБ, 31–35 tok/s на M5 Pro 24 ГБ
- Qwen 3.6 35B-A3B — ~1,45 ГБ, 19–23 tok/s
- DeepSeek-V4-Flash 284B-A13B — новинка. ~6,8 ГБ пиковой памяти, на практике в основном ~5,3 ГБ, до 4,8 ток/с на том же M5 с 24 ГБ памяти. 2-битное динамическое квантование, ~91 ГБ на диске.

🙂 Кроме того, мы добавили собственное приложение для Mac с многопоточным чатом, совместимым с OpenAI сервером и локальными вложениями в формате PDF/DOCX/PPTX/XLSX.

Отсюда я хочу продолжать добавлять семейства моделей, сократить время ожидания при экспертном чтении (сейчас декодирование занимает ~53 % времени ввода-вывода и выполняется последовательно с вычислениями) и увеличить размер контекста до 4 КБ.

Это не очень полезно после нескольких ходов, но технически вы можете запустить «пригодный для использования» dsv4f на Mac с 8 ГБ памяти. Дальше будет только лучше.

- GigaAM v3 E2E RNNT — основной режим для русской речи;
- Whisper Large V3 Turbo (MLX) — для смешанной русско-английской речи;
- Qwen3-ASR 1.7B (MLX) — международный многоязычный режим;
- Apple SpeechAnalyzer — системная локальная диктовка на macOS 26+;
- Qwen3-4B (MLX) — локально исправляет или конвертирует расшифровку;
- режимы текста Дословно , Исправить и Кратко ;
- fn + ⌥ Option— начать или остановить запись;
- HUD показывает запись, расшифровку, локальную редактуру и результат;
- аудио и текст не отправляются во внешний API;
- Журнал сравнения помогает выбрать модель под собственную речь.

Системные требования:
- Mac с Apple Silicon ( M1или новее);
- macOS 14 Sonoma или новее;
- рекомендуется 16 ГБ оперативной памяти;
- около 12 ГБ свободного места для Python, зависимостей и четырех загружаемых моделей;
- Интернет только во время первоначальной установки модели.

Это первый из очень немногих (единственных?) универсальных MCP-клиентов:
Witsy позволяет запускать MCP-серверы практически с любой большой языковой моделью!

Неполный список функций:
- дополнение чата с поддержкой визуальных моделей (описание изображения)
- преобразование текста в изображение и видео
- преобразование изображения в изображение (редактирование изображений) и видео
- плагины LLM для расширения возможностей LLM: выполнение кода Python, поиск в интернете...
- поддержка сервера Anthropic MCP
- Scratchpad для интерактивного создания лучшего контента с помощью любой модели!
- Prompt anywhere позволяет генерировать контент непосредственно в любом приложении
- Команды искусственного интеллекта, которые можно запускать с выделенным текстом практически в любом приложении
- Подсказки экспертов специализируют вашего бота на определенной теме
- Плагин долговременной памяти для повышения релевантности ответов LLM
- Чтение вслух сообщений помощника
- Чтение вслух любого текста в других приложениях
- Общение в чате с вашими локальными файлами и документами (RAG)
- Транскрипция / диктовка (преобразование речи в текст)
- Чат в реальном времени, также известный как голосовой режим
- Поддержка использования антропного компьютера
- Локальная история разговоров (с автоматическими заголовками)
- Форматирование и копирование сгенерированного кода в буфер обмена
- Экспорт беседы в PDF
- Скопируйте и загрузите изображение

Этот сервер основан на архитектуре и пользовательском интерфейсе нашего проекта Dia-TTS-Server, но использует собственный chatterbox-tts движок. Работает с ускорением на графических процессорах NVIDIA (CUDA), AMD (ROCm) и Apple Silicon (MPS), а в случае сбоя — на центральном процессоре.

Multilingual поддерживает 23 языка, включая арабский, китайский, датский, голландский, английский, финский, французский, немецкий, греческий, иврит, хинди, итальянский, японский, корейский, малайский, норвежский, польский, португальский, русский, испанский, шведский, суахили и турецкий.
📦 Портативный режим (Windows): Это приложение поддерживает полностью автономную установку — вся папка, включая Python и все зависимости, является самодостаточной. Скопируйте ее на USB-накопитель, отправьте в виде zip-архива или переместите куда угодно. Просто дважды щелкните start.bat — установка Python на целевом компьютере не требуется. Подробнее →