Большинство локальных инструментов для больших языковых моделей в macOS ориентированы только на Apple Silicon. Компьютеры Intel Mac с дискретными графическими процессорами AMD, в том числе сборки Hackintosh, отстают: стандартные движки выдают поврежденный результат на дискретных графических процессорах AMD и считывают веса моделей через PCIe с гораздо меньшей скоростью, чем возможно.

✔️ ToshLLM решает эту проблему. Он объединяет llama.cpp встроенные исправления для AMD и оборачивает их в усовершенствованное родное приложение SwiftUI — так что карта, подобная RX 6700 XT, превращается из непригодной в действительно быструю.

👉 Первый запуск (Gatekeeper): релизы еще не заверены Apple Developer ID, поэтому macOS блокирует первое открытие. Перейдите в «Системные настройки» → «Конфиденциальность и безопасность» и нажмите «Открыть в любом случае», либо выполните команду:
xattr -dr com.apple.quarantine /Applications/ToshLLM.app

LifeOS — это персональный органайзер, с которым вы в основном и общаетесь. Вы произносите что-то вслух, Whisper (или любая другая модель преобразования речи в текст) локально транскрибирует это, локальная языковая модель читает текст, и он становится задачей, событием, записью в дневнике, расходом, взвешиванием или приемом пищи. Модель предлагает варианты, но никогда их не записывает. Приложение проверяет каждый вариант, и в каждой карточке приводятся слова, из которых она была создана. Преимущество в том, что ничего не покидает пределы вашего устройства.

В отличие от традиционных инструментов ИИ, которые зависят от удаленных облачных API, Agro переносит весь механизм логического вывода, планирование контекста, выполнение инструментов агента и рендеринг AIGC непосредственно на ваше физическое устройство. Благодаря нативной среде выполнения Google LiteRT-LM на C++ и бэкендам аппаратного ускорения (Apple Metal, WebGPU Dawn, DirectX, Vulkan, OpenCL), Agro гарантирует 100% конфиденциальность данных и сверхплавный и быстрый процесс генерации.

🌟 Основные преимущества:
🔒 100 % локальное и автономное использование: все диалоги, исторические записи и логические выводы хранятся исключительно на вашем устройстве — никакие данные не отправляются в облако.
⚡️ Собственное аппаратное ускорение: низкоуровневое управление памятью и оптимизация графического процессора, адаптированная для графических процессоров настольных компьютеров, Apple Neural Engine / Metal и мобильных графических процессоров.
🧩 Автономный цикл работы агента и экосистема инструментов: встроенный структурированный цикл вызова инструментов, поддерживающий локальное выполнение JavaScript, веб-поиск в реальном времени и анализ содержимого URL.
🎨 Мультимодальная структурированная генерация: помимо обычного текста, позволяет синтезировать и отображать на устройстве в режиме реального времени векторную графику SVG, 8-битный чиптюн и анимацию Lottie.

Последние обновления в основном направлены на упрощение использования локальных голосовых и модельных настроек.
Режим реального времени теперь поддерживает микрофонный ввод, локальное распознавание речи или распознавание речи, совместимое с Whisper, потоковую передачу текста в речь, вложения, контекст экрана и обычные инструменты чата — и все это в одном голосовом интерфейсе.
Локальную голосовую модель можно установить и настроить прямо в приложении. Whisper Large v3 Turbo Q5_0 доступен для распознавания, а TeraTTSv2 обеспечивает воспроизведение на английском и русском языках в режиме реального времени. Процесс преобразования текста в речь остается активным между ответами, что позволяет избежать полной перезагрузки модели при каждом ответе.
Также была упрощена настройка llama.cpp. Vellium может обнаруживать существующие llama-server установки, модели GGUF и запущенные локальные конечные точки, а затем настраивать их как управляемый бэкенд.
Было внесено множество мелких исправлений: более надежная потоковая передача TTS, более безопасное извлечение архива во время выполнения, улучшенное обнаружение конечных точек, улучшенная обработка тайм-аутов, поддержка системных сертификатов и упрощенная навигация по настройкам.
Чаты, персонажи, книги знаний, писательские проекты и коллекции знаний хранятся локально в SQLite.
Vellium работает на macOS, Windows и Linux и поддерживает API, совместимые с OpenAI, OpenRouter, LM Studio, Ollama и KoboldCpp.