📱 BigMoeOnEdge - Запускайте модели MoE, размер которых превышает объем вашей оперативной памяти. MoE размером с Frontier на телефоне с 12 ГБ памяти, только на процессоре, без потерь, на стандартной версии llama.cpp

Модель Mixture-of-Experts состоит из множества небольших «экспертов», и в каждом сгенерированном токене используются лишь некоторые из них. BigMoeOnEdge делает это буквально: он держит под рукой небольшую часть модели, которая всегда нужна, и считывает только тех экспертов, которые запрашивает каждый токен, прямо из флэш-памяти в момент, когда они нужны. Остальная часть модели остается на диске. Именно это позволяет модели, размер которой в несколько раз превышает объем оперативной памяти, генерировать текст на обычном телефоне без потерь: результат идентичен байтам при работе с той же моделью в оперативной памяти.
Он создан на основе публичного API llama.cpp, а не как форк. Все форматы квантования, токенизаторы и шаблоны чатов, которые поддерживает llama.cpp, работают «из коробки», потому что эту часть выполняет сам llama.cpp: MXFP4 и Q4_K_M проходят через один и тот же код. Поддержка новой архитектуры MoE — это одна строка в реестре, а обновление llama.cpp после выхода новой версии — это обычное обновление подмодуля.
DeepSeek V4 Flash 0731 — самая большая модель, которую удалось запустить таким образом. Она генерируется на телефоне с 12 ГБ оперативной памяти, с потоковой передачей данных с флеш-накопителя в виде трех файлов фрагментов, поставляемых Hugging Face, без этапа слияния и без использования ПК.
(На широком видео: Слева направо: gpt-oss-120b (~60 ГБ), Qwen3-30B-A3B (18,5 ГБ), Gemma-4-26B-A4B (17 ГБ), записано в демонстрационном приложении на телефоне с 12 ГБ памяти, в реальном времени, без ускорения.)

🔗 https://github.com/Helldez/BigMoeOnEdge
⬇️Скачать: https://github.com/Helldez/BigMoeOnEdge/releases/latest
(Обсуждение) - Qwen 3.6 35B Q4, 7–8 токенов в секунду на телефоне Android с 12 ГБ памяти (и рекорд — 397B на мобильном устройстве).
- Qwen3.8-Flash-Next: 125B параметров, ~82 ГБ на диске, на телефоне с 12 ГБ памяти. 2,03 ток/с !
#BigMoeOnEdge #Android #Windows #MacOS #Linux #llamacpp #LocalAi #AiLocal

💬 ToshLLM — локальный ИИ именно для Intel Mac + AMD GPU.

Запускайте современные открытые модели на уже имеющемся у вас Mac с процессором Intel. Собственное ускорение Metal, без облачных технологий и платы за токены.
(Последние версии Jan.ai и Atomic.chat перестали поддерживать Mac Intel и теперь они только для Apple Silicon (M1-M6), но MSTY еще работает на Intel!)

Большинство локальных инструментов для больших языковых моделей в macOS ориентированы только на Apple Silicon. Компьютеры Intel Mac с дискретными графическими процессорами AMD, в том числе сборки Hackintosh, отстают: стандартные движки выдают поврежденный результат на дискретных графических процессорах AMD и считывают веса моделей через PCIe с гораздо меньшей скоростью, чем возможно.

✔️ ToshLLM решает эту проблему. Он объединяет llama.cpp встроенные исправления для AMD и оборачивает их в усовершенствованное родное приложение SwiftUI — так что карта, подобная RX 6700 XT, превращается из непригодной в действительно быструю.

👉 Первый запуск (Gatekeeper): релизы еще не заверены Apple Developer ID, поэтому macOS блокирует первое открытие. Перейдите в «Системные настройки» → «Конфиденциальность и безопасность» и нажмите «Открыть в любом случае», либо выполните команду:
xattr -dr com.apple.quarantine /Applications/ToshLLM.app

В разделе "Аудио" есть #Транскрибация моделью #Whisper и есть разделы "Изображение" и "Видео"!
🔗 https://toshllm.com
🔗 https://github.com/engeldlgado/toshllm
⬇️Скачать: https://github.com/engeldlgado/toshllm/releases/latest
#ToshLLM #MacIntel #Intel #IntelMac #AMD #MacOS #LocalAi #AiLocal #СтавитьВсем

🤖 Вышла версия 0.3.0 LifeOS! Полностью работоспособна на 12 ГБ видеопамяти.

LifeOS — это персональный органайзер, с которым вы в основном и общаетесь. Вы произносите что-то вслух, Whisper (или любая другая модель преобразования речи в текст) локально транскрибирует это, локальная языковая модель читает текст, и он становится задачей, событием, записью в дневнике, расходом, взвешиванием или приемом пищи. Модель предлагает варианты, но никогда их не записывает. Приложение проверяет каждый вариант, и в каждой карточке приводятся слова, из которых она была создана. Преимущество в том, что ничего не покидает пределы вашего устройства.

⬇️Скачать LifeOS v0.3.0 для Windows (от 30.08.2026)
(Обсуждение)
#LifeOS #ASR #AiVoice #Диктовка #LocalAi #AiLocal

🤖 Agro - — это мультиплатформенное (Android, iOS, macOS, Windows, Linux) локальное приложение с большой языковой моделью (LLM) и автономным чат-агентом на базе устройства.

В отличие от традиционных инструментов ИИ, которые зависят от удаленных облачных API, Agro переносит весь механизм логического вывода, планирование контекста, выполнение инструментов агента и рендеринг AIGC непосредственно на ваше физическое устройство. Благодаря нативной среде выполнения Google LiteRT-LM на C++ и бэкендам аппаратного ускорения (Apple Metal, WebGPU Dawn, DirectX, Vulkan, OpenCL), Agro гарантирует 100% конфиденциальность данных и сверхплавный и быстрый процесс генерации.

🌟 Основные преимущества:
🔒 100 % локальное и автономное использование: все диалоги, исторические записи и логические выводы хранятся исключительно на вашем устройстве — никакие данные не отправляются в облако.
⚡️ Собственное аппаратное ускорение: низкоуровневое управление памятью и оптимизация графического процессора, адаптированная для графических процессоров настольных компьютеров, Apple Neural Engine / Metal и мобильных графических процессоров.
🧩 Автономный цикл работы агента и экосистема инструментов: встроенный структурированный цикл вызова инструментов, поддерживающий локальное выполнение JavaScript, веб-поиск в реальном времени и анализ содержимого URL.
🎨 Мультимодальная структурированная генерация: помимо обычного текста, позволяет синтезировать и отображать на устройстве в режиме реального времени векторную графику SVG, 8-битный чиптюн и анимацию Lottie.

🔗 https://github.com/Onion99/Agro
⬇Скачать https://github.com/Onion99/Agro/releases
#Android Agro-1.2.2.apk
#macOS Arm64 Agro-1.2.2-macos-aarch64.dmg - если карантин, то в Терминале: sudo xattr -d com.apple.quarantine /Applications/Agro.app
#Windows X86_64 Agro-1.2.2-windows-x86_64.exe
(Обсуждение)
P,S, Очень простое для начинающих! Выбор Gemma4-4B или любая LiteRT на диске! Помнит историю чата как "знания"!
#Agro #Linux #iOS #iPhone #AiAgent #AgentAi #LocalAi #AiLocal

⬇️ Обновление: OpenWhispr 1.9.2 (29.08.2026)
Везде (во всех вкладках) настроек надо выбрать локальную модель и скачать ее!
Для #Транскрибация очень быстрая #Parakeet
Для исправления, чата и ... есть большой выбор локальных моделей! (Смотри скриншоты)
🔗 https://github.com/OpenWhispr/openwhispr/releases/tag/v1.9.2
#MacOS чит М: OpenWhispr-1.9.2-arm64.dmg
Чип Intel: OpenWhispr-1.9.2.dmg
#Windows OpenWhispr-Setup-1.9.2.exe
🎞 Подробно о установке и настройке: https://youtu.be/6TXOs0_ejhQ или на RuTube.
#OpenWhispr #Whisper #Linux #Диктовка #LocalAi #AiLocal

🔈 Vellium v1.1.0 — голос в реальном времени, локальные STT / TTS и многое другое!

Vellium — это настольное приложение с открытым исходным кодом, ориентированное на локальное использование, для общения с ИИ, ролевых игр и написания больших текстов.

Последние обновления в основном направлены на упрощение использования локальных голосовых и модельных настроек.
Режим реального времени теперь поддерживает микрофонный ввод, локальное распознавание речи или распознавание речи, совместимое с Whisper, потоковую передачу текста в речь, вложения, контекст экрана и обычные инструменты чата — и все это в одном голосовом интерфейсе.
Локальную голосовую модель можно установить и настроить прямо в приложении. Whisper Large v3 Turbo Q5_0 доступен для распознавания, а TeraTTSv2 обеспечивает воспроизведение на английском и русском языках в режиме реального времени. Процесс преобразования текста в речь остается активным между ответами, что позволяет избежать полной перезагрузки модели при каждом ответе.
Также была упрощена настройка llama.cpp. Vellium может обнаруживать существующие llama-server установки, модели GGUF и запущенные локальные конечные точки, а затем настраивать их как управляемый бэкенд.
Было внесено множество мелких исправлений: более надежная потоковая передача TTS, более безопасное извлечение архива во время выполнения, улучшенное обнаружение конечных точек, улучшенная обработка тайм-аутов, поддержка системных сертификатов и упрощенная навигация по настройкам.
Чаты, персонажи, книги знаний, писательские проекты и коллекции знаний хранятся локально в SQLite.
Vellium работает на macOS, Windows и Linux и поддерживает API, совместимые с OpenAI, OpenRouter, LM Studio, Ollama и KoboldCpp.

🔗 https://github.com/tg-prplx/vellium
(Обсуждение)
Ранее было: https://t.me/Ai2Local/230
#Vellium #MacOS #Windows #Linux #ChatRP #RP #Whisper #TTS #AiLocal #LocalAi