Local Ai
443 subscribers
895 photos
250 videos
4 files
811 links
Все про Локальные ИИ на ПК и Смартфонах - программы и модели, которые можно запустить на 96Gb VRAM. (Как сайт: https://t.me/s/ai2local )
ИИ для Здоровья: @Ai2Health
Download Telegram
🤖 Osaurus - Управляйте своим ИИ.
Агенты, память, инструменты и идентификация, которые работают на вашем Mac.
Это нативный Swift AI harness: локальные модели, агенты, долговременная память, tools, MCP server + client, browser use, computer use, sandbox, автоматизации, subagents и даже локальная генерация изображений.

Особенно интересна архитектура: можно создать отдельных локальных агентов — исследователь, аналитик, программист, файловый ассистент — каждому дать свою память, рабочую папку и набор инструментов. При переходе между моделями память и агент сохраняются.

На macOS 26 sandbox может использовать отдельную Linux VM. Есть встроенный MLX inference engine и поддержка Apple Foundation Models.

Создано исключительно на Swift. Полностью автономно. С открытым исходным кодом.
Инференс — это все, что вам нужно. Все остальное может принадлежать вам.
С каждым днем модели становятся все дешевле и взаимозаменяемее. Что действительно незаменимо, так это окружающая их среда — ваш контекст, ваша память, ваши инструменты, ваша личность. Другие хранят эту среду на своих серверах. Osaurus хранит ее на вашем компьютере.
Osaurus — это платформа для ИИ в macOS. Она находится между вами и любой моделью — локальной или облачной — и обеспечивает преемственность, которая делает ИИ индивидуальным: агенты запоминают данные, работают автономно, запускают реальный код и доступны из любого места. Модели взаимозаменяемы. Платформа — это то, что их объединяет.
Работает полностью в автономном режиме с локальными моделями. Подключайтесь к любому облачному провайдеру, когда вам понадобится больше возможностей. Данные не покидают ваш Mac без вашего согласия.
Osaurus позиционируется не просто как чат-клиент, а как полноценная нативная «упряжка» (harness) для ИИ-агентов на macOS. Он предоставляет агентам персистентную память и контроль над системой в фоновом режиме.

Если вам интересна тема локальных ИИ-агентов для бизнеса, то стоит изучить Osaurus очень внимательно.
Собственный Swift на Apple Silicon. Без Electron. Никаких компромиссов. Лицензия MIT. Скоро выйдет в Windows.

🔗 https://osaurus.ai
🔗 https://github.com/osaurus-ai/osaurus?ref=danmackinlay.name
Скачать: Osaurus-0.25.4.dmg (выпущен 18.09.26!)
📖 Подробнее в статье: Локальное использование больших языковых моделей на Mac
🎞 Их видео: https://www.youtube.com/@OsaurusAI
#Osaurus #AgentAi #AiAgent #MacOS #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
💬 macMLX запускает локальные языковые модели на Apple Silicon с первоклассным нативным интерфейсом macOS — без облака, без телеметрии, без Electron.

Отполированное приложение SwiftUI для новичков, полноценный интерфейс командной строки для разработчиков и постоянно работающий API, совместимый с OpenAI, для всего остального.
macMLX — Это один из самых интересных новых проектов именно для Mac. В отличие от большинства оболочек, inference написан нативно на Swift/MLX, без Python и Electron. Есть GUI, CLI, OpenAI-совместимый сервер, VLM, LoRA, prompt cache, пул моделей, embeddings, reranking, а с версии 0.9 — локальные STT и TTS. Текущий релиз v0.9.0 датирован 28 августа 2026 года.

🔗 https://macmlx.app
🔗 https://github.com/magicnight/mac-mlx
Скачать: macMLX-v0.9.0.dmg
#macMLX #STT #TTS #MacOS #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
💬 MLX Chat - Запускайте локальные модели на Apple Silicon с помощью MLX

Собственное приложение для чата в macOS, позволяющее запускать большие языковые модели прямо на устройстве. Локальные модели запускаются на Apple Silicon с помощью MLX; Apple Intelligence доступна в качестве встроенного движка в macOS 26+.
Интеллект в одном приложении.

Запускайте мощные языковые модели и модели на основе смеси экспертов полностью на своем Mac. Используйте MLX, потоковую передачу больших моделей на основе смеси экспертов с SSD или Apple Intelligence — и все это в одном собственном приложении для чата.

MLX Chat. Очень свежий нативный проект. Работает непосредственно с MLX, умеет импортировать MLX-репозитории Hugging Face, управлять моделями, освобождать RAM после простоя, показывать reasoning и даже использовать Apple Intelligence как отдельный движок. Есть интересный экспериментальный режим SSD-streaming для MoE. Требуется Apple Silicon и macOS 26+. По функциональности пока уступает LM Studio, но как чистый нативный MLX-клиент за ним стоит следить.

🔗 https://mlxchat.dev
🔗 https://github.com/abayomipopoola/mlx-chat
Скачать: MLX-Chat-1.2.3.dmg
#MLXChat #MLX #MacOS #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
💬 Private LLM - Приватный, нецензурированный ИИ-чат для iPhone, iPad и Mac
Без облака, без отслеживания, без входа в систему.
Очень простое нативное решение для пользователя, которому не хочется знать, что такое GGUF, сервер, endpoint и порт 11434. Купили один раз, скачали модель — Mac/iPhone/iPad работают полностью offline.
LM Studio / macMLX дают гораздо больше контроля. Но для обычного пользователя Mac — отличная рекомендация.

🔗 https://privatellm.app/ru
⬇️ https://apps.apple.com/us/app/private-llm-local-ai-chat/id6448106860
#PrivateLLM #iOS #iPhone #iPad #MacOS #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
💬 Kerlig - Приложение для написания текстов с помощью ИИ для Mac
Экономьте часы на письменном общении на работе


Пишите электронные письма, ответы в Slack, тикеты в Jira, редактируйте тексты, общайтесь с документами...
Kerlig интересен совершенно другим сценарием: локальная модель становится частью macOS. Вы выделяете текст практически в любом приложении и можете переписать, сократить, перевести, ответить и т. д. В качестве backend поддерживается Ollama, включая добавление собственных моделей.
То есть это не конкурент LM Studio, а полезный front-end поверх него/Ollama.
🔗 https://www.kerlig.com
⬇️ Скачать: Mac Intel , Mac Silicon (от 19 августа 2026 г.)
#Kerlig #Ollama #MacOS #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
gmlx - Самый быстрый способ запустить модели GGUF на Apple Silicon.

Главная идея необычная: взять обычные GGUF-файлы с K-quants/IQ-quants, которые обычно запускаются через llama.cpp, и исполнять их через специализированные MLX/Metal kernels. То есть не нужно выбирать между огромной экосистемой GGUF и высокой эффективностью MLX.
gmlx умеет сервер OpenAI + Anthropic API, tool calling, structured output, VLM, embeddings, reranking, STT/TTS, RAG и LoRA. Ещё интереснее — есть disk streaming MoE-моделей, которые физически больше RAM. Авторы пишут, что таким способом 200B-класс моделей может запускаться даже на 64 GB Mac. Для 128 GB это открывает очень необычные варианты.
Авторы также публикуют собственные тесты, где на одинаковом GGUF gmlx обгоняет llama.cpp, особенно при длинном контексте.

gmlx — это локальная платформа для логического вывода. Вы можете общаться с открытой моделью в терминале или в браузере, предоставлять к ней доступ через API, совместимые с OpenAI и Anthropic, подключить к ней агента кодирования, общаться с ней голосом, создать на ее основе локальный стек RAG и дообучить ее с помощью LoRA.
Она работает с опубликованными версиями K-quant и IQ-quant GGUF. Эти форматы являются наиболее точными открытыми квантовыми моделями при заданном размере файла, а сопутствующий проект mlx-kquant предоставляет ядра Metal, которые запускают их на платформе MLX от Apple.
В том же файле gmlx работает быстрее, чем llama.cpp, и разрыв наиболее заметен при использовании длинных контекстов, которые применяются в агентах кодирования и длительных сессиях. Модель на основе смеси экспертов, размер которой превышает объем оперативной памяти, все равно работает, загружая экспертов с диска.

Поддерживаемые архитектуры:
- Llama, Mistral, Phi-3, SmolLM3, Seed-OSS и ERNIE-4.5
- Qwen со 2 по 3.8, dense и MoE, с гибридными семействами attention
- Gemma с 1 по 4, за исключением варианта 3n, GGUF которого разбиты выше по течению.
- DeepSeek V3, R1 и V4-Flash
- GLM с 4 по 5.2, Kimi-K3, MiniMax M2 и M3 и gpt-oss
- Hunyuan, Hy3, HY4 и Muse Glimmer
- Granite, Nemotron-H и Falcon-H1

🔗 https://github.com/asher/gmlx
#gmlx #RAG #MLX #MacOS #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
👎2
Rapid-MLX — самый быстрый локальный ИИ-движок для Apple Silicon

Встроенный API OpenAI / Anthropic · пропускная способность до 3 раз выше, чем у Ollama (измерено) · Работает на любом Mac серии M.
Общайтесь без интернета или диктуйте текст в любое приложение с помощью Whisper, Qwen3-ASR, SenseVoice или Parakeet, запущенных локально. Есть: Генерация изображений и Видео!
❗️ В 4,2 раза быстрее Ollama, время до первого ответа с кэшированием 0,08 с, 100% вызов инструментов. 17 парсеров инструментов, кэш подсказок, разделение рассуждений, облачная маршрутизация. Полная замена OpenAI. Работает с Claude Code, Cursor, Aider.

Rapid-MLX специализируется именно на быстрой работе Apple Silicon и предоставляет OpenAI-compatible API, tool calling, prompt caching, reasoning separation и интеграцию с агентами.
Особенно показательно, что разработчики уже отдельно ориентируют продукт на большие машины: в их опубликованной таблице есть Qwen 3.5 122B для 96+ GB и даже DeepSeek V4 Flash 158B-A13B для 128+ GB. Для Qwen 122B заявлено около 57 tok/s.

🔗 https://github.com/xinqiyang/rapid-mlx
🔗 https://pypi.org/project/rapid-mlx/
⬇️ Скачать Rapid-MLX Desktop: https://rapidmlx.com/desktop
Посмотреть подписанные релизы Desktop
#RapidMLX #AppleSilicon #MLX #Whisper #Qwen3ASR #ASR #STT #Parakeet #SenseVoice #Транскрибация #MacOS #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👎2
🎞 VPIPE - Мультимодальные конвейеры ИИ в реальном времени на Apple Silicon

Легкие локальные мультимодальные ИИ-конвейеры и пользовательский Metal-вывод для компьютеров Apple Silicon Mac.
- Мультимодальный граф: видео, аудио, изображения, текст и действия с инструментами в одном конвейере.
- Собственный Metal-вывод: пользовательские ядра и отсутствие сторонних тензорных фреймворков для оптимальной скорости.
- Базовая модель для Mac: потоковая передача весов и подготовка 4-битной модели для генерации изображений/видео на компьютерах с 16 ГБ памяти.
- Готовые рабочие процессы: редактирование изображений, видео в MiniMax H3, чат Qwen, VQA в реальном времени, ASR/TTS и вызов локальных инструментов.
- Воспроизводимый Composer: сохранение макетов, подсказок, параметров и конфигурации модели для каждой спецификации пайплайна.
- Простота в использовании: приложение для macOS, управление через веб-интерфейс и удаленный доступ через браузер на телефоне.

Почему VPIPE:
- Запускает MiniMax H3 FL2VA и REF2VA на Apple Silicon Mac — модели 33B, которая генерирует видео и его звуковое сопровождение на накопителе объемом всего 16 ГБ. Теперь с поддержкой Turbo LoRA!
- Работает LTX-2.5 на Apple Silicon Mac — модель 22B генерирует видео и саундтрек одновременно, опять же на 16 ГБ, с помощью плагина vpipe-ltx-2.5.
- Использует Krea-2 Turbo — модель преобразования текста в изображение, оптимизированную для 12B CFG, — на опубликованных весах bf16, без этапа квантования. 
- Генерация изображений и видео на компьютерах Mac с базовой моделью.
- Мультимодальные конвейеры в реальном времени для VQA, ASR, чата, TTS, редактирования изображений, генерации видео и использования инструментов. Теперь с поддержкой Qwen 3.8 27B!

Это не LLM-чат, а локальная мультимодальная pipeline-система с собственными Metal kernels.
Видео → аудио → изображения → VLM → ASR → TTS → инструменты можно соединять в единый граф. Есть image generation / editing, MiniMax H3 video+audio, LTX-2.5, Krea, realtime VQA, Qwen chat и локальные tools.
И что особенно приятно — на официальном сайте разработчики прямо относят M4 Max 48–128 GB к классу машин для:
Video generation + Video/Audio + Batch runs.
Если Draw Things — удобный генератор, то VPIPE — скорее локальная лаборатория мультимодального AI.

🔗 https://vpipe.ai
🔗 https://github.com/tgo-app-dev/vpipe
⬇️ Скачать: VpipeManager-0.1.46-с-ffmpeg.dmg
#VPIPE #AiVideo #ASR #TTS #MiniMaxH3 #LTX25 #Krea #MacOS #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1👎1