mlx-serve — запускайте любую языковую модель на своем Mac
Локальный вывод данных, совместимый с OpenAI и Anthropic, для Apple Silicon — MLX и GGUF — быстрее, чем LM Studio, при использовании идентичных весов MLX. Без Python. Без облака. Без Electron.
Это уже не просто чат. Нативный сервер для Apple Silicon поддерживает MLX и GGUF, одновременно OpenAI- и Anthropic-совместимые API. Самое необычное: авторы добавили локальную генерацию не только текста, но и изображений, видео, музыки, речи, клонирование голоса и даже 3D; приложение MLX Core добавляет чат, agent mode, MCP и управление моделями.
Общайтесь с ним, задавайте ему вопросы о ваших документах, создавайте изображения, музыку, видео и 3D-модели, а также поручайте ему работу на вашем компьютере — бесплатно, с открытым исходным кодом и без подключения к интернету. Он поддерживает все основные открытые модели, работает быстрее, чем LM Studio, и все, что вы вводите, остается на компьютере.
mlx-serve — это собственный Zig-сервер, который запускает любую языковую модель на Apple Silicon — модели в формате MLX и все модели GGUF на HuggingFace (Qwen, Llama, Mistral, Gemma, DeepSeek V4 Flash и тысячи других). Он предоставляет OpenAI-совместимые и Anthropic-совместимые HTTP API «из коробки», так что один и тот же http://localhost:11234 работает с Claude Code, OpenAI SDK, Continue, Cursor, Open WebUI и со всем, что использует один из этих протоколов.
Помимо текста, тот же сервер генерирует изображения, видео, музыку, речь (с клонированием голоса) и 3D-модели — и все это нативно на MLX. Поставляется с MLX Core, приложением для macOS с панелью меню, чатом, режимом агента, вызовом инструментов MCP и управлением моделями.
mlx-serve + MLX Core — нативный сервер (Zig, без Python/Electron) под Apple Silicon: MLX и GGUF, API как у OpenAI, Anthropic и даже Ollama. Можно подключить Enchanted, Open WebUI, Claude Code, Cursor. Заявляют, что на тех же MLX-весах быстрее LM Studio. Требование жёсткое: свежая macOS и Apple Silicon.
#mlxserve #MCP #MLX #AgentAi #AiAgent #MacOS #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
10 лучших локальных приложений с большими языковыми моделями
Рассмотрели подробно:
1. Atomic Chat (свое поставили 1-м, но оно и правда отличное!)
2. LM Studio
3. Ollama
4. Jan
5. GPT4All
6. AnythingLLM
7. Msty
8. Cherry Studio
9. Open WebUI
10. BoltAI — лучший нативный клиент для Mac
BoltAI — это нативный macOS клиент, созданный и поддерживаемый одним разработчиком, Дэниелом Нгуеном. Он не запускает модели самостоятельно (как WebUI), а является интерфейсом, который подключается к облачным API и локальным бэкендам, таким как Atomic Chat, Ollama или LM Studio.
Он известен своей функцией под названием палетка команд ИИ, которая позволяет использовать десятки команд с помощью горячей клавиши в любом приложении. Например, вы можете выделить какой-то текст, нажать горячую клавишу, и ИИ перепишет или вычистит его, а затем вставит обратно в то же место с тем же форматированием. Очень простой в использовании ИИ.
(Он доступен только для Mac и требует приобретения разовой бессрочной лицензии (79 или 99 долларов за один Mac), которая включает в себя обновления в течение года.)
Лучше всего подходит для: пользователей Mac, которым нужен быстрый нативный клиент с командами ИИ, доступными для всей системы.
В списке точно не хватает Unsloth Desktop - реально лучшее решение!
Тут про Enchanted — нативный клиент под Mac / iPhone / iPad / Vision Pro для Ollama (или совместимого сервера). Сам модели не гоняет, но даёт «яблочный» чат и доступ с телефона к локальной модели на Mac.
Enchanted UI идеально подходит для пользователей Apple, которым нужно нативное приложение, похожее на ChatGPT, а не вкладка в браузере или Docker-контейнер. В нем нет RAG и баз знаний, но для повседневного общения на iPhone, iPad, Mac или Vision Pro это самый совершенный вариант из всех, что мы рассмотрели в этом руководстве.
Jaz — это новая версия этого проекта.
#macOS #Windows #Linux #SoftAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Персональный ИИ на ваших собственных компьютерах — любой агент, циклы, которые запускаются на ночь, доски, память и контроль git. Разделение на клиент и сервер, постоянное подключение, открытый исходный код от начала и до конца.
Руководящие принципы:
- Используйте основные агенты-кодировщики. Лаборатории Frontier вкладывают значительные средства в агентов-кодировщиков и бенчмаркинг. Jaz должен использовать их наработки, а не изобретать велосипед.
- Используйте существующие тарифные планы Pro. Продлите подписку на Claude и Codex, получив поддержку API-ключей и агентов с открытым исходным кодом.
- Единая память, которую вы контролируете и можете экспортировать.
- Подключите основные приложения. Telegram, WhatsApp, Gmail, Календарь и Slack должны подключаться к одному и тому же контексту.
- Открытый исходный код.
#Jaz #AiAgent #AgentAi #OpenCode #Codex #Claude #MCP #OpenRouter
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
Reor — это настольное приложение для создания заметок на основе ИИ: оно автоматически связывает заметки, отвечает на вопросы по вашим заметкам и обеспечивает семантический поиск. Все данные хранятся локально, и вы можете редактировать свои заметки с помощью редактора Markdown, похожего на Obsidian.
Гипотеза проекта заключается в том, что инструменты ИИ для работы с текстом должны запускать модели локально по умолчанию.
Reor опирается на достижения гигантов Ollama, Transformers.js и LanceDB, чтобы обеспечить локальный запуск как больших языковых моделей, так и встраиваемых моделей:
- Каждая заметка, которую вы пишете, разбивается на фрагменты и встраивается во внутреннюю векторную базу данных.
- Связанные заметки автоматически объединяются на основе векторного сходства.
- Функция вопросов и ответов на основе больших языковых моделей выполняет регрессию на основе градиента для вашего набора заметок.
- Все можно найти с помощью семантического поиска.
Reor — это наиболее близкое к готовому локальному приложению для заметок решение со встроенным RAG: внутри llama.cpp, Transformers.js для эмбеддингов, LanceDB в качестве векторного хранилища, хранилище в виде обычного Markdown, чтобы вы могли сохранить файлы, если когда-нибудь уйдёте.
Можно представить Reor как RAG-приложение с двумя генераторами: большой языковой моделью и человеком. В режиме вопросов и ответов большая языковая модель получает контекст из корпуса, чтобы помочь ответить на запрос. Аналогичным образом в режиме редактора человек может переключать боковую панель, чтобы отобразить связанные заметки, «извлеченные» из корпуса. Это довольно эффективный способ «дополнить» свои мысли, сопоставив идеи из текущей заметки со связанными идеями из вашего корпуса.
Лицензия AGPL, бесплатно.
Поддерживаются MacOS (Intel & Silicon), Linux и Windows.
Если вы уже пользуетесь Obsidian, вам нужно установить два плагина:
Smart Connections для семантического поиска (встраивания выполняются локально, ключ API не требуется) и
Copilot for Obsidian для чат-панели, которая взаимодействует с вашей локальной LM Studio или Ollama. Эта комбинация — лучший вариант для работы со вторым мозгом на Mac, и она полностью автономна.
Для работы с документами в формате PDF, электронными таблицами и другими файлами, лучше всего
подходит AnythingLLM Desktop с локальной моделью. Это бесплатное решение с поддержкой MCP и поставляемое с более чем тридцатью подключаемыми модулями, так что вы можете прибегнуть к облачной модели, если редкий документ выходит за рамки вашего локального контекста.
На втором месте GPT4All, чья функция LocalDocs — это более простой вариант для тех, кому нужен один бинарный файл, одна кнопка и ответ.
#Reor #RAG #PDF #MacOS #Obsidian #SoftAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1
✨ ToolPiper - объединяет в себе логический вывод и более 420 инструментов!
Голосовая связь, распознавание изображений, RAG, автоматизация браузера и сервер MCP в одном нативном приложении для macOS. Также подключается к Ollama и LM Studio. Нативный Mac: llama.cpp + STT/TTS, OCR, RAG, браузер, MCP-инструменты
🔗 https://modelpiper.com/download
#ToolPiper #MacOS #MCP #RAG #STT #TTS #OCR #LocalAi #AiLocal
Голосовая связь, распознавание изображений, RAG, автоматизация браузера и сервер MCP в одном нативном приложении для macOS. Также подключается к Ollama и LM Studio. Нативный Mac: llama.cpp + STT/TTS, OCR, RAG, браузер, MCP-инструменты
ToolPiper — это нативное приложение для macOS, которое включает в себя llama.cpp и восемь других бэкендов ИИ: преобразование речи в текст, три механизма преобразования текста в речь, оптическое распознавание символов, эмбеддинги, повышение разрешения изображений, повышение разрешения видео, оценку позы и браузерный движок CDP. Все это доступно через HTTP API и сервер MCP с более чем 420 инструментами.
Самое большое отличие от остальных: ToolPiper — это MCP-сервер, а не клиент. Все остальные приложения с поддержкой MCP — LM Studio, Msty, Jan, AnythingLLM, BoltAI — используют инструменты. ToolPiper публикует более 420 инструментов. Один claude mcp add toolpiper из них обеспечивает локальный вывод данных для Claude Code, Cursor или Claude Desktop, автоматизацию браузера, оптическое распознавание символов, апскейлинг, RAG и управление рабочим столом. Подробнее о том, что включает в себя обзор локального MCP-сервера, можно прочитать здесь.
У них еще есть: AudioPiper, MediaPiper, VisionPiper.
VisionPiper — это отдельное приложение в строке меню для macOS, которое захватывает области экрана с точными границами, записывает видео в формате H.264, обрезает его и экспортирует в формате GIF/WebP/MP4, а также передает кадры через WebSocket в модели машинного зрения ToolPiper со скоростью 30 кадров в секунду. Представьте, что это камера, установленная на экране, которую можно направить на что угодно.
#ToolPiper #MacOS #MCP #RAG #STT #TTS #OCR #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Local Ai
✨ elvean.app - Собственное рабочее пространство с ИИ для macOS Карты, диаграммы, сортируемые таблицы, многопоточные диалоги и инструменты для работы с агентами. Не просто оболочка для чата. В 1-м нативном приложении. Хватит переключаться между ChatGPT, Claude…
This media is not supported in your browser
VIEW IN TELEGRAM
✨ elvean.app Обновилось до Версия 1.2.37 (5 сентября 2026 г.)
Для Intel и Apple Silicon · macOS 13+
#elveanapp #elvean #app #MacOS #LocalAi #AiLocal
Для Intel и Apple Silicon · macOS 13+
Частное рабочее пространство с искусственным интеллектом для Mac
Владейте своим ИИ. Сохраняйте свои данные. Переключайте модели. Запускайте агентные инструменты.
Интерактивные диаграммы, карты, сортируемые таблицы, многопоточные диалоги, песочница Linux и многое другое.
#elveanapp #elvean #app #MacOS #LocalAi #AiLocal
Собственное рабочее пространство Mac для ИИ-агентов, кода и используемых вами инструментов. По умолчанию локальное. Ваше по замыслу. Locus позиционируется как приватная рабочая среда для заметок и ведения вики WiKi.
Locus объединяет чаты, файлы проектов, терминал, вкладки браузера, планы и повторяющиеся агенты в приложении SwiftUI. Используйте локальную версию Ollama, тарифный план ChatGPT или предпочитаемого вами поставщика API. По умолчанию используется локальная версия Ollama. Locus никогда не переключается автоматически на платный аккаунт.
Что вы можете делать:
- Работайте над проектом. Добавляйте файлы в контекст, просматривайте изменения, выполняйте команды, не закрывайте терминал и просматривайте сайты рядом с диалогом.
- Используйте встроенный браузер. Делитесь вкладками с агентом, просматривайте страницы, взаимодействуйте с сайтами и переключайтесь на мобильное устройство.
- Планируйте и делегируйте. Планируйте работу, дорабатывайте запрос в режиме Grill или поручайте действия агенту. Следите за задачами, активностью инструментов, результатами и командами агентов в разделе «Обзор». Он появляется в правом верхнем углу во время работы и освобождает место для любого инспектора, которого вы откроете.
- Понимание контекста. Контекст чата показывает использование токенов, цветовую разбивку, расширяемые категории, зарезервированное пространство и оставшуюся емкость. Оценки и лимиты, управляемые провайдером, четко обозначены.
- Создавайте и пересматривайте результаты работы. Создавайте или редактируйте изображения с помощью настроенной учетной записи для работы с изображениями, изучайте интерактивные ответы и просматривайте сохраненные результаты в Библиотеке с версиями, предварительным просмотром документов, возможностью масштабирования изображений и элементами управления экспортом.
- Продолжайте работать над достижением цели. Сохраните цель с дополнительными ограничениями по использованию. Одиночные агенты и команды продолжают работу в течение нескольких ходов с возможностью подтверждения выполнения, управления паузой/возобновлением и восстановления при повторном открытии Locus.
- Возобновите сохраненную капсулу с заданием.Сохраняйте подтвержденный прогресс выполнения шагов и исходное разрешение на использование. Проверка завершения позволяет отличить подтвержденные результаты от тех, которые требуют вашего внимания. См. раздел о верификации и восстановлении.
- Запускайте повторяющиеся агенты. Планируйте работу или подключайте триггеры событий с помощью специальных чатов, ограниченных разрешений и видимой истории выполнения.
- Выберите свои модели. Используйте Ollama, доступ по подписке ChatGPT, OpenAI, Claude, Kimi или конечную точку, совместимую с OpenAI. Голосовое управление не является обязательным.
- Продолжить с телефона. Дополнительный модуль Locus Mobile подключается напрямую к вашему Mac через локальную сеть или Tailscale.
#locus #locushost #MacOS #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM