Local Ai
443 subscribers
895 photos
250 videos
4 files
811 links
Все про Локальные ИИ на ПК и Смартфонах - программы и модели, которые можно запустить на 96Gb VRAM. (Как сайт: https://t.me/s/ai2local )
ИИ для Здоровья: @Ai2Health
Download Telegram
📖 В Атомик собрали в 1 статью наиболее популярные решения использования Локального ИИ на ПК:
10 лучших локальных приложений с большими языковыми моделями
Рассмотрели подробно:
1. Atomic Chat (свое поставили 1-м, но оно и правда отличное!)
2. LM Studio
3. Ollama
4. Jan
5. GPT4All
6. AnythingLLM
7. Msty
8. Cherry Studio
9. Open WebUI
10. BoltAI — лучший нативный клиент для Mac
BoltAI — это нативный macOS клиент, созданный и поддерживаемый одним разработчиком, Дэниелом Нгуеном. Он не запускает модели самостоятельно (как WebUI), а является интерфейсом, который подключается к облачным API и локальным бэкендам, таким как Atomic Chat, Ollama или LM Studio.
Он известен своей функцией под названием палетка команд ИИ, которая позволяет использовать десятки команд с помощью горячей клавиши в любом приложении. Например, вы можете выделить какой-то текст, нажать горячую клавишу, и ИИ перепишет или вычистит его, а затем вставит обратно в то же место с тем же форматированием. Очень простой в использовании ИИ.
(Он доступен только для Mac и требует приобретения разовой бессрочной лицензии (79 или 99 долларов за один Mac), которая включает в себя обновления в течение года.)
Лучше всего подходит для: пользователей Mac, которым нужен быстрый нативный клиент с командами ИИ, доступными для всей системы.

В списке точно не хватает Unsloth Desktop - реально лучшее решение!

📖 Есть есть подборка: Лучшие локальные интерфейсы больших языковых моделей в 2026 году: Open WebUI, Enchanted UI и другие
Тут про Enchanted — нативный клиент под Mac / iPhone / iPad / Vision Pro для Ollama (или совместимого сервера). Сам модели не гоняет, но даёт «яблочный» чат и доступ с телефона к локальной модели на Mac.
Enchanted UI идеально подходит для пользователей Apple, которым нужно нативное приложение, похожее на ChatGPT, а не вкладка в браузере или Docker-контейнер. В нем нет RAG и баз знаний, но для повседневного общения на iPhone, iPad, Mac или Vision Pro это самый совершенный вариант из всех, что мы рассмотрели в этом руководстве.
Jaz — это новая версия этого проекта.

📖 Еще статья: Лучшие приложения для искусственного интеллекта на устройстве для Mac (2026)
📖 Еще статья: Local AI Platforms on Mac Compared (2026): Ollama vs LM Studio vs Msty vs Jan vs AnythingLLM vs Open WebUI vs BoltAI vs ToolPiper
#macOS #Windows #Linux #SoftAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
🤖 Jaz - все ваши агенты-кодировщики, живущие на доске.
Персональный ИИ на ваших собственных компьютерах — любой агент, циклы, которые запускаются на ночь, доски, память и контроль git. Разделение на клиент и сервер, постоянное подключение, открытый исходный код от начала и до конца.
Руководящие принципы:
- Используйте основные агенты-кодировщики. Лаборатории Frontier вкладывают значительные средства в агентов-кодировщиков и бенчмаркинг. Jaz должен использовать их наработки, а не изобретать велосипед.
- Используйте существующие тарифные планы Pro. Продлите подписку на Claude и Codex, получив поддержку API-ключей и агентов с открытым исходным кодом.
- Единая память, которую вы контролируете и можете экспортировать.
- Подключите основные приложения. Telegram, WhatsApp, Gmail, Календарь и Slack должны подключаться к одному и тому же контексту.
- Открытый исходный код.

🔗 https://jaz.chat
🔗 https://github.com/gluonfield/jaz
#Jaz #AiAgent #AgentAi #OpenCode #Codex #Claude #MCP #OpenRouter
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
💬 Reor — Лучше всего подходит для тех, кто хочет писать заметки и задавать вопросы, и хочет, чтобы всё это хранилось на его диске.

Reor — это настольное приложение для создания заметок на основе ИИ: оно автоматически связывает заметки, отвечает на вопросы по вашим заметкам и обеспечивает семантический поиск. Все данные хранятся локально, и вы можете редактировать свои заметки с помощью редактора Markdown, похожего на Obsidian.

Гипотеза проекта заключается в том, что инструменты ИИ для работы с текстом должны запускать модели локально по умолчанию.
Reor опирается на достижения гигантов Ollama, Transformers.js и LanceDB, чтобы обеспечить локальный запуск как больших языковых моделей, так и встраиваемых моделей:
- Каждая заметка, которую вы пишете, разбивается на фрагменты и встраивается во внутреннюю векторную базу данных.
- Связанные заметки автоматически объединяются на основе векторного сходства.
- Функция вопросов и ответов на основе больших языковых моделей выполняет регрессию на основе градиента для вашего набора заметок.
- Все можно найти с помощью семантического поиска.

Reor — это наиболее близкое к готовому локальному приложению для заметок решение со встроенным RAG: внутри llama.cpp, Transformers.js для эмбеддингов, LanceDB в качестве векторного хранилища, хранилище в виде обычного Markdown, чтобы вы могли сохранить файлы, если когда-нибудь уйдёте. 
Можно представить Reor как RAG-приложение с двумя генераторами: большой языковой моделью и человеком. В режиме вопросов и ответов большая языковая модель получает контекст из корпуса, чтобы помочь ответить на запрос. Аналогичным образом в режиме редактора человек может переключать боковую панель, чтобы отобразить связанные заметки, «извлеченные» из корпуса. Это довольно эффективный способ «дополнить» свои мысли, сопоставив идеи из текущей заметки со связанными идеями из вашего корпуса.
Лицензия AGPL, бесплатно

🔗 https://github.com/reorproject/reor
Поддерживаются MacOS (Intel & Silicon), Linux и Windows.

Если вы уже пользуетесь Obsidian, вам нужно установить два плагина: 
Smart Connections для семантического поиска (встраивания выполняются локально, ключ API не требуется) и 
Copilot for Obsidian для чат-панели, которая взаимодействует с вашей локальной LM Studio или Ollama. Эта комбинация — лучший вариант для работы со вторым мозгом на Mac, и она полностью автономна.

Для работы с документами в формате PDF, электронными таблицами и другими файлами, лучше всего
подходит AnythingLLM Desktop с локальной моделью. Это бесплатное решение с поддержкой MCP и поставляемое с более чем тридцатью подключаемыми модулями, так что вы можете прибегнуть к облачной модели, если редкий документ выходит за рамки вашего локального контекста. 
На втором месте GPT4All, чья функция LocalDocs — это более простой вариант для тех, кому нужен один бинарный файл, одна кнопка и ответ.

#Reor #RAG #PDF #MacOS #Obsidian #SoftAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
1
ToolPiper - объединяет в себе логический вывод и более 420 инструментов!

Голосовая связь, распознавание изображений, RAG, автоматизация браузера и сервер MCP в одном нативном приложении для macOS. Также подключается к Ollama и LM Studio. Нативный Mac: llama.cpp + STT/TTS, OCR, RAG, браузер, MCP-инструменты
ToolPiper — это нативное приложение для macOS, которое включает в себя llama.cpp и восемь других бэкендов ИИ: преобразование речи в текст, три механизма преобразования текста в речь, оптическое распознавание символов, эмбеддинги, повышение разрешения изображений, повышение разрешения видео, оценку позы и браузерный движок CDP. Все это доступно через HTTP API и сервер MCP с более чем 420 инструментами.
Самое большое отличие от остальныхToolPiper — это MCP-сервер, а не клиент. Все остальные приложения с поддержкой MCP — LM Studio, Msty, Jan, AnythingLLM, BoltAI — используют инструменты. ToolPiper публикует более 420 инструментов. Один claude mcp add toolpiper из них обеспечивает локальный вывод данных для Claude Code, Cursor или Claude Desktop, автоматизацию браузера, оптическое распознавание символов, апскейлинг, RAG и управление рабочим столом. Подробнее о том, что включает в себя обзор локального MCP-сервера, можно прочитать здесь.

🔗 https://modelpiper.com/download
У них еще есть: AudioPiper, MediaPiper, VisionPiper.
VisionPiper — это отдельное приложение в строке меню для macOS, которое захватывает области экрана с точными границами, записывает видео в формате H.264, обрезает его и экспортирует в формате GIF/WebP/MP4, а также передает кадры через WebSocket в модели машинного зрения ToolPiper со скоростью 30 кадров в секунду. Представьте, что это камера, установленная на экране, которую можно направить на что угодно.

#ToolPiper #MacOS #MCP #RAG #STT #TTS #OCR #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Local Ai
elvean.app - Собственное рабочее пространство с ИИ для macOS Карты, диаграммы, сортируемые таблицы, многопоточные диалоги и инструменты для работы с агентами. Не просто оболочка для чата. В 1-м нативном приложении. Хватит переключаться между ChatGPT, Claude…
This media is not supported in your browser
VIEW IN TELEGRAM
elvean.app Обновилось до Версия 1.2.37 (5 сентября 2026 г.)
Для Intel и Apple Silicon · macOS 13+
Частное рабочее пространство с искусственным интеллектом для Mac
Владейте своим ИИ. Сохраняйте свои данные. Переключайте модели. Запускайте агентные инструменты.
Интерактивные диаграммы, карты, сортируемые таблицы, многопоточные диалоги, песочница Linux и многое другое.

#elveanapp #elvean #app #MacOS #LocalAi #AiLocal
🤖 Locus для macOS - Ваши модели, проекты, агенты и инструменты в одном нативном рабочем пространстве macOS.

Собственное рабочее пространство Mac для ИИ-агентов, кода и используемых вами инструментов. По умолчанию локальное. Ваше по замыслу. Locus позиционируется как приватная рабочая среда для заметок и ведения вики WiKi.
Locus объединяет чаты, файлы проектов, терминал, вкладки браузера, планы и повторяющиеся агенты в приложении SwiftUI. Используйте локальную версию Ollama, тарифный план ChatGPT или предпочитаемого вами поставщика API. По умолчанию используется локальная версия Ollama. Locus никогда не переключается автоматически на платный аккаунт.

Что вы можете делать:
- Работайте над проектом. Добавляйте файлы в контекст, просматривайте изменения, выполняйте команды, не закрывайте терминал и просматривайте сайты рядом с диалогом.
- Используйте встроенный браузер. Делитесь вкладками с агентом, просматривайте страницы, взаимодействуйте с сайтами и переключайтесь на мобильное устройство.
- Планируйте и делегируйте. Планируйте работу, дорабатывайте запрос в режиме Grill или поручайте действия агенту. Следите за задачами, активностью инструментов, результатами и командами агентов в разделе «Обзор». Он появляется в правом верхнем углу во время работы и освобождает место для любого инспектора, которого вы откроете.
- Понимание контекста. Контекст чата показывает использование токенов, цветовую разбивку, расширяемые категории, зарезервированное пространство и оставшуюся емкость. Оценки и лимиты, управляемые провайдером, четко обозначены.
- Создавайте и пересматривайте результаты работы. Создавайте или редактируйте изображения с помощью настроенной учетной записи для работы с изображениями, изучайте интерактивные ответы и просматривайте сохраненные результаты в Библиотеке с версиями, предварительным просмотром документов, возможностью масштабирования изображений и элементами управления экспортом.
- Продолжайте работать над достижением цели. Сохраните цель с дополнительными ограничениями по использованию. Одиночные агенты и команды продолжают работу в течение нескольких ходов с возможностью подтверждения выполнения, управления паузой/возобновлением и восстановления при повторном открытии Locus.
- Возобновите сохраненную капсулу с заданием.Сохраняйте подтвержденный прогресс выполнения шагов и исходное разрешение на использование. Проверка завершения позволяет отличить подтвержденные результаты от тех, которые требуют вашего внимания. См. раздел о верификации и восстановлении.
- Запускайте повторяющиеся агенты. Планируйте работу или подключайте триггеры событий с помощью специальных чатов, ограниченных разрешений и видимой истории выполнения.
- Выберите свои модели. Используйте Ollama, доступ по подписке ChatGPT, OpenAI, Claude, Kimi или конечную точку, совместимую с OpenAI. Голосовое управление не является обязательным.
- Продолжить с телефона. Дополнительный модуль Locus Mobile подключается напрямую к вашему Mac через локальную сеть или Tailscale.

🔗 https://locushost.co
⬇️ https://apps.apple.com/us/app/locus-private-notes-wiki/id6792311488?mt=12
🔗 https://github.com/nahid-sparktales/locus
#locus #locushost #MacOS #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
📖 Статья "почему LLM отказывается выполнять запросы"

Недавно писали про модели без цензуры и похожие версии Qwen и Gemma. Но как вообще создают такие «анархичные» модели? Что в них меняют, чтобы вместо «извините, я не могу...», всё же получить ответ?
Иногда для этого даже не требуется дообучение, отказы можно сильно ослабить точечной правкой весов.

Когда LLM обучают быть помощником, ей показывают в том числе примеры отказов и поощряют безопасные ответы. Это поведение закрепляется в весах: на определённые запросы модель привыкает отвечать «не могу помочь».

Её можно переучить на примерах прямых ответов. Или изначально обучать базовую модель диалогу на данных без отказов.

Но есть и более любопытный способ, который получил название abliteration.

Работает этот способ следующим образом:

1. Сначала сравнивают внутренние состояния модели на обычных запросах и запросах, вызывающих отказ

2. Затем находят направление, связанное с этим поведением, и правят веса так, чтобы подавить его влияние

3. После этого модель отказывается заметно реже, хотя заново её никто не обучал

Но отказ может исходить не только от самой модели. Ограничения могут быть в разных частях харнесса: системный промпт запрещает определённые действия, входной фильтр блокирует подозрительный запрос, проверка прав не даёт агенту вызвать инструмент, а выходной фильтр скрывает уже готовый ответ. Даже если сама модель готова помочь, её может остановить любой из этих механизмов.

Поэтому за припиской #Uncensored могут стоять разные методы и их комбинации.
Откуда берутся отказы, пять способов снять ограничения и примеры «безотказных» моделей — в новой статье на Хабре.
💡 Все подобные модели смотрите по тегу #БезЦензуры в этом канале!
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
💬 MindMac — нативный ИИ клиент на Swift с глобальной палеткой команд, поддержкой локальных бэкендов (Ollama, LM Studio) и шаблонов промптов.
Чем заслуживает внимания:
Идеальная альтернатива BoltAI. Подключается напрямую к Ollama, LM Studio, llama.cpp или облачным API. Имеет встроенную панель быстрых команд (inline-ассистент в любом текстовом поле системы), глубокую работу с контекстом, шаблонами промптов и локальными векторными базами без отправки данных в сеть.

🔗 https://mindmac.app
#mindmac #MacOS #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
💬 Elephas — локальный ассистент с функцией Super Brain, индексирующий личные заметки, файлы и документы на диске.

Ваши клиентские файлы, контракты и заметки индексируются на вашем Mac. Всегда. Elephas редактирует 28 типов конфиденциальных данных, прежде чем они попадут в облачную модель, а в автономном режиме все данные хранятся локально. Вы сами выбираете, где будет работать ИИ.
Нативный персональный «второй мозг» для Mac.
Чем заслуживает внимания:
Умеет индексировать локальные папки, файлы PDF, заметки в Apple Notes, базы данных Notion и подключаться к локальным моделям (через Ollama). Глубоко интегрируется в систему: может работать прямо внутри Apple Mail, Keynote, Pages или Word через плавающее меню «Super Brain».

🔗 https://elephas.app
Для iOS https://apps.apple.com/us/app/elephas-secure-ai-for-files/id6444680023
#Elephas #MacOS #iPhone #iPad #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM