LokalBot — это локальное рабочее пространство с искусственным интеллектом для macOS. Оно записывает обе стороны разговора, расшифровывает и обобщает его, индексирует все данные для поиска, отслеживает, как вы проводите свой день, и — с помощью Cotyping — предлагает варианты текста по мере его ввода в любом приложении. Все модели работают на устройстве на Apple Silicon, поэтому ваши аудиозаписи, расшифровки и заметки никогда не попадают на сервер.

Стек моделей:
- Summaries, чат и котинг работают на объединенном llama.cpp — внутрипроцессном libllama для обеспечения низкой задержки котинга, llama-server в остальных случаях. Настройте любой из них на свой собственный GGUF, Ollama или OpenAI-совместимую конечную точку или Apple Intelligence.

- Транскрипция: Granite Speech 4.1 / Parakeet / Whisper / Qwen3-ASR через CoreML/MLX на Neural Engine. Производительность Parakeet ~190× от реального времени.

- Семантический поиск: Qwen3-Embedding 0,6 млрд GGUF в секунду llama-server (--embeddings), векторы в SQLite, косинусное сходство методом полного перебора. В личном масштабе «метод полного перебора» — это просто «мгновенно», и он не требует дополнительных зависимостей.

- Диарризация: дополнительная пианнота (через FluidAudio) для разделения "Them" на "Them 1" и "Them 2".

- Встроенный в приложение браузер Hugging Face для поиска и загрузки GGUF с рекомендациями по совместимости с аппаратным обеспечением для каждой модели.

Настройки, которые автор считает оптимальными для реального использования (может ошибаться):
- Транскрипция: IBM Granite Speech 4.1 (2B) Q4
- Обобщение: Qwen 3.6 35B-A3B Q4_K_M
- Копирование: Gemma 4 E4B Q5 XL

Конфиденциальность — вот в чем суть. Единственный сетевой вызов — это однократная загрузка модели; после этого она работает полностью в автономном режиме. Покажите ее Little Snitch во время совещания и насладитесь самым плоским сетевым графиком, который вы когда-либо видели. Дополнительные скриншоты защищены алгоритмом AES-GCM и автоматически удаляются.
Только Apple Silicon / macOS 15+. Он интегрирован с Neural Engine, MLX и Core Audio, поэтому не работает на Linux/NVIDIA.

Я довольно пресыщен, как и большинство из вас. Меня уже не особо впечатляют новые модели. Последние несколько недель были так себе, если честно. В понедельник я наткнулся на модели Mixture of Transformers от SenseNova, и они кажутся чем-то особенным по сравнению с другими типичными моделями для генерации изображений.
Мне удалось запустить пару из них, и должен сказать, что эта серия моделей впечатляет меня, когда дело касается создания и редактирования плотной инфографики.

Я не видел ничего, кроме Ideogram 4, что могло бы сравниться с ними по качеству инфографики. Ideogram 4 — отличный инструмент, но у Ideogram ужасная лицензия, а у SenseNova — лицензия Apache 2, так что в моем рейтинге они вне конкуренции.

Я знаю, знаю, что последняя версия SenseNova-u1, версия 2, еще не в формате GGUF, но это не проблема. Вот что я сделал и что можете сделать вы: скажите своей любимой среде разработки, чтобы она «взяла модель SenseNova, обернула ее в FastAPI и использовала как конечную точку для генерации изображений, совместимую с OpenAi, и конечную точку для редактирования изображений в одном Docker-контейнере». Дайте этому немного времени, и вуаля — дело в шляпе. Через некоторое время у вас появится конечная точка API для генерации изображений, которую вы сможете использовать в своем любимом чат-клиенте в качестве генератора/редактора изображений. Это позволит вам обойтись без всего этого спагетти-интерфейса ComfyUI. Я никогда не был фанатом ComfyUI и вряд ли когда-нибудь стану. Передумал.

Вы можете попробовать несколько разных версий моделей SendeNova U1. Если захотите.

Модель Infographic V2 вышла всего пару дней назад и представляет собой базовую модель 50 Step. Кстати, она может создать практически любое изображение, просто она обучена делать инфографику очень хорошо.

https://huggingface.co/sensenova/SenseNova-U1-8B-MoT-Infographic-V2

Инфографика V1 8-шаговая LORA — это модель слияния «флеш-типа» более низкого качества, которая работает очень быстро, но, очевидно, не так качественно, потому что 8 шагов — это меньше, чем 50 (ну конечно).

https://huggingface.co/sensenova/SenseNova-U1-8B-MoT-LoRAs/blob/main/SenseNova-U1-8B-MoT-Infographic-LoRA-8step-V1.0.safetensors

Также доступна база Infographic V1 50 Step, но нет смысла ее использовать, если только вы не хотите использовать ее с 8 Step LoRA для высокоскоростной генерации.

https://huggingface.co/sensenova/SenseNova-U1-8B-MoT-Infographic

Недавно они также выпустили очень интересную модель «Перекрестных изображений».

https://huggingface.co/sensenova/SenseNova-U1-8B-MoT-Interleaved

Версия с чередованием позволит вам сгенерировать серию связанных изображений с одинаковыми персонажами, шрифтами, цветами и т. д. С ее помощью можно создавать презентации с единой темой, сборники рассказов и т. д. Версию с чередованием нужно обрабатывать по-другому, потому что стандартная конечная точка генератора изображений, совместимая с OpenAI, пока не поддерживает несколько изображений. Поэтому вам нужно создать конвейер инструментов с событиями-эмиттерами, чтобы генерировать несколько изображений в одном чате. Я уверен, что ваша система сможет разобраться, как это сделать, — моя смогла.

В любом случае, мне показалось, что эти модели интересны и их приятно запускать. Для полной версии bf16 вам, вероятно, понадобится около 36 ГБ видеопамяти, но есть и другие варианты. Думаю, самому маленькому из тех, что я видел, требовалось около 16 ГБ.

Athanor Lite — это настольное приложение для Windows, которое сканирует ваше оборудование, сообщает, какие модели искусственного интеллекта с открытым исходным кодом подходят для вашего графического процессора (с учетом реальных характеристик памяти, а не наугад), и в один клик переводит вас из режима «Какая модель?» в приватный потоковый чат. Все работает на вашем компьютере. Ничто из того, что вы вводите, не покидает его.

Вот что умеет:
- сканирует ваше оборудование и показывает, что вы действительно можете запустить
- просматривает каталог моделей с фильтрами по размеру и квантовости
- управляет вашими локальными моделями (в том числе обнаруживает существующие установки Ollama)
- выполняет логический вывод с отображением в реальном времени таких показателей, как количество токенов в секунду, процент загрузки графического процессора, объем видеопамяти, температура
- система рабочих пространств, позволяющая использовать разные модели/контексты для разных задач
- элементы управления запуском/остановкой/перезапуском движка, чтобы вам не приходилось гадать, работает ли модель

Это версия 0.1.1. Она работает, она подписана, но это ранняя версия.
В планах: поддержка Mac, сравнение моделей, поддержка тонкой настройки.

Перевод поста: С недавним выпуском Apple M5 и сверхкомпактных локальных моделей я все больше убеждаюсь в еще одной возможности, о которой мы все вместе как-то подзабыли: появлении локальных ИИ-приложений — продуктов, объединяющих локальные модели, рабочие процессы и пользовательский интерфейс для эффективного выполнения узконаправленных задач. Приложения устраняют проблемы, которые особенно остро ощущаются при повседневном использовании, и позволяют большему числу людей расширить возможности применения ИИ, охватывая с помощью ИИ-приложений различные рабочие процессы, а не концентрируясь на узких областях.

Я создал сайт-каталог для изучения местных приложений с искусственным интеллектом, и результаты оказались на удивление хорошими: в категориях «Чат с большими языковыми моделями», «Транскрипция», «Оптическое распознавание символов», «Редактирование фотографий» (более 50 приложений в каждой категории) есть множество вариантов, а также по-настоящему уникальные сценарии использования, например стилисты по подбору гардероба и помощники по уходу за домашними животными, о существовании которых я даже не подозревал. Сейчас доступно 82 категории. Пожалуйста, загляните сюда, если вам интересно! https://bunnysoft.app/local-ai-mac-apps

Ограничения:
- В настоящее время охватывает только Mac App Store (поскольку мне нужен надежный API для получения данных)
- Данные собраны 24 июня, поэтому совсем новые приложения не включены. Планирую выпускать ежемесячные обновления
- Если вы видите, что какого-то приложения здесь нет, пожалуйста, сообщите мне об этом, отправив заявку

Методология:
- Я собрал 20 435 приложений из API магазина приложений (513 поисковых запросов, а также профили разработчиков, создающих локальные ИИ-приложения)
- С помощью Deepseek v4 flash в качестве классификатора я отобрал 2259 приложений, которые действительно являются локальными ИИ-приложениями.
- Для категоризации и оценки я использовал комбинацию скриптов и LLM в качестве судьи. В рейтинге приоритет отдается приложениям, которые работают исключительно на устройстве. Я выборочно проверил крупные категории, но в списке из 2300 приложений могут быть ошибки. Если вы найдете что-то неверное, пожалуйста, сообщите мне, и я все исправлю.
Подробнее здесь: https://bunnysoft.app/local-ai-mac-apps/how-we-rank
🔗 https://bunnysoft.app/local-ai-mac-apps

Сортируйте электронные письма, сообщения, календарь... К нему можно подключить практически что угодно без какой-либо настройки: просто попросите ИИ сделать это за вас

Общение и работа с агентами в одном интерфейсе
Полностью открытый исходный код, бесплатно и локально
(почти) Любые модели от (почти) любых поставщиков
Изолированные агенты с полным контролем над своей виртуальной средой (они могут настраивать программное обеспечение в своей виртуальной машине)
Вызовы инструментов, MCP, генерация изображений, выполнение оболочки, навыки и многое другое (совместимо с навыками openClaw)
Настраиваемое использование с одобрением инструмента
Прикрепите папку к любому разговору — используйте в ней код, например Claude Code, черновики документов или позвольте ему упорядочить ваш рабочий стол
Удаленные клиенты (vibe code на вашем ПК с вашего телефона)
Собственные приложения (мобильные и настольные) и веб
Дополнительные функции, такие как: CRON Scheduler, перехват Webhook, библиотека предустановок агента и т.д...

Plurality — это локальная платформа ИИ, которая сочетает в себе агентный рабочий процесс и интерфейс, похожий на чат-бот, что позволяет использовать один и тот же пользовательский интерфейс, конфигурацию и настройки как для фоновой автоматизации с помощью ИИ, так и для оперативного взаимодействия.

Он предоставляет агентам ИИ возможность фоновой обработки и изолированного доступа к оболочке и файловой системе, полностью совместим с навыками, MCP и т. д. и обладает дополнительными функциями, такими как удаленное управление, прикрепление папок (чтобы вы могли писать код или документацию в интерфейсе Plurality) и т. д.