LokalBot — это локальное рабочее пространство с искусственным интеллектом для macOS. Оно записывает обе стороны разговора, расшифровывает и обобщает его, индексирует все данные для поиска, отслеживает, как вы проводите свой день, и — с помощью Cotyping — предлагает варианты текста по мере его ввода в любом приложении. Все модели работают на устройстве на Apple Silicon, поэтому ваши аудиозаписи, расшифровки и заметки никогда не попадают на сервер.

Стек моделей:
- Summaries, чат и котинг работают на объединенном llama.cpp — внутрипроцессном libllama для обеспечения низкой задержки котинга, llama-server в остальных случаях. Настройте любой из них на свой собственный GGUF, Ollama или OpenAI-совместимую конечную точку или Apple Intelligence.

- Транскрипция: Granite Speech 4.1 / Parakeet / Whisper / Qwen3-ASR через CoreML/MLX на Neural Engine. Производительность Parakeet ~190× от реального времени.

- Семантический поиск: Qwen3-Embedding 0,6 млрд GGUF в секунду llama-server (--embeddings), векторы в SQLite, косинусное сходство методом полного перебора. В личном масштабе «метод полного перебора» — это просто «мгновенно», и он не требует дополнительных зависимостей.

- Диарризация: дополнительная пианнота (через FluidAudio) для разделения "Them" на "Them 1" и "Them 2".

- Встроенный в приложение браузер Hugging Face для поиска и загрузки GGUF с рекомендациями по совместимости с аппаратным обеспечением для каждой модели.

Настройки, которые автор считает оптимальными для реального использования (может ошибаться):
- Транскрипция: IBM Granite Speech 4.1 (2B) Q4
- Обобщение: Qwen 3.6 35B-A3B Q4_K_M
- Копирование: Gemma 4 E4B Q5 XL

Конфиденциальность — вот в чем суть. Единственный сетевой вызов — это однократная загрузка модели; после этого она работает полностью в автономном режиме. Покажите ее Little Snitch во время совещания и насладитесь самым плоским сетевым графиком, который вы когда-либо видели. Дополнительные скриншоты защищены алгоритмом AES-GCM и автоматически удаляются.
Только Apple Silicon / macOS 15+. Он интегрирован с Neural Engine, MLX и Core Audio, поэтому не работает на Linux/NVIDIA.

Я довольно пресыщен, как и большинство из вас. Меня уже не особо впечатляют новые модели. Последние несколько недель были так себе, если честно. В понедельник я наткнулся на модели Mixture of Transformers от SenseNova, и они кажутся чем-то особенным по сравнению с другими типичными моделями для генерации изображений.
Мне удалось запустить пару из них, и должен сказать, что эта серия моделей впечатляет меня, когда дело касается создания и редактирования плотной инфографики.

Я не видел ничего, кроме Ideogram 4, что могло бы сравниться с ними по качеству инфографики. Ideogram 4 — отличный инструмент, но у Ideogram ужасная лицензия, а у SenseNova — лицензия Apache 2, так что в моем рейтинге они вне конкуренции.

Я знаю, знаю, что последняя версия SenseNova-u1, версия 2, еще не в формате GGUF, но это не проблема. Вот что я сделал и что можете сделать вы: скажите своей любимой среде разработки, чтобы она «взяла модель SenseNova, обернула ее в FastAPI и использовала как конечную точку для генерации изображений, совместимую с OpenAi, и конечную точку для редактирования изображений в одном Docker-контейнере». Дайте этому немного времени, и вуаля — дело в шляпе. Через некоторое время у вас появится конечная точка API для генерации изображений, которую вы сможете использовать в своем любимом чат-клиенте в качестве генератора/редактора изображений. Это позволит вам обойтись без всего этого спагетти-интерфейса ComfyUI. Я никогда не был фанатом ComfyUI и вряд ли когда-нибудь стану. Передумал.

Вы можете попробовать несколько разных версий моделей SendeNova U1. Если захотите.

Модель Infographic V2 вышла всего пару дней назад и представляет собой базовую модель 50 Step. Кстати, она может создать практически любое изображение, просто она обучена делать инфографику очень хорошо.

https://huggingface.co/sensenova/SenseNova-U1-8B-MoT-Infographic-V2

Инфографика V1 8-шаговая LORA — это модель слияния «флеш-типа» более низкого качества, которая работает очень быстро, но, очевидно, не так качественно, потому что 8 шагов — это меньше, чем 50 (ну конечно).

https://huggingface.co/sensenova/SenseNova-U1-8B-MoT-LoRAs/blob/main/SenseNova-U1-8B-MoT-Infographic-LoRA-8step-V1.0.safetensors

Также доступна база Infographic V1 50 Step, но нет смысла ее использовать, если только вы не хотите использовать ее с 8 Step LoRA для высокоскоростной генерации.

https://huggingface.co/sensenova/SenseNova-U1-8B-MoT-Infographic

Недавно они также выпустили очень интересную модель «Перекрестных изображений».

https://huggingface.co/sensenova/SenseNova-U1-8B-MoT-Interleaved

Версия с чередованием позволит вам сгенерировать серию связанных изображений с одинаковыми персонажами, шрифтами, цветами и т. д. С ее помощью можно создавать презентации с единой темой, сборники рассказов и т. д. Версию с чередованием нужно обрабатывать по-другому, потому что стандартная конечная точка генератора изображений, совместимая с OpenAI, пока не поддерживает несколько изображений. Поэтому вам нужно создать конвейер инструментов с событиями-эмиттерами, чтобы генерировать несколько изображений в одном чате. Я уверен, что ваша система сможет разобраться, как это сделать, — моя смогла.

В любом случае, мне показалось, что эти модели интересны и их приятно запускать. Для полной версии bf16 вам, вероятно, понадобится около 36 ГБ видеопамяти, но есть и другие варианты. Думаю, самому маленькому из тех, что я видел, требовалось около 16 ГБ.

Athanor Lite — это настольное приложение для Windows, которое сканирует ваше оборудование, сообщает, какие модели искусственного интеллекта с открытым исходным кодом подходят для вашего графического процессора (с учетом реальных характеристик памяти, а не наугад), и в один клик переводит вас из режима «Какая модель?» в приватный потоковый чат. Все работает на вашем компьютере. Ничто из того, что вы вводите, не покидает его.

Вот что умеет:
- сканирует ваше оборудование и показывает, что вы действительно можете запустить
- просматривает каталог моделей с фильтрами по размеру и квантовости
- управляет вашими локальными моделями (в том числе обнаруживает существующие установки Ollama)
- выполняет логический вывод с отображением в реальном времени таких показателей, как количество токенов в секунду, процент загрузки графического процессора, объем видеопамяти, температура
- система рабочих пространств, позволяющая использовать разные модели/контексты для разных задач
- элементы управления запуском/остановкой/перезапуском движка, чтобы вам не приходилось гадать, работает ли модель

Это версия 0.1.1. Она работает, она подписана, но это ранняя версия.
В планах: поддержка Mac, сравнение моделей, поддержка тонкой настройки.