В отличии от LM Studio он поддерживает модели синтеза речи и распознавания речи.
Локальное приложение для чата с большими языковыми моделями для компьютеров Apple Silicon Mac. Оно просматривает и загружает модели с сайта Hugging Face, запускает их на устройстве с помощью MLX и может предоставлять API, совместимый с OpenAI, для других приложений. Вычисления выполняются локально. Приложение использует только сеть Hugging Face для поиска и загрузки моделей, а также дополнительную функцию распознавания речи, которая загружается при установке.
Характеристики:
- Чат с потоковой передачей ответов. Markdown, математические формулы в KaTeX, диаграммы Mermaid и код с подсветкой синтаксиса. Выбор модели для каждого чата, редактирование сообщений, навигация по веткам и история переписки с поиском.
- Модели. Поиск моделей MLX на Hugging Face и их загрузка. Загрузка возобновляется после прерывания и отображается в док-панели.
- Библиотека. Управление загруженными моделями: загрузка, выгрузка, установка по умолчанию или удаление.
- Сервер. Дополнительная конечная точка, совместимая с OpenAI (/v1/chat/completions, /v1/models). По умолчанию отключена. Привязывается к локальному хосту, если только вы не включите доступ по локальной сети и не укажете ключ API.
- Речь. Дополнительная функция преобразования текста в речь и речи в текст. Требуется установка среды выполнения mlx-audio. Для записи требуется доступ к микрофону.
Приложение подписано вручную, поэтому при первом запуске macOS Gatekeeper блокирует его. Чтобы открыть его, щелкните правой кнопкой мыши по приложению и выберите «Открыть», затем нажмите «Открыть» в диалоговом окне или выполните следующую команду в Терминале:
xattr -dr com.apple.quarantine /Applications/AeroLLM.app
После этого он открывается как обычно.
(Обсуждение)
#AeroLLM #MLX #MacOS #SoftAi #AiSoft #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Познакомьтесь с Keye-VL-2.0-30B-A3B — новейшей флагманской базовой моделью класса 30B в серии Keye, специально разработанной для решения задач, связанных с распознаванием длинных видео, и реализации возможностей первого поколения агентов семейства Keye.
Основные моменты:
Превосходное понимание видео и временная локализация: по пяти видеотестам Keye-VL-2.0-30B-A3B опережает конкурентов с открытым исходным кодом и не уступает или даже превосходит Gemini-3-Flash по временной локализации.
Архитектура с поддержкой длинных контекстов на основе DSA: разреженное внимание и целенаправленная агрегация признаков обеспечивают точное понимание видео продолжительностью в час при сохранении эффективности вычислений.
Высокоэффективный стек для логического вывода и обучения: DSA (DeepSeek Sparse Attention), ExtraIO, гетерогенный параллелизм ViT-LM, оптимизация активации и пользовательские ядра снижают затраты на предварительное заполнение длинных последовательностей и повышают производительность обучения.
Мультимодальное предварительное обучение с ориентацией на данные: тщательно отобранный набор данных, визуальный кодировщик Keye-VL-1.5 и синтетические данные CoT улучшают восприятие, распознавание текста, понимание диаграмм и таблиц, а также логическую последовательность.
Надежная пост-обработка для достоверного логического вывода: MOPD, масштабирование с учетом преимуществ сегментирования, Context-RL и фильтрация данных с высоким соотношением сигнал/шум улучшают межмодальное объединение экспертных знаний, уменьшают количество ложных срабатываний и стабилизируют принятие решений с учетом контекста.
Мультимодальные возможности для агентов: встроенные функции агента для работы с кодом, инструментами и поиском поддерживают задачи, связанные с репозиториями, использование инструментов в стиле API, веб-поиск и визуальные рабочие процессы самокоррекции.
Keye-VL-2.0-30B-A3B — первая мультимодальная модель, в которой технология DSA внедрена в производственный процесс. Она обеспечивает практически безошибочное распознавание сверхдлинного контекста длиной до 256 тысяч символов. Она превосходит другие модели по скорости обработки видео и не уступает — а то и превосходит — топовые модели с закрытым исходным кодом в области детализированного восприятия временных последовательностей. Что еще важнее, это первая базовая модель Keye со встроенным механизмом взаимодействия агентов, демонстрирующая надежную системную оркестровку в сценариях поиска, инструментов и кода.
(Обсуждение)
#Keye #KeyeVL #KeyeVL2030BA3B #AiVideo #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Gemma 4 E2B (QAT Mobile) — мощная модель с открытым исходным кодом — полностью работает на устройстве с использованием WebGPU. После первой загрузки веса кэшируются локально, и введенные вами данные никогда не покидают ваш компьютер.
Файлы: https://huggingface.co/spaces/webml-community/gemma-4-webgpu-kernels/tree/main
(Обсуждение)
#Gemma4 #Gemma4E2B #WebGPU #QAT #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Обсуждение: На M5 Max MacBook Pro с 128gb RAM какие модели можно запускать?
https://www.reddit.com/r/LocalLLaMA/comments/1u8y7yz/i_have_a_m5_max_macbook_pro_with_128gb_of_ram/
В рекомендациях:
- Deepseek 4 Flash https://github.com/antirez/ds4
- MiniMax-M3 на https://vmlx.net
- Qwen 3.6 27B и 35B с MTP
- Gemma4 и другие...
#MacOS #MiniMaxM3 #Deepseek4Flash #AiModel #ModelAi #LocalAi #AiLocal
https://www.reddit.com/r/LocalLLaMA/comments/1u8y7yz/i_have_a_m5_max_macbook_pro_with_128gb_of_ram/
В рекомендациях:
- Deepseek 4 Flash https://github.com/antirez/ds4
- MiniMax-M3 на https://vmlx.net
- Qwen 3.6 27B и 35B с MTP
- Gemma4 и другие...
#MacOS #MiniMaxM3 #Deepseek4Flash #AiModel #ModelAi #LocalAi #AiLocal
4-битная модель QLoRA SFT Multi-Token Prediction на основе Qwen3.6-27B, доработанная для не требующего размышлений агентного программирования с помощью платформы PI. Упакована в GGUF, совместимый с llama.cpp, для локальных агентных циклов.
(Обсуждение)
#Qwen36 #Qwen3627B #Qwen3627BMTPpitune #MTP #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
📹 Локальный поиск по видеоархиву с помощью ИИ
Edit Mind: локальная база знаний о видео!
🔗 https://github.com/iliashad/edit-mind
🎞 Демо: https://www.youtube.com/watch?v=YrVaJ33qmtg
🔗 https://iliashaddad.com/blog/i-indexed-669-gb-of-my-gopro-videos-using-my-m1-max-computer
🎞 Настройка: https://www.youtube.com/watch?v=WVNuP8ic3uY
🔗 Готовое для ПК: https://edit-mind.com (Оптимизирован для Apple Silicon и Windows с поддержкой графического процессора NVIDIA)
#EditMind #AiVideo #AiSoft #MacOS #Windows #LocalAi #AiLocal
Edit Mind: локальная база знаний о видео!
Edit Mind позволяет индексировать ваши видео (включая расшифровку, анализ кадров и мультимодельное встраивание), а также искать видео (или отдельные сцены) с помощью естественного языка.
Разработчик выпустил Edit Mind — опенсорс-инструмент, который индексирует видео и позволяет искать нужные кадры через текстовый запрос.
Как работает: загружаешь ролики, ИИ автоматически описывает каждую сцену. После этого можно найти момент по запросу вроде «человек едет на велосипеде по лесу» и сразу перенести его в монтаж.
Всё работает локально — автор прогнал 628 GoPro-роликов (669 ГБ) на MacBook M1 Max. Индексация заняла время, но результат того стоил.
#EditMind #AiVideo #AiSoft #MacOS #Windows #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Статья: OCC-RAG: компактные модели, которые отвечают только по источникам
https://habr.com/ru/companies/airi/articles/1047624/
https://habr.com/ru/companies/airi/articles/1047624/
📑 В опенсорс вышла самая точная нейронка для извлечения данных из любых документов — Lift от Datalab работает на уровне Gemini 3.5 Flash и опережает все открытые аналоги.
• Выдаёт структурированный JSON из PDF и изображений.
• Обрабатывает десятки страниц за около 9,5 секунд.
• Все поля остаются так же, как в оригинале.
Тест: https://www.datalab.to/playground
#Lift #OCR #JSON #PDF #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3
Инструмент работает с файлами .fig от Figma, поддерживает любые модели через API или локальные нейросети. Интегрируется с Claude Code и Cursor.
💻 OpenPencil крутится на вашем компьютере и не требует подписок — полностью бесплатный.
#OpenPencil #Figma #AiDesign #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
🔖 Вышел ультимативный гайд по локальному запуску LLM — посвящается всем, кто хочет максимально ускорить модели на своём компе через llama.cpp.
Внутри — как выбрать железо, настроить ОС, управлять VRAM/RAM, работать с KV-кэшем, повысить скорость инференса на обычных ПК и многое другое.
🔗 https://carteakey.dev/blog/local-inference/local-llm-optimization/
#LocalLLM #Localinference #LLM #LocalAi #AiLocal
Внутри — как выбрать железо, настроить ОС, управлять VRAM/RAM, работать с KV-кэшем, повысить скорость инференса на обычных ПК и многое другое.
#LocalLLM #Localinference #LLM #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Компания Qwen выпустила Qwen-AgentWorld-35B-A3B — модель с 35 миллиардами параметров и всего ~3 миллиардами активных параметров на токен.
Самое интересное: это не стандартная модель для чата или инструкций и не полноценный автономный агент. Это языковая модель, обученная предсказывать, что произойдет в среде после того, как агент выполнит какое-либо действие.
Он охватывает семь областей взаимодействия агентов:
- Вызов MCP / инструмента
- Поиск
- Терминал
- Разработка программного обеспечения
- Android
- Web
- Взаимодействие с графическим интерфейсом операционной системы
Судя по всему, это предназначено для имитации взаимодействия агента с окружением: на основе истории действий и нового инструмента/действия в графическом интерфейсе предсказывается следующее наблюдение/состояние. Это может быть полезно для обучения агентов, автономной оценки, создания синтетических траекторий, тестирования рабочих процессов с использованием инструментов или создания изолированных сред без постоянного использования реальных инструментов.
Demo: https://qwen.ai/blog?id=qwen-agentworld#interactive-demo-interactive-demo
Блог: https://qwen.ai/blog?id=qwen-agentworld
Подробно: http://arxiv.org/abs/2606.24597
(Обсуждение)
#Qwen #QwenAgentWorld35BA3B #AiAgent #AgentAi #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
Компания Empero выпустила Qwythos-9B-Claude-Mythos-5 — reasoning-модель с окном контекста до 1 млн токенов.
За основу взяли глубоко разцензуренную версию Qwen3.5-9B. Провели полный fine-tune всех параметров и дообучили модель на 500+ млн токенов из датасетов Claude Mythos и Claude Fable.
💻 Для обучения использовали синтетические Chain of Thought, собранные из логов сессий Fable 5 и Mythos 5.
=====
Еще: Qwythos-9B-Claude-Mythos-5-1M-uncensored-heretic-GGUF - «Еретик» без цензуры — модель, которая сейчас занимает 3-е место в рейтинге Hugging Face. Согласно эталонным показателям, версия без цензуры набрала немного больше баллов, чем оригинальная модель: 11/100 отказов при 0,00123 KLD.
Safetensors: https://huggingface.co/llmfan46/Qwythos-9B-Claude-Mythos-5-1M-uncensored-heretic
(Обсуждение)
#Qwen359B #Qwythos9B #Qwythos9BClaudeMythos5 #uncensored #heretic #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
👎2