Local Ai
361 subscribers
592 photos
186 videos
4 files
654 links
Все про Локальные ИИ на ПК и Смартфонах - программы и модели, которые можно запустить на 96Gb VRAM.
ИИ для Здоровья: @Ai2Health
Download Telegram
🎙 SayOnce — для голосовой диктовки
Диктовка для Windows (альтернатива Handy) позволяет вводить текст в 4 раза быстрее. Просто удерживайте горячую клавишу и говорите вместо того, чтобы печатать. Преобразуйте аудио- и видеофайлы в текст для быстрого чтения. Локальная обработка. Можно попробовать бесплатно. (бесплатный уровень — 21 диктовка в день без ограничения по времени, лицензия одноразовая, подписка не требуется.)
По тегу #Диктовка в этом канале много совсем бесплатных решений!
🔗 https://www.softorbits.net/voice-dictation-software/
(Обсудить)
#SayOnce #Windows #Parakeet #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🎙 WhisperType - Голосовой ввод для Windows, который работает в любом приложении
faster-whisper на CPU, без облака и аккаунтов.
Нажали Ctrl+Space, продиктовали, нажали ещё раз — текст сам появился в том поле, где стоял курсор. Хоть в браузере, хоть в Word, хоть в чате.
- Полностью офлайн. Распознавание идёт на вашем компьютере. Никаких API-ключей, аккаунтов и подписок.
- Бесплатно и без лимитов. Внутри — Whisper от OpenAI в быстрой реализации faster-whisper.
- Без прав администратора. Устанавливается только для вашего пользователя — UAC не спросит и права администратора не нужны.
- Быстро. Около секунды на короткую фразу; длинная диктовка распознаётся прямо во время речи.
- Русский и английский из коробки, знаки препинания расставляются автоматически.

Место на диске: ~2 ГБ (модель распознавания 1.6 ГБ + программа ~250 МБ после установки)
Интернет: только один раз, чтобы скачать модель распознавания
Видеокарта: не нужна — всё считается на процессоре. Чем больше ядер, тем быстрее

🔗 https://github.com/kirillrub108/whisper-type
⬇️Скачать: https://github.com/kirillrub108/whisper-type/releases/latest
📖 Статья про создание: https://habr.com/ru/articles/1068154/
#WhisperType #Windows #Whisper #Диктовка #SoftAi #AiSoft #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Модель: Muse-Glimmer-30B от Meta
💡 Muse Glimmer — нейросеть на 29,6 млрд параметров, заточена под агентные задачи и спокойно запускается на одной RTX5090 или маках с M4/M5 Max.
По агентным бенчмаркам обходит Gemma4-31B и Qwen3.6-27B, при этом в кодинге и визуальном мышлении разрыв не очень заметный. Glimmer лучше на SWE-Bench Pro, Qwen лучше на Terminal-Bench.
Архитектурно это dense модель с относительно большим perception encoder. Главный очевидный минус — длина контекста всего 131к, что меньше чем у конкурентов.
В 4-битной квантизации модель занимает менее 20 ГБ памяти.
Вместе с моделью выпустили официальные квантизации, так что модель влезает в 24 Гб. VRAM. Вышла и официальная драфт модель, благодаря этому Muse Glimmer запускается на одной 5090 на скорости в 230 токенов в секунду.
Для ускорения генерации также добавили небольшую вспомогательную модель: с ней Glimmer выдаёт в среднем 233 токена в секунду на RTX 5090, 50 на M5 Max и 38 на M4 Max.

📌 Лицензия теперь — обычная Apache 2.0, без запрета на дистилляцию и ограничений по MAU, за которые в свое время критиковали Llama.

🔗 Веса модели: https://huggingface.co/meta-models/Muse-Glimmer-30B
Официальные квантизации: https://huggingface.co/meta-models/Muse-Glimmer-30B-GGUF
(Обсуждение)
#Meta #MuseGlimmer30B #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
📺 Unsloth Desktop - Первое настольное приложение для запуска и обучения моделей искусственного интеллекта.
С открытым исходным кодом. Бесплатное. 100% локальное.

Это первое настольное приложение, которое позволяет запускать и обучать модели локально.
С открытым исходным кодом. Доступно на Mac, Windows и Linux

- Поддерживает MLX, модели изображений / видео diffusion, аудио модели и GGUF
- Вы можете запустить MiniMax-H3, Muse Glimmer, soon Qwen 3.8 и т. Д
- Подключите Claude Code и Codex к локальным LLM
- Точность на 50% выше благодаря вызовам инструментов самовосстановления и изолированному выполнению кода
- Поддерживает настройки ЦП и нескольких графических процессоров в NVIDIA, AMD, Intel и Mac
- Обучайте модели в 2 раза быстрее при использовании на 70% меньше видеопамяти
- Включает частный веб-поиск, глубокие исследования, RAG, MCP и экспорт (NVFP4, GGUF)
- Используйте OpenAI-совместимый API Unsloth с OpenAI и антропными облачными моделями
- Безопасное удаленное развертывание LLM и доступ к ним из любого места через Cloudflare HTTPS
- Мы не собираем никакой телеметрии или данных.

Unsloth Desktop теперь доступен на unsloth.ai и GitHub.
GitHub: https://github.com/unslothai/unsloth
Блог и руководство: https://unsloth.ai/docs/desktop
🔗 https://unsloth.ai
(Обсуждение)
#UnslothDesktop #unslothAi #Unsloth #Windows #MacOS #Linux #SoftAi #AiSoft #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
Media is too big
VIEW IN TELEGRAM
⚡️ Muse Glimmer 30B - Локальный запуск в браузере с пользовательскими ядрами WebGPU со скоростью ~25 токенов в секунду на M4 Max (та же скорость, что и у llama.cpp)

Создана для автономной работы на потребительском оборудовании: многоэтапное логическое мышление, надежное использование инструментов, мультимодальное понимание и восстановление после сбоев — и все это в одной модели с объемом памяти 30 млрд нейронов, которая полностью работает на вашем компьютере.
🔗 https://huggingface.co/spaces/webml-community/muse-glimmer-webgpu-kernels
(Обсуждение)
#MuseGlimmer30B #MuseGlimmer #Muse #Glimmer #WebGPU #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
📊 Проанализировали DeepSeek V4 0731 и сравнили его с популярными квантами на 8 × RTX 5090

Исходя из этого анализа, лучшим по качеству для DeepSeek на 128Гб. оборудовании является AD-IQ2_M (104 ГБ) с 83,6% лучших результатов! От https://atomic.chat
(Статья и Обсуждение)
#DeepSeekV40731 #DeepSeekV4 #DSV4 #atomicChat #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
1
Статья: NVIDIA представили Nemotron 3.5 Lightning, быструю локальную модель
https://habr.com/ru/news/1069528/
This media is not supported in your browser
VIEW IN TELEGRAM
Модель: MinMax Music 3
💽 MinMax выпустили открытый генератор музыки Music 3.
🔗 https://huggingface.co/MiniMaxAI/MiniMax-Music3
Создает песни до пяти минут, поддерживает русский и запускается локально даже на домашнем железе. Полная модель помещается в GPU с 24 ГБ VRAM, но запустится даже с 8 ГБ.
➡️ Можно попробовать бесплатно на Hugging Face. https://huggingface.co/spaces/MiniMaxAI/MiniMax-Music3
🎶 Демо: https://minimax-ai.github.io/music3-demo/
(Обсуждение)
#MinMaxMusic3 #MinMax #Music3 #AiSong #SongAi #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
1
Модель: Qwen3.8 27B и heretic
💡 Qwen3.8 27B — новая самая мощная модель для локального запуска.

Сильно улучшили работу с инструментами и визуальное мышление. По некоторым бенчмаркам, особенно в части агентности, сравнима с Claude Opus 4.6.
В одном из тестов на агентное программирование результат вырос более чем втрое по сравнению с Qwen3.6-27B.
По совокупности тестов новинка оказалась сильнее даже предыдущей облачной Qwen3.7-Plus.

В отдельных задачах по программированию она показывает результаты выше Opus 4.6, хотя всё ещё уступает некогда флагману в сложных рассуждениях и работе с терминалом.
🔗 https://huggingface.co/Qwen/Qwen3.8-27B
➡️ Веса на Hugging Face.
(Обсуждение)
Облегчённая версия от Unsloth занимает около 17 ГБ: её можно запустить на Mac с Apple Silicon или видеокарте с 24 ГБ памяти.
⬇️ Кванты Unsloth: https://huggingface.co/unsloth/Qwen3.8-27B-GGUF
(Обсуждение)
Версия без цензуры: Qwen3.8 27B heretic
🔗 https://huggingface.co/trohrbaugh/Qwen3.8-27B-heretic-ara
(Обсуждение)
#Qwen3827B #Qwen38 #heretic #uncensored #БезЦензуры #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
2
This media is not supported in your browser
VIEW IN TELEGRAM
💡 Qwen3.8-27B теперь работает в ~ 3 раза быстрее на Apple Silicon с mlx-dspark

mlx-dspark - это MLX-порт составителей спекулятивного декодирования DSpark от DeepSeek (выпуск DeepSpec), а также DFlash от z-lab с одним циклом проверки без потерь.
Подробнее и Обсуждение
Репозиторий: github.com/ARahim3/mlx-dspark
#Qwen3827B #Qwen38 #MLX #DSpark #mlxdspark #AiModel #ModelAi #LocalAi #AiLocal
1
Модель: Pestle-27B-Ternary медицинского назначения!
Pestle-27B-Ternary — это компактная модель 27B медицинского назначения и общего применения для локального логического вывода. В этом релизе частные медицинские системы контроля качества, работы с биомедицинскими доказательствами, поиска фармацевтической информации, кодирования и общей поддержки объединены в одну работающую модель GGUF. (Базовая модель
Qwen/Qwen3.6-27B)
Основные возможности:
- Полная модель класса 27B в одном 8,48 ГБ GGUF.
- Высокая эффективность в области медицинских знаний, биомедицинского контроля качества и поиска фармацевтической информации.
- Работает локально с Mortar на Apple Silicon, NVIDIA CUDA и с резервным процессором.
- Генерация текста, шаблоны чатов с поддержкой инструментов и опциональный визуальный ввод.
- Лицензия Apache 2.0.

🔗 https://huggingface.co/Doses-AI/Pestle-27B-Ternary-GGUF
(Обсуждение)
#Pestle27BTernary #Qwen3627B #AiMedical #MedicalAi #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
2
Модель: Nemotron 3.5 Lightning — модель для ИИ-агентов

NVIDIA выпустила открытую модель на 30 млрд параметров, из которых активно работают только 3 млрд. Благодаря этому генерация текста идёт в четыре раза быстрее, чем у моделей похожего размера.
В бенчмарке PinchBench модель показала точность 86% и выполнила 10 000 задач на 35% быстрее Qwen3.6 35B при сопоставимой точности. Модель можно дообучить на своих данных и инструментах, она достаточно компактна для запуска на DGX Spark.

Вместе с моделью NVIDIA открыла библиотеку NeMo Switchyard — она распределяет задачи агента между разными моделями. Сложные рассуждения можно отдать продвинутым моделям, а массовое выполнение — быстрой Lightning.

NVIDIA опубликовала веса, данные и рецепты обучения.

В тестах самой NVIDIA новинка уступила Qwen3.6 и Gemma 4. Недавно представленная Muse Glimmer, которая идёт примерно на уровне Qwen, тоже выглядит сильнее.
Зато козырь Lightning это скорость: на большой очереди типовых задач она справилась с работой на 30% быстрее Qwen при сопоставимом качестве.

Веса модели занимают около 20 ГБ. В OpenCode модель сейчас доступна бесплатно.
🔗 https://github.com/NVIDIA-NeMo/Switchyard
🔗 https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4
#Nemotron35Lightning #Nemotron35 #Nemotron #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
🤖 Zero — опенсорсный терминальный агент на замену Claude Code

Работает локально, прямо в терминале. Подключаешь любую модель: OpenAI, Anthropic, Gemini, DeepSeek, OpenRouter или локальную через Ollama.

💻 Агент анализирует репозиторий, редактирует файлы, выполняет команды и управляет браузером. Опасные действия требуют подтверждения и выполняются в песочнице. История сессий хранится локально.
Поддерживает MCP, плагины и кастомные скиллы.
🔗 https://github.com/gitlawb/zero
#Zero #AiAgent #AgentAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM