Local Ai
448 subscribers
936 photos
262 videos
4 files
828 links
Все про Локальные ИИ на ПК и Смартфонах - программы и модели, которые можно запустить на 96Gb VRAM. (Как сайт: https://t.me/s/ai2local )
ИИ для Здоровья: @Ai2Health
Download Telegram
ℹ Модель: Fable-Fusion: 27B для локальных AI-агентов

🔥На Hugging Face появилась Qwen3.6-27B Fable-Fusion-711 — мультимодальный fine-tune Qwen3.6 с акцентом на reasoning, tool calling и агентные сценарии. Модель выложена в GGUF с квантами под обычное железо.
Что внутри:
• ARC-C: 0.711 в 8-bit и 0.701 в 4-bit
• Контекст до 262K токенов
• Поддержка vision и tool calling
• Multi-stage fine-tune для улучшенной логики рассуждений
• GGUF-кванты от 12–17 ГБ
• Меньше отказов через Heretic/abliteration

Идея: приблизить 27B dense-модель по качеству reasoning к тяжёлым системам, оставив возможность запуска локально.

🔗 https://huggingface.co/DavidAU/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF
#Qwen36 #Uncensored #Heretic #БезЦензуры #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
🎙 Не пиши голосовое!
Бесплатное приложение для Android, которое записывает голосовые заметки и превращает их в текст прямо на телефоне. Без облака, без аккаунтов, без интернета = без блокировок.

Зажал кнопку, наговорил, получил расшифровку. Работает в самолёте, в метро, на даче без связи: распознавание речи запускается локально, на устройстве. Звук никуда не уходит.
Под капотом модель GigaAM v3 от Сбера, заточенная под русский язык. Записи и транскрипты хранятся только у вас на телефоне. Удалил приложение — удалил всё.

Что умеет:
• Диктофон с расшифровкой голоса в текст
• Транскрибация голосовых заметок на русском, офлайн
• Тёмная и светлая темы
• Редактирование транскрипта, копирование, шеринг в любой мессенджер

Как пользоваться:
• Запись. Зажмите кнопку микрофона, наговорите, отпустите — получите текст.
• Чужое аудио. Загрузите файл с телефона или перешлите голосовое через «Поделиться» из мессенджера, если он умеет делиться аудиофайлом.
• Удаление. Смахните запись влево, выедет красная кнопка «Удалить».
• Текст. Правьте, копируйте, отправляйте в любой мессенджер.

🔗 https://www.rustore.ru/catalog/app/com.baslie.negolosom
#GigaAM #GigaAMv3 #Транскрибация #Android #App #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
💩1
ℹ Модель: OpenMed 2.0 - деидентификация
Модель 279M выполняет многоязычную деидентификацию персональных медицинских данных в автономном режиме.
Превратите клинический текст в структурированную обезличенную аналитическую информацию без необходимости загружать данные.
OpenMed извлекает биомедицинские сущности и удаляет более 55 типов персональных медицинских данных непосредственно на оборудовании, которое вы контролируете, поэтому ваши данные никогда не покидают устройство. Те же более 2000 открытых моделей работают на всех устройствах — от телефона до сервера с графическим процессором — в полностью автономном режиме: iOS, iPadOS и Android через OpenMedKit, React Native, обычные процессоры, Apple Silicon, графические процессоры NVIDIA, браузер и сервисы REST/gRPC. Никакого облака. Никакой привязки к поставщику. Данные пациентов не покидают вашу сеть.

🔗 https://openmed.life
🔗 https://github.com/maziyarpanahi/openmed
(Обсуждение)
#OpenMed #OpenMed2 #PII #ПерсональныеДанные #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
ℹ Модель: Neutrino-1: тернарная модель на 8B в 2,56 ГБ

Fermion Research выпустила три модели под Apache 2.0. Старшая на 8 млрд параметров весит 2,56 ГБ в архиве и разворачивается до 3,88 ГБ.
🧠 Секрет в тернарных весах: каждый может быть −1, 0 или +1, а амплитуду задаёт общий множитель на блок. Если так квантовать готовую 8B-модель, MMLU падает до 24–25 баллов — это уровень случайного выбора.
Neutrino училась в этом формате с нуля и держит 72,1 на MMLU, 77,2 на IFEval и 68,9 на BFCL v3. В весах 62,6% нулей — обучение само выбросило лишнее.

MacBook M5 даёт 33,7 токена в секунду, NVIDIA L4 в GGUF — 30,7 токена при 4,68 ГиБ видеопамяти.
Младшая модель 0,6B весит 328 МБ и работает драфтером: разгоняет старшую на H100 с 396 до 763 токенов в секунду, выдавая идентичные токены.

Контекст 40 960 токенов — в три-четыре раза меньше, чем у конкурентов. Методику обучения не раскрывают, доступны только веса и движок.

🔗 https://huggingface.co/fermionresearch
🔗 Пост: https://x.com/yoitsmanan/status/2081793414472008008
#Neutrino1 #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
🔈 Traart - Транскрибация моделью GigaAM v3
Traart — бесплатное офлайн-приложение для macOS, специально предназначенное для транскрибации аудио/видео и использующее модель GigaAM v3 (RNNT от Sber).
Основные характеристики Traart:
- Модель: GigaAM v3 (WER ≈ 8.3 % на русском — заметно лучше Whisper-large-v3 на русскоязычных данных).
- Полностью локальная работа: аудио не уходит в облако; интернет нужен только при первом запуске для скачивания моделей (~2 ГБ).
- Диаризация спикеров (через pyannote).
- Поддержка аудио и видео (MP3, WAV, M4A, FLAC, MP4, MKV и др.).
- Вывод в TXT / Markdown / JSON с таймкодами и метками спикеров.
- Автоматический мониторинг папки (новые файлы транскрибируются сами).

Требования: macOS 13 (Ventura)+, Apple Silicon (M1/M2/M3/M4), от 8 ГБ RAM.

⬇️ Скачать: https://traart.ru
Сравнение: https://traart.ru/comparison
#Traart #GigaAM #GigaAMv3 #MacOS #Whisper #Транскрибация #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1🤮1
🎙 Говорун — офлайн голосовой ввод на русском для macOS (GigaAM-v3 + Silero VAD)

Зажал клавишу → сказал → отпустил → чистый текст в активном поле.
Возможности:
- Полностью офлайн — данные не покидают ваш Mac
- GigaAM-v3 (ONNX) — распознавание речи с пунктуацией
- Silero VAD — нарезка длинных записей на сегменты
- Говорун Super — локальная нейросеть (GigaChat 3.1) для глубокой обработки текста
- Скачивание ИИ-модели прямо из приложения (5.8 ГБ, с паузой и докачкой)
- Умный контекст — стиль текста подстраивается под приложение
- Настраиваемая клавиша активации — ⌥, любая клавиша, или комбинация (⌘K, ⇧F5, ...)
- Два режима: Push to Talk (удерживай) и Toggle (нажми — нажми)
- Сниппеты — "мой имейл" → подставляет email
- Словарь замен — "жира" → "Jira"
- Списки в диктовке — "первое молоко второе хлеб" → нумерованный список
- Нормализация чисел — "двадцать пять процентов" → "25%"
- Вставка через Accessibility API с clipboard fallback
- Автообновление через Sparkle
- Apple Silicon (M1+), macOS 14 Sonoma+

🔗 https://github.com/sanyasamineva0x/govorun-app
⬇️ Скачать: https://github.com/sanyasamineva0x/govorun-app/releases
#Говорун #GigaAM #GigaAMv3 #MacOS #Whisper #Транскрибация #Диктовка #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1🥴1
🔈 GigaAM v3 Transcriber на базе GigaAM-v3.

Транскрибация русской речи из аудио и видео на базе GigaAM-v3. Один сервисный уровень, пять интерфейсов: графический интерфейс для настольных компьютеров, интерфейс командной строки, REST API, веб-интерфейс и терминальный пользовательский интерфейс.
GigaAM Transcriber — это полноценный рабочий процесс для расшифровки, экспорта, диаризации и постобработки с помощью больших языковых моделей, а не просто оболочка для модели.

Возможности:
- Пакетная обработка файлов и папок, рекурсивный поиск, перетаскивание, загрузка через yt-dlp.
- Экспорт: txt, txt_timecodes, txt_diarize, txt_diarize_timecodes, md, srt, vtt.
- SRT/VTT делятся на короткие фразы по пунктуации и временным меткам слов; количество строк и максимальная длина строки настраиваются отдельно, не затрагивая TXT/MD.
- При диаризации SRT называет говорящего только при смене говорящего (Спикер №1:), а VTT сохраняет стандартный диапазон голоса <v Спикер №1> на каждом сигнале.
- Выбираемая диаризация: pyannote, ONNX PyAnnote + WeSpeaker или NVIDIA Streaming Sortformer v2.1.
- Автоматическая диагностика качества, консервативная очистка и safe fallback без сдвига таймкодов.
- Ускорение MLX RNN-T на Apple Silicon; CPU, CUDA, Intel XPU и MPS.
- LLM-постобработка: выжимки, задачи и свои промпты.
- Провайдеры LLM: OpenAI-compatible API, Claude Code, Codex, OpenCode, Pi и произвольный CLI.
- RU/EN, светлая/тёмная тема, журнал, stage-aware progress и отмена очереди.
- Веб-интерфейс с авторизацией, отслеживанием прогресса, восстановлением задач и усилением защиты Docker.

🔗 https://github.com/dubr1k/GigaAMGUI
⬇ Скачать: https://github.com/dubr1k/GigaAMGUI/releases - Под все ОС: Windows, MacOS, Linux и есть оффлайн версия уже с моделями!
#GigaAMTranscriber #GigaAM #Transcriber #GigaAMv3 #MacOS #Whisper #Транскрибация #Windows #Linux #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
🖕1
✨ TurboFieldfare - Запуск Gemma 4 26B-A4B в ~ 2 ГБ оперативной памяти на любом MacBook серии M!

Вычисления Gemma 4 26B-A4B занимают около 2 ГБ оперативной памяти! (Память стала дорогой.)
TurboFieldfare использует оптимизированную под инструкции Gemma 4 26B-A4B модель, не загружая в память всю модель размером 14,3 ГБ. Она сохраняет в памяти общее ядро размером 1,35 ГБ и кэш FP16 KV, а затем считывает с SSD только экспертов, необходимых для каждого токена. Именно это позволяет использовать модель на компьютерах Mac с 8 ГБ оперативной памяти.
🔗 https://github.com/drumih/turbo-fieldfare
(Обсуждение)
============
Портировали TurboFieldfare на Qwen 3.6 35B, и он работает с 1,4 ГБ оперативной памяти!
#TurboFieldfare #Gemma4 #Qwen36 #MacOS #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1
ℹ Модель: Macaron-V1 Venti и Tall

💻 Две версии под лицензией MIT:

- Venti — 748 млрд параметров: 744 млрд замороженной GLM-5.2 и четыре адаптера по 1 млрд. Контекст миллион токенов, первое дообучение поверх GLM-5.2.

- Tall — 50 млрд параметров на базе Qwen3.6-35B-A3B с четырьмя адаптерами по 3,7 млрд. Контекст 262 тысячи токенов, заточена под локальный запуск. Сегодня её развернули на Novita.
Бенчмарки авторские:
TerminalBench 2.1 — 87,6, UI4ABench — 87,8, SWE Verified — 85,6 против 88,6 у Opus 4.8. По кодингу лаборатория сама пишет, что идёт вровень с топом, а не обгоняет. Заодно открыли LongStraw — систему обучения на длинном контексте до 2,1 млн токенов через GRPO на восьми H20.

Небольшая лаборатория Mind Lab на 30 человек известна приложением Macaron — персональным агентом для бытовых задач. Теперь выкатили собственную модель с открытыми весами.

Архитектура называется Mixture-of-LoRA: база заморожена, поверх неё четыре специализированных адаптера — для чата, агента, кодинга и генеративного интерфейса. Роутер отправляет запрос нужному специалисту, тот работает внутри своей LoRA, остальным передаёт краткий итог. База не трогается, новые навыки добавляются подключением адаптера без переобучения. Это позволяет дообучать модель после релиза и собирать специалистов от разных команд.

🔗 https://macaron.im/mindlab/research/introducing-macaron-v1
🔗 https://huggingface.co/mindlab-research/Macaron-V1-Tall
🔗 https://novita.ai/models/llm/mindai-macaron-v1-tall
🔗 https://github.com/MindLab-Research/longstraw
#MacaronV1 #Venti #Tall #GLM52 #Qwen36 #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
🦙 Armored Llama - запускает последние сборки llama.cpp и загружает подходящие для вашего устройства файлы gguf с Hugging Face.
Запустите llama.cpp в качестве реального сервера на своем Android-смартфоне — загрузите модели с Hugging Face, общайтесь с ними локально и наблюдайте за работой аппаратного обеспечения прямо на устройстве.
Armored Llama — это не оболочка для облачного API и не повторная реализация логического вывода. Он запускает реальный llama-server бинарный файл llama.cpp из репозитория на процессоре вашего телефона, предоставляя конечную точку, совместимую с OpenAI, на 127.0.0.1, и оборачивает его в нативное приложение Jetpack Compose: аппаратную панель мониторинга в реальном времени, браузер моделей Hugging Face, чат в приложении и обновление среды выполнения в одно касание. Все данные остаются на устройстве — никаких сетевых запросов для логического вывода, никаких учетных записей.

🔗 https://github.com/guarismo/armored-llama
⬇️ Скачать: https://github.com/guarismo/armored-llama/releases/latest
(Обсуждение)
#ArmoredLlama #llamacpp #Android #App #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM