Local Ai
443 subscribers
895 photos
250 videos
4 files
811 links
Все про Локальные ИИ на ПК и Смартфонах - программы и модели, которые можно запустить на 96Gb VRAM. (Как сайт: https://t.me/s/ai2local )
ИИ для Здоровья: @Ai2Health
Download Telegram
Модель: Nemotron-3 Nano 4B без цензуры (агрессивный)

Агрессивный = без отказов, без изменений личности и без модификаций. ОРИГИНАЛЬНАЯ версия от NVIDIA, без цензуры.
Краткие характеристики:
- параметры 3,97Б
- 262 КБ собственного контекста
- Режим мышления / умозаключения (переключаемый)
- Поддержка вызова инструмента
- Сжатый с Nemotron-Nano-9B-v2

Настройки от NVIDIA:
temp = 1.0, top_p = 0.95 для рассуждений; temp = 0.6, top_p = 0.95 для вызова инструмента.

🔗 https://huggingface.co/HauhauCS/Nemotron3-Nano-4B-Uncensored-HauhauCS-Aggressive - легко запустится даже на смартфоне!
Все такие модели: HauhauCS
(Обсуждение)
#Nemotron3Nano4B #Nemotron3Nano #Nemotron3 #Nemotron #БезЦензуры #Uncensored #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡️ Flash-MoE: Qwen3.5-397B-A17B на Apple Silicon

Круто на 128 Гб. запускать модель 397B!
Форк ANEMLL. В первую очередь ориентирован на Apple M5 Max 128 ГБ.
Механизм логического вывода Pure C/Metal, работающий на Qwen3.5-397B-A17B (модели Mixture-of-Experts с 397 миллиардами параметров) на Apple Silicon. Вся модель загружается с твердотельного накопителя через специальный вычислительный конвейер Metal.
TL;DR: локально запустили модель с 397 миллиардами параметров на MacBook. без облачных технологий. лучшая конфигурация: 4-битная + cache-io-split 4 = 12,99 ток/с. При разбиении на 2 и 3 части результаты хуже. 2-битная конфигурация обеспечивает такую же скорость, но худшее качество. полные данные в посте.

🔗 https://github.com/Anemll/flash-moe
(Обсуждение)

⚡️ Qwen3.5-397B запустили и на M3 Macbook Pro с 48GB RAM!
#FlashMoE #AppleSilicon #Qwen35 #ANEMLL #AppleM5Max #M5Max #MacOS #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
🌐 Nemotron-3-Nano (4B) — новая гибридная модель Mamba + Attention от NVIDIA, работающая локально в вашем браузере на WebGPU.

Все работает локально в вашем браузере (с использованием Transformers.js). На M4 Max получают ~75 токенов в секунду — неплохо!

Это гибридная модель Mamba + Attention с архитектурой 4B, способная выполнять как логические, так и нелогические задачи.

Ссылка на демонстрацию (+ исходный код):
🔗 https://huggingface.co/spaces/webml-community/Nemotron-3-Nano-WebGPU
Работает даже на телефоне (браузер Chrome). Просто введите URL-адрес, и у вас будет локальная модель.
(Обсуждение)
#Nemotron3Nano4B #Nemotron3Nano #Nemotron3 #Nemotron #WebGPU #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Модель: Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled

- Эта модель устраняет сбой в работе официальной модели, вызванный тем, что шаблон Jinja не поддерживает роль "разработчика". (обычно используется современными агентами кодирования, такими как Claude Code и OpenCode)
- Она не отключает режим мышления по умолчанию и позволяет агенту работать непрерывно более 9 минут без перерывов.
- По сравнению с оригинальной моделью автономность и стабильность работы значительно улучшены.
Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled — это высокопроизводительная модель логического вывода, доработанная на основе мощной архитектуры Qwen3.5. Основная задача модели — использовать современную технологию дистилляции цепочки рассуждений (Chain-of-Thought, CoT), основанную на взаимодействии Claude-4.6 и Opus.

Благодаря контролируемой тонкой настройке (Supervised Fine-Tuning, SFT), ориентированной на структурированную логику рассуждений, эта модель отлично справляется с разбором сложных пользовательских задач, планированием пошаговых методологий в рамках строго структурированных <think> тегов и, в конечном счете, с поиском точных и продуманных решений.

⚡️ Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled демонстрирует значительные преимущества в средах кодирования, таких как Claude Code и OpenCode:

- Встроенная поддержка роли «разработчика», не требующая патчей для шаблонов Jinja или обходных путей с использованием ChatML.
- Режим мышления полностью сохранен (подтверждено в логах thinking=1), не отключен без предупреждения, что позволяет сохранить всю цепочку логических рассуждений.
- Значительно улучшена автономность и стабильность — система может работать непрерывно более 9 минут (без участия человека). Она активно ожидает ответа от инструментов, считывает выходные данные, самостоятельно исправляет ошибки и даже может автоматически генерировать файл README, в то время как базовая модель часто зависает в процессе выполнения.

Эти улучшения стали возможны благодаря успешному внедрению стиля структурированных рассуждений Claude 4.6 Opus, что позволило Qwopus стать по-настоящему готовым к использованию в современных локальных агентах кодирования и по удобству использования приблизиться к Opus.

🔗 https://huggingface.co/Jackrong/Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled-GGUF
=======
Есть очень компактная версия:
Qwen3.5-27B-TQ3_4S - 13.9 GB - Turbo Quant на удвоенной скорости!
🔗 https://huggingface.co/YTan2000/Qwen3.5-27B-TQ3_4S - В 2 раза быстрее, качество лучше, чем у TQ3_1S, при том же размере. (Обсуждение)

#Qwen35 #Qwopus #GGUF #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Модель: gpt-oss-puzzle-88B от NVIDIA

gpt-oss-puzzle-88B — это оптимизированная для развертывания большая языковая модель, разработанная компанией NVIDIA на основе gpt-oss-120b от OpenAI.
Модель создана с использованием Puzzle — фреймворка для поиска нейронных архитектур после обучения (NAS). Цель разработки — значительно повысить эффективность логического вывода при выполнении ресурсоемких задач, сохранив или улучшив точность при ограниченном бюджете.

Модель специально оптимизирована для работы с длинными и короткими контекстами.

По сравнению со своим предшественником, gpt-oss-puzzle-88B:
- Уменьшает общее количество параметров до ~88 Б (≈73 % от исходного значения),
- Обеспечивает повышение производительности в 1,63 раза в сценариях с большим контекстом (64 КБ/64 КБ) на узле с 8 графическими процессорами H100,
- Обеспечивает повышение производительности в 1,22 раза в сценариях с малым контекстом (4 КБ/4 КБ),
- Обеспечивает повышение производительности в 2,82 раза на одном графическом процессоре H100,

Точность соответствует исходной или немного превышает ее.
Количество параметров модели: 88 млрд

🔗 https://huggingface.co/nvidia/gpt-oss-puzzle-88B
(Обсуждение)
#NVIDIA #gptosspuzzle88B #gptosspuzzle #GptOss120b #GptOss #Puzzle #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
🎙 MacParakeet - Диктофон и Транскрибация моделью Parakeet TDT на Neural Engine для Mac Silicon.

MacParakeet — бесплатная альтернатива WisprFlow с открытым исходным кодом, работающая на Mac Silicon! Поддерживает 25 европейских языков!
- Диктофон — нажмите горячую клавишу в любом приложении, говорите, и текст будет вставлен. Удерживайте для перехода в режим «нажми и говори», дважды нажмите для непрерывной записи. Работает во всей системе.

- Расшифровка файлов — перетащите аудио- или видеофайлы или вставьте URL-адрес YouTube. Полная расшифровка с временными метками на уровне слов, указанием говорящего и возможностью экспорта в 7 форматов (TXT, Markdown, SRT, VTT, DOCX, PDF, JSON).

- Дифференциация говорящих — определяет, кто что сказал, с возможностью переименования меток

- Очистка текста — удаление слов-паразитов, замена слов по пользовательскому шаблону, фрагменты текста с триггерами. Детерминированный конвейер, без использования больших языковых моделей.

- Функции ИИ — опциональное обобщение расшифровки и чат с использованием собственных API-ключей (OpenAI, Anthropic, Ollama, OpenRouter). Только по желанию.

Разработчик добавил несколько дополнительных функций, например чат с расшифровкой видео с YouTube (интеграция доступна с локальными сервисами ollama или облачными сервисами, такими как openai или claude).
Приложение работает на модели Parakeet от NVIDIA (0.6B-v3) через FluidAudio, которая обеспечивает наилучшую производительность при расшифровке аудио на английском языке в режиме реального времени. 60 минут аудио транскрибируются менее чем за 30 секунд (после первой загрузки локальной модели). Коэффициент ошибок также очень низкий.

❗️Только для Apple Silicon на (M1/M2/M3/M4)
(Кстати, если вы пользуетесь Windows или Linux, вам стоит попробовать Handy, который делает практически то же самое! Подробнее: https://t.me/Ai2Local/112 )

🔗 https://www.macparakeet.com
https://github.com/moona3k/macparakeet
(Обсуждение)

И есть еще: 🎙 Hex https://t.me/Ai2Local/295
Аналоги по тегу: #Диктовка
#MacParakeet #WisprFlow #Parakeet #MacSilicon #MacOS #FluidAudio #Транскрибация #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
🌎 LFM2-24B-A2B от Liquid AI работает прямо в веб-браузере на WebGPU

Модель (MoE с 24 миллиардами параметров) на M4 Max обрабатывает около 50 токенов в секунду, а вариант с 8 миллиардами активных параметров — более 100 токенов в секунду на том же оборудовании.

Демонстрация (+ исходный код):
🔗 https://huggingface.co/spaces/LiquidAI/LFM2-MoE-WebGPU

Оптимизированные модели ONNX:
- https://huggingface.co/LiquidAI/LFM2-8B-A1B-ONNX
- https://huggingface.co/LiquidAI/LFM2-24B-A2B-ONNX
(Обсуждение)
#LFM224BA2B #LFM2 #LFM224B #ONNX #WebGPU #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
📖 Prajnya: The Reference Architecture for Academic RAG

Готовый к использованию академический PDF-процессор, который извлекает метаданные и структурированный JSON из научных статей. Разработан как подключаемый модуль для конвейеров RAG: высококачественное ядро для понимания документов.
Prajnya — это модульная система анализа документов, разработанная специально для высокоточных конвейеров RAG (Retrieval-Augmented Generation).

В отличие от обычных парсеров PDF, которые выводят неструктурированный текст, Prajnya преобразует документы в строгий структурированный JSON, сохраняя иерархию макетов, таблиц и математических уравнений. Он разработан для решения проблемы «мусор на входе — мусор на выходе» в приложениях с большими языковыми моделями. Благодаря ему данные, поступающие в вашу векторную базу данных, будут проверенными, структурированными и семантически насыщенными.

Основные возможности:
- Структурированное извлечение: преобразует PDF-файлы в чистый JSON со специальными полями для текста, метаданных, таблиц и рисунков.
- Понимание структуры: использует модели машинного зрения, чтобы «видеть» страницу, и точно анализирует многоколоночные академические макеты.
- С учетом аппаратного обеспечения: автоматически определяет ваш графический процессор (CUDA) и оптимизирует параллельную обработку для максимальной производительности.
- Устойчивость: предназначено для крупномасштабной пакетной обработки (более 10 000 файлов) с восстановлением после сбоев и атомарным управлением состоянием.

🔗 https://github.com/mku1988-oss/Prajnya-Academic-PDF-Processor
#Prajnya #PDFProcessor #PDF #RAG #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
🔍 Подборка: Модели и решения для OCR

👉 PaddleOCR-VL-1.5: Towards a Multi-Task 0.9B VLM for Robust In-the-Wild Document Parsing
PaddleOCR: The Ultimate Document Solution https://aistudio.baidu.com/paddleocr
🔗 https://huggingface.co/PaddlePaddle/PaddleOCR-VL-1.5

GOT-OCR: https://huggingface.co/stepfun-ai/GOT-OCR2_0

Granite-docling-258m: https://huggingface.co/ibm-granite/granite-docling-258M

MinerU 2.5: https://huggingface.co/opendatalab/MinerU2.5-2509-1.2B

OCRFlux: https://huggingface.co/ChatDOC/OCRFlux-3B

MonkeyOCR-pro:
- 1.2B: https://huggingface.co/echo840/MonkeyOCR-pro-1.2B
- 3B: https://huggingface.co/echo840/MonkeyOCR-pro-3B

RolmOCR: https://huggingface.co/reducto/RolmOCR

Nanonets OCR: https://huggingface.co/nanonets/Nanonets-OCR2-3B

dots OCR: https://huggingface.co/rednote-hilab/dots.ocr https://modelscope.cn/models/rednote-hilab/dots.ocr-1.5

olmocr 2: https://huggingface.co/allenai/olmOCR-2-7B-1025

Light-On-OCR: https://huggingface.co/lightonai/LightOnOCR-2-1B

Chandra: https://huggingface.co/datalab-to/chandra
Chandra OCR 2 https://huggingface.co/datalab-to/chandra-ocr-2

Jina vlm: https://huggingface.co/jinaai/jina-vlm

HunyuanOCR: https://huggingface.co/tencent/HunyuanOCR

Bytedance Dolphin 2: https://huggingface.co/ByteDance/Dolphin-v2

Deepseek OCR 2: https://huggingface.co/deepseek-ai/DeepSeek-OCR-2

GLM OCR: https://huggingface.co/zai-org/GLM-OCR

Nemotron OCR: https://huggingface.co/nvidia/nemotron-ocr-v1

Qianfan-OCR: https://huggingface.co/baidu/Qianfan-OCR

#OCR #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
This media is not supported in your browser
VIEW IN TELEGRAM
🤖 Библиотека подсказок для ИИ-агентов с открытым исходным кодом!

Все пишут одни и те же системные запросы и конфигурации с нуля. Ни у кого нет удобного места, где можно было бы поделиться тем, что действительно работает.

Поэтому создали репозиторий с открытым исходным кодом с подсказками для агентов, правилами для курсора, конфигурациями для Claude, настройками для локальных моделей. Вы можете внести свой вклад или воспользоваться тем, что предложили другие...

Непрерывная синхронизация настроек вашего ИИ с помощью одной команды. Кодовая база с адаптированными навыками агентов, MCP и конфигурационными файлами для Claude Code, Cursor и Codex.

🔗 https://caliber-ai.up.railway.app
https://github.com/caliber-ai-org/ai-setup
(Обсуждение)
#AiAgent #AgentAi #MCP #caliberai #aisetup #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
🌎 Parchi - ИИ , который живет в вашем браузере.

Parchi — это агент на боковой панели, который читает страницы, заполняет формы, нажимает на кнопки и переключает вкладки. Просто скажите ему, что нужно делать.

🔗 https://parchi.ai
https://github.com/0xSero/parchi - тут есть API URL для настройки.
⬇️ Ставится как Расширение в Chrome.
Наглядно в ВИДЕО - похоже на Comet Perplexity!
#Parchi #ParchiAi #AiAgent #AgentAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
🎙 Volocal - Полностью локальный голосовой ИИ на iPhone

Полностью локальный голосовой ИИ для iOS. Никаких облачных сервисов, никаких API-ключей, никакого интернета после настройки. STT → LLM → TTS, трансляция в реальном времени на вашем iPhone.
Характеристики:
- Полностью работает на устройстве, используя нейронный процессор, графический процессор и центральный процессор
- Голосовые разговоры в реальном времени
- Прерывание разговора на середине предложения (бардж-ин)
- Аппаратная функция подавления эха, чтобы микрофон не улавливал собственный звук
- При первом запуске загружаются все модели (~2,3 ГБ) с указанием прогресса загрузки для каждой модели

🔗 https://github.com/fikrikarim/volocal
(Обсуждение)
#Volocal #STT #TTS #App #iPhone #FluidAudio #AiVoice #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
🔈 Elato Local - Создавайте собственные голосовые клоны с локальным ИИ, игрушки, настольные компаньоны, роботов и многое другое с помощью ESP32.
Elato Local поддерживает многоязычную речь в реальном времени с клонированием голоса и работает на чипах Apple Silicon без отправки данных в облако. Наглядно в ВИДЕО!

🧸 Для OpenToys - ОЖИВИТЕ ВАШИ ИГРУШКИ
Самые продвинутые голоса ИИ в одном гаджете!
Полностью открытый исходный код. Неограниченные приключения, игры, викторины и персонажи с искусственным интеллектом. Смотрите ВИДЕО
🔗 https://www.elatoai.com
🔗 https://github.com/akdeb/Elato-Local
⬇️ DMG для MacOS: OpenToys_0.1.0_aarch64.dmg

#ElatoLocal #ESP32 #OpenToys #CharacterAI #STT #Whisper #ASR #TTS #Qwen3TTS #Chatterbox #AiVoice #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1
This media is not supported in your browser
VIEW IN TELEGRAM
OpenRoom - Браузерный десктоп, в котором ИИ-агент управляет всеми приложениями с помощью естественного языка.

Представьте себе рабочий стол в вашем браузере и искусственный интеллект, который знает, как пользоваться всеми приложениями на нем.
Что такое VibeApps?
VibeApps превращает ваш браузер в полноценный рабочий стол: окна, которые можно перетаскивать и изменять их размер, приложения, которые можно открывать рядом друг с другом, — и все это в чистом интерфейсе в стиле macOS. Но главное отличие — ИИ-агент.

Вместо того чтобы листать меню, просто скажите, что вам нужно:
«Сыграйте что-нибудь джазовое» — и в музыкальном приложении заиграет музыка.
«Запишите в дневник о сегодняшнем походе» — откроется дневник, появится новая запись.
«Давайте сыграем в шахматы» — доска готова.

Агент не просто запускает приложения — он управляет ими. Он считывает данные, запускает действия и обновляет состояние с помощью структурированной системы действий, понятной каждому приложению.

Все работает локально в вашем браузере. Никакого бэкенда, никаких учетных записей, никаких проблем с настройкой. Ваши данные остаются в IndexedDB, там, где им и место.

Встроенные приложения:
🎵 Музыка - Полнофункциональный плеер с плейлистами, элементами управления воспроизведением и обложками альбомов
Шахматы - Классические шахматы с соблюдением всех правил
⚫️ Гомоку - «Пять в ряд» — простые правила, глубокая стратегия
🃏 FreeCell - Пасьянс, в котором главное — мастерство, а не удача
📧 Электронная почта - Входящие, отправленные, черновики — привычный интерфейс электронной почты
📔 Дневник - Дневник с отслеживанием настроения, чтобы фиксировать свои впечатления от дня
🐦 Twitter - Социальная лента, которую вы действительно контролируете
Альбом 📷 - Просматривайте и систематизируйте свои фотоколлекции
📰 CyberNews - Будьте в курсе событий с помощью тщательно отобранного агрегатора новостей

Каждое приложение полностью интегрировано с ИИ-агентом, то есть вы можете взаимодействовать с любым из них с помощью естественного языка.

🔗 https://www.openroom.ai
🔗 https://github.com/MiniMax-AI/OpenRoom
(Обсуждение)
#OpenRoom #VibeApps #macOS #AiAgent #AgentAi #AiGames #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Local Ai
Модель: MolmoWeb 4B / 8B MolmoWeb - это семейство полностью открытых мультимодальных веб-агентов. Агенты MolmoWeb достигают самых современных результатов, превосходящих аналогичные модели с открытым весом, такие как Fara-7B, UI-Tars-1.5-7B и Holo1-7B. MolmoWeb…
🤖 Ai2 выпустил открытого браузерного агента MolmoWeb

Команда Molmo запустила open-source агента для браузера. Работает на моделях Molmo 2 (4B и 8B параметров).

Агент анализирует страницу через скриншот и сам решает, куда кликнуть, что ввести и где проскроллить. Для безопасности доступа к паролям и финансам у него нет.

По результатам четырёх бенчмарков — лучший среди открытых решений. Обходит агентов на GPT-4o и побеждает OpenAI CUA в трёх из четырёх тестов.

🔗 https://allenai.org/blog/molmoweb
🔗 https://github.com/allenai/molmoweb
🔗 https://huggingface.co/collections/allenai/molmoweb
🔗 https://playground.allenai.org
#MolmoWeb #MolmoWeb4B #MolmoWeb8B #Molmo2 #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM