Local Ai
443 subscribers
895 photos
250 videos
4 files
811 links
Все про Локальные ИИ на ПК и Смартфонах - программы и модели, которые можно запустить на 96Gb VRAM. (Как сайт: https://t.me/s/ai2local )
ИИ для Здоровья: @Ai2Health
Download Telegram
Модель: MolmoWeb 4B / 8B

MolmoWeb - это семейство полностью открытых мультимодальных веб-агентов. Агенты MolmoWeb достигают самых современных результатов, превосходящих аналогичные модели с открытым весом, такие как Fara-7B, UI-Tars-1.5-7B и Holo1-7B.
MolmoWeb-8B также превосходит агенты set-of-marks (SoM), построенные на гораздо более крупных моделях closed frontier, таких как GPT-4o. Кроме того, авторы продемонстрировали стабильный прирост результатов за счет масштабирования времени тестирования с помощью параллельного развертывания с отбором лучших из N вариантов, достигнув показателей 94,7 % и 60,5 % pass@4 (по сравнению с 78,2 % и 35,3 % pass@1) на WebVoyager и Online-Mind2Web соответственно.

MolmoWeb-4B основан на архитектуре Molmo2, в которой в качестве системы технического зрения используются Qwen3-8B и SigLIP 2.

Узнайте больше о семействе MolmoWeb из анонса в блоге и технического отчета.

💬 Демо: https://molmoweb.allen.ai
🔗 https://huggingface.co/allenai/MolmoWeb-8B
🔗 https://huggingface.co/allenai/MolmoWeb-8B-Native
🔗 https://huggingface.co/allenai/MolmoWeb-4B
🔗 https://huggingface.co/allenai/MolmoWeb-4B-Native
(Обсуждение)
#MolmoWeb #MolmoWeb4B #MolmoWeb8B #Molmo2 #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Модель: Qwen3.5‑4B‑Neo и Qwen3.5‑9B‑Neo

Две новые доработанные версии Qwen3.5 «Neo» ориентированы на быстрое и эффективное принятие решений!

👉 Qwen3.5‑4B‑Neo
Оптимизированная для логического вывода доработка Qwen3.5‑4B. Основное внимание уделяется эффективной последовательности рассуждений: более коротким внутренним цепочкам рассуждений, снижению стоимости токенов и повышению точности.
🔗 https://huggingface.co/Jackrong/Qwen3.5-4B-Neo

👉 Qwen3.5‑9B‑Neo
Более крупный вариант, доработанный на основе Qwen3.5‑9B.
🔗 https://huggingface.co/Jackrong/Qwen3.5-9B-Neo

Версии GGUF также доступны в коллекции здесь: https://huggingface.co/collections/Jackrong/qwen35-neo
(Обсуждение)
#Qwen354BNeo #Qwen359BNeo #GGUF #Qwen35 #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1
📱 InferrLM - Локальный ИИ на iOS и Android

InferrLM - это мобильное приложение, которое переносит LLMs и SLMs непосредственно на ваше устройство Android и iOS и позволяет вашему устройству действовать как локальный сервер. Также поддерживаются облачные модели, такие как Claude, Gemini и ChatGPT. Вложения файлов с RAG также хорошо поддерживаются для локальных моделей. В InferrLM теперь есть поддержка MLX.

🔗 https://www.inferrlm.app
Проект: https://github.com/sbhjt-gr/InferrLM
📱 Android: InferrLM: On-device AI https://play.google.com/store/apps/details?id=com.gorai.ragionare
iOS: https://apps.apple.com/us/app/inferrlm/id6754396856
(Обсуждение)

Все аналоги для Android https://t.me/Ai2Local/22
Все аналоги для iPhone https://t.me/Ai2Local/21
#InferrLM #Android #iOS #iPhone #App #LLM #RAG #MLX #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
💡 NoobScribe — это API для расшифровки, совместимый с Whisper, и веб-интерфейс для записи совещаний, расшифровки аудио и сохранения информации о выступающих на разных сессиях с помощью дневниковых записей и функции памяти выступающих.
База была создана parakeet-diarized, ссылка в разделе ATTRIBUTIONS(.)md в репозитории

NoobScribe предоставляет совместимый с Whisper API для расшифровки аудио, хотя моими основными дополнениями являются веб-интерфейс и конечные точки для управления записями, расшифровками и спикерами.

Он работает в Docker (на центральном процессоре или с помощью nvidia docker toolkit на графическом процессоре), использует аудиосистему Pyannote для диаризации и nvidia/canary-1b-v2 для расшифровки.

Добавить записи можно двумя способами: загрузить аудиофайл или записать звук с рабочего стола (через функцию демонстрации экрана в браузере) и/или с микрофона.

Затем эти аудиозаписи транскрибируются с помощью Canary-1b-v2 и диаризуются с помощью pyannote audio
После завершения транскрибирования и диаризации можно сохранить обнаруженные голоса (их эмбеддинги из pyannote) в векторной базе данных (Chroma) и заменить общие названия голосов (SPEAKER_00 и т. д.) на имена, которые вы указали.
Кроме того, программа проверяет существующие расшифровки на наличие совпадающих эмбеддингов для новых голосов или новых эмбеддингов для одного голоса, чтобы обновить их задним числом.

У диктора может быть несколько эмбеддингов (например, при использовании разных микрофонов эмбеддинги иногда не совпадают — так можно повысить точность распознавания диктора).

Все данные хранятся локально на вашем компьютере, и вам нужен только Docker и токен HF_TOKEN (если вы хотите использовать функцию ведения дневника, так как модель Pyannote является закрытой.

Создали это, чтобы лучше транскрибировать записи совещаний и т. д. и потом обобщать их с помощью большой языковой модели. В этом плане диаризация речи спикера очень помогает по сравнению с обычной транскрипцией.

🔗 https://github.com/meganoob1337/NoobScribe
(Обсуждение)
#NoobScribe #Whisper #Транскрибация #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Модель: GLiNER-PII - поможет с Персональными Данными!

Оказывается есть небольшая модель, обученная для извлечения персональных данных!
Модель GLiNER-PII создана на основе моделей Gretel GLiNER PII/PHI. Она построена на базе GLiNER large-v2.1 и обнаруживает и классифицирует широкий спектр персональных данных (PII) и защищенной медицинской информации (PHI) в структурированном и неструктурированном тексте. Модель не генерирует данные, а создает аннотации сущностей на уровне фрагментов с оценкой достоверности по более чем 55 категориям. Модель разработана компанией NVIDIA.
🔗 https://huggingface.co/nvidia/gliner-PII

Еще рекомендуют использовать: Llama 3.3 70B или Mistral Large.
#GLiNERPII #NVIDIA #PHI #PII #ПерсональныеДанные #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
🎙 Whisperian: AI Voice to Text - Диктовка для Android

Whisperian — это инструмент голосового ввода, созданный для писателей и всех, кто не любит печатать и хочет перенести свои сложные рабочие процессы преобразования речи в текст на свои устройства Android.
Приложение интегрируется с системой Android либо как голосовая клавиатура, либо как компактное системное наложение, которое не мешает, когда оно не нужно...

Whisperian — простой инструмент/приложение для запуска локальных моделей преобразования текста в речь на Android, которые можно использовать вместо диктовки в Gboard, параллельно с обычной клавиатурой.
Можно сказать, что это уже довольно проработанное приложение, по функциональности сравнимое с VoiceInk / Handy для MacOS.
В настоящее время приложение поддерживает 21 локальную модель. Среди дополнительных функций — пользовательские подсказки/режимы постобработки и история расшифровки. Однако локальная постобработка пока не интегрирована и доступна только у облачных провайдеров.

⬇️ https://play.google.com/store/apps/details?id=app.whisperian.client
(Обсуждение)
#Whisperian #Android #STT #App #Диктовка #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
🎙 DictaFlow - Диктуйте текст в любом приложении.

Сверхбыстрая диктовка и голосовое редактирование для приложений, которыми вы уже пользуетесь. Теперь доступно на Mac: Fn для диктовки, Control + Fn для использования ИИ и удобное редактирование выделенного текста.
Бесплатно:
2000 бесплатных слов в месяц
•Все основные функции включены
•Контекстно-зависимая транскрипция

$7 в месяц:
•100 000 слов в месяц
•Полный мобильный доступ: транскрибируйте где угодно через Telegram
•Улучшение с помощью искусственного интеллекта: мгновенная самокоррекция и команды
•Интеллектуальная работа с экраном: редактируйте выделенный текст с помощью голосовых команд
•Работает в любом приложении (в т. ч. в Remote Desktop)
•Триггеры для горячих клавиш, мыши и VDI
•Контекстно-зависимая транскрипция
•Автоматическое форматирование кода, электронных писем и математических выражений

🔗 https://dictaflow.io
#dictaflow #MacOS #Диктовка #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Модель: Devstral-Small-2-24B, доработанная на основе Claude 4.6 Opus, с использованием рассуждений, чтобы перед написанием кода он мог четко выстроить цепочку мыслей.

🔗 https://huggingface.co/adamjen/Devstral-Small-2-24B-Opus-Reasoning
(Обсуждение)
#DevstralSmall224B #DevstralSmall2 #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
📸 Анализ изображений для LM Studio
Плагин для мультимодального анализа изображений в LM Studio.

Позволяет мультимодальным моделям передавать файлы изображений для анализа, в том числе изображения, найденные в интернете и загруженные с помощью других инструментов.
Большие языковые модели в LM Studio теперь могут брать изображения из интернета и просматривать их/показывать вам!
Плагин, который позволяет языковым моделям в LM Studio загружать изображения из интернета для анализа. Они будут объединять инструменты в зависимости от задачи.

Никаких MCP/API/регистраций — это простые скрипты, которые можно установить в один клик с сайта LM Studio. (Да, в LM Studio есть поддержка плагинов!). Все, что вам нужно, — это модель с функцией Vision (Qwen 3.5 9b / 27b отлично подойдут).

Автор также обновил плагины Duck-Duck-Go и Visit Website, чтобы они могли работать с изображениями, и добавил несколько новых функций:
- Инструменты автоматически загружают изображения и преобразуют их в уменьшенные файлы для встраивания в чат (чтобы не загромождать пространство).
- Затем инструмент анализа, по возможности, использует изображения в полном разрешении.
- Плагины помогают языковой модели встраивать изображения при необходимости или использовать галерею таблиц в формате Markdown, если пользователь явно хочет использовать много изображений.

Несколько примеров этого можно увидеть на скриншотах.

Шаблон Jinja Prompt: Pastebin (устранил проблему с ошибками при вызове инструмента)
Настройки Qwen 3.5 (по сути, это официальная рекомендация Qwen):
Temperature: 1
Top K sampling: 20
Repeat Penalty: 1
Presence Penalty: 1.9 (I think this one is important, fixed repetition problems for me, always gets out of loop)
Top P sampling: 0.95
Min P sampling: 0

Системная подсказка:
You are a capable, thoughtful, and precise assistant. Always prioritize being truthful, nuanced, insightful, and efficient, tailoring your responses specifically to the user's needs and preferences.
Research before answering the questions: use both reasoning and tool calls to synthesize a proper conclusion.

https://lmstudio.ai/vadimfedenko/analyze-images
Про плагины (DuckDuckGo и visit-website-reworked): https://t.me/Ai2Local/430
(Обсуждение)
#LMStudio #DuckDuckGo #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Модель: Nemotron-3 Nano 4B без цензуры (агрессивный)

Агрессивный = без отказов, без изменений личности и без модификаций. ОРИГИНАЛЬНАЯ версия от NVIDIA, без цензуры.
Краткие характеристики:
- параметры 3,97Б
- 262 КБ собственного контекста
- Режим мышления / умозаключения (переключаемый)
- Поддержка вызова инструмента
- Сжатый с Nemotron-Nano-9B-v2

Настройки от NVIDIA:
temp = 1.0, top_p = 0.95 для рассуждений; temp = 0.6, top_p = 0.95 для вызова инструмента.

🔗 https://huggingface.co/HauhauCS/Nemotron3-Nano-4B-Uncensored-HauhauCS-Aggressive - легко запустится даже на смартфоне!
Все такие модели: HauhauCS
(Обсуждение)
#Nemotron3Nano4B #Nemotron3Nano #Nemotron3 #Nemotron #БезЦензуры #Uncensored #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡️ Flash-MoE: Qwen3.5-397B-A17B на Apple Silicon

Круто на 128 Гб. запускать модель 397B!
Форк ANEMLL. В первую очередь ориентирован на Apple M5 Max 128 ГБ.
Механизм логического вывода Pure C/Metal, работающий на Qwen3.5-397B-A17B (модели Mixture-of-Experts с 397 миллиардами параметров) на Apple Silicon. Вся модель загружается с твердотельного накопителя через специальный вычислительный конвейер Metal.
TL;DR: локально запустили модель с 397 миллиардами параметров на MacBook. без облачных технологий. лучшая конфигурация: 4-битная + cache-io-split 4 = 12,99 ток/с. При разбиении на 2 и 3 части результаты хуже. 2-битная конфигурация обеспечивает такую же скорость, но худшее качество. полные данные в посте.

🔗 https://github.com/Anemll/flash-moe
(Обсуждение)

⚡️ Qwen3.5-397B запустили и на M3 Macbook Pro с 48GB RAM!
#FlashMoE #AppleSilicon #Qwen35 #ANEMLL #AppleM5Max #M5Max #MacOS #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
🌐 Nemotron-3-Nano (4B) — новая гибридная модель Mamba + Attention от NVIDIA, работающая локально в вашем браузере на WebGPU.

Все работает локально в вашем браузере (с использованием Transformers.js). На M4 Max получают ~75 токенов в секунду — неплохо!

Это гибридная модель Mamba + Attention с архитектурой 4B, способная выполнять как логические, так и нелогические задачи.

Ссылка на демонстрацию (+ исходный код):
🔗 https://huggingface.co/spaces/webml-community/Nemotron-3-Nano-WebGPU
Работает даже на телефоне (браузер Chrome). Просто введите URL-адрес, и у вас будет локальная модель.
(Обсуждение)
#Nemotron3Nano4B #Nemotron3Nano #Nemotron3 #Nemotron #WebGPU #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Модель: Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled

- Эта модель устраняет сбой в работе официальной модели, вызванный тем, что шаблон Jinja не поддерживает роль "разработчика". (обычно используется современными агентами кодирования, такими как Claude Code и OpenCode)
- Она не отключает режим мышления по умолчанию и позволяет агенту работать непрерывно более 9 минут без перерывов.
- По сравнению с оригинальной моделью автономность и стабильность работы значительно улучшены.
Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled — это высокопроизводительная модель логического вывода, доработанная на основе мощной архитектуры Qwen3.5. Основная задача модели — использовать современную технологию дистилляции цепочки рассуждений (Chain-of-Thought, CoT), основанную на взаимодействии Claude-4.6 и Opus.

Благодаря контролируемой тонкой настройке (Supervised Fine-Tuning, SFT), ориентированной на структурированную логику рассуждений, эта модель отлично справляется с разбором сложных пользовательских задач, планированием пошаговых методологий в рамках строго структурированных <think> тегов и, в конечном счете, с поиском точных и продуманных решений.

⚡️ Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled демонстрирует значительные преимущества в средах кодирования, таких как Claude Code и OpenCode:

- Встроенная поддержка роли «разработчика», не требующая патчей для шаблонов Jinja или обходных путей с использованием ChatML.
- Режим мышления полностью сохранен (подтверждено в логах thinking=1), не отключен без предупреждения, что позволяет сохранить всю цепочку логических рассуждений.
- Значительно улучшена автономность и стабильность — система может работать непрерывно более 9 минут (без участия человека). Она активно ожидает ответа от инструментов, считывает выходные данные, самостоятельно исправляет ошибки и даже может автоматически генерировать файл README, в то время как базовая модель часто зависает в процессе выполнения.

Эти улучшения стали возможны благодаря успешному внедрению стиля структурированных рассуждений Claude 4.6 Opus, что позволило Qwopus стать по-настоящему готовым к использованию в современных локальных агентах кодирования и по удобству использования приблизиться к Opus.

🔗 https://huggingface.co/Jackrong/Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled-GGUF
=======
Есть очень компактная версия:
Qwen3.5-27B-TQ3_4S - 13.9 GB - Turbo Quant на удвоенной скорости!
🔗 https://huggingface.co/YTan2000/Qwen3.5-27B-TQ3_4S - В 2 раза быстрее, качество лучше, чем у TQ3_1S, при том же размере. (Обсуждение)

#Qwen35 #Qwopus #GGUF #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Модель: gpt-oss-puzzle-88B от NVIDIA

gpt-oss-puzzle-88B — это оптимизированная для развертывания большая языковая модель, разработанная компанией NVIDIA на основе gpt-oss-120b от OpenAI.
Модель создана с использованием Puzzle — фреймворка для поиска нейронных архитектур после обучения (NAS). Цель разработки — значительно повысить эффективность логического вывода при выполнении ресурсоемких задач, сохранив или улучшив точность при ограниченном бюджете.

Модель специально оптимизирована для работы с длинными и короткими контекстами.

По сравнению со своим предшественником, gpt-oss-puzzle-88B:
- Уменьшает общее количество параметров до ~88 Б (≈73 % от исходного значения),
- Обеспечивает повышение производительности в 1,63 раза в сценариях с большим контекстом (64 КБ/64 КБ) на узле с 8 графическими процессорами H100,
- Обеспечивает повышение производительности в 1,22 раза в сценариях с малым контекстом (4 КБ/4 КБ),
- Обеспечивает повышение производительности в 2,82 раза на одном графическом процессоре H100,

Точность соответствует исходной или немного превышает ее.
Количество параметров модели: 88 млрд

🔗 https://huggingface.co/nvidia/gpt-oss-puzzle-88B
(Обсуждение)
#NVIDIA #gptosspuzzle88B #gptosspuzzle #GptOss120b #GptOss #Puzzle #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM