Local Ai
443 subscribers
895 photos
250 videos
4 files
811 links
Все про Локальные ИИ на ПК и Смартфонах - программы и модели, которые можно запустить на 96Gb VRAM. (Как сайт: https://t.me/s/ai2local )
ИИ для Здоровья: @Ai2Health
Download Telegram
🎙 OpenWhispr - Ваш голос в 3 раза быстрее, чем клавиатура.

Голосовой помощник с открытым исходным кодом. Конфиденциальность по умолчанию. Пишите быстрее в любом приложении.
Бесплатно, если локально. Подписка — если хочешь облачную обработку.
Можно подключить свои API-ключи от LLM-провайдеров.
Локально доступны к скачиванию все модели Whisper и что особенно замечательно - есть Parakeet TDT v3 (25 европейских языков, очень быстрая)
Для Mac на чипе Intel не так много программ с Parakeet, а она ну очень быстрая!
Транскрибация сохраняется как заметка! Есть к скачиванию и модели ИИ для автоисправлений и для Агентов и для чата с заметкой и... много функций!
Есть и Словарь для своих терминов!
Доступно на macOS (Intel и чипы М), Windows и Linux

🔗 https://openwhispr.com
(Подробнее в статье)
🎞 Подробно о установке и настройке: https://youtu.be/6TXOs0_ejhQ
⬇️ #iOS #iPhone #iPad https://apps.apple.com/us/app/openwhispr-voice-to-text/id6763804420
#OpenWhispr #Whisper #Parakeet #MacOS #Windows #Linux #Диктовка #Транскрибация #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🎙 WLK - WhisperLiveKit: преобразование речи в текст с идентификацией говорящего с минимальной задержкой на собственном сервере!
Почему бы просто не запустить простую модель Whisper для каждой аудиозаписи? Модель Whisper предназначена для обработки полных высказываний, а не фрагментов в режиме реального времени. При обработке небольших сегментов теряется контекст, слова обрываются на середине слога, а транскрипция получается некачественной. В WhisperLiveKit используются передовые технологии одновременной обработки речи для интеллектуальной буферизации и инкрементальной обработки.
Серверная часть поддерживает одновременную работу нескольких пользователей. Функция обнаружения голосовой активности снижает нагрузку при отсутствии голосовых запросов.

WhisperLiveKit поддерживает Voxtral Mini, 4-параметрическую речевую модель от Mistral AI, которая изначально поддерживает более 100 языков с функцией автоматического определения языка. Whisper также поддерживает автоматическое определение (--language auto), но функция Voxtral для определения языка по фрагментам более надежна и не смещает акцент в сторону английского языка.
(в потоковом режиме мог бы переводить звук на другой язык!)

🔗 https://github.com/QuentinFuxa/WhisperLiveKit
#WLK #WhisperLiveKit #Whisper #Перевод #Транскрибация #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Модель: Без цензуры: Сравнение Qwen 3/3.5 с моделями HauhauCS / Heretic / Huihui - Abliterlitics: сравнительный анализ бенчмарков и тензоров.

Компания HauhauCS описывает свои стёртые модели как "лучшие модели без цензуры и без потерь" с "без изменений в наборах данных и возможностях" . Чтобы это выяснить, провёли полный анализ. Сравнили результаты, оценили безопасность, проанализировали вес и дивергенцию Кульбака — Лейблера. Всё это было сделано в сравнении с двумя другими крупными методами стирания, применёнными к тем же базовым моделям.

Полные результаты тестов и анализ на HuggingFace:
🔗 https://huggingface.co/collections/DreamFast/hauhaucs-safetensor-benchmarks
(Подробно и обсуждение)
======
👉 Сравнение моделей Qwen3.5-4B|Gemma4-E2B/E4B без цензуры

#Abliterlitics #HauhauCS #Heretic #Huihui #Derestricted #UGI #Abliterix #Qwen3 #Qwen35 #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
🎬 NexVid — расширение для апскейла видео прямо в браузере

🌐 Работает в Chrome и Firefox, улучшает качество видео на лету с помощью GPU. В арсенале — больше 15 профилей апскейла и 30+ WebGL-шейдеров.

💻 Можно настроить FPS, выставить порог разрешения для обработки и использовать встроенный видеоплеер. Всё локально, без отправки данных куда-то вовне.
NexVid — это лёгкое браузерное расширение для масштабирования и улучшения качества видео в реальном времени. Оно использует обработку Anime4K с ускорением на графическом процессоре, продвинутые фильтры и большую библиотеку шейдеров WebGL для улучшения качества аниме, мультфильмов, фильмов, музыкальных клипов и других веб-видео прямо в вашем браузере. Выбирайте из более чем 15 профилей качества масштабирования Anime4K, настраивайте целевой показатель FPS в соответствии с возможностями вашего оборудования, устанавливайте порог разрешения, чтобы не обрабатывать видео с высоким разрешением, и создавайте собственный набор улучшений, не загружая медиафайлы.

Особенности:
- Масштабирование в реальном времени с профилями от самого быстрого до максимально качественного.
- Управление производительностью, в том числе настройка целевого количества кадров в секунду и автоматическая обработка пороговых значений разрешения.
- Более 30 шейдеров WebGL в категориях ретро, свечения, глитча, хроматизма, художественных эффектов, аниме и экспериментальных категорий сверхвысокого разрешения.
- Расширенные фильтры и элементы управления изображением, в том числе яркость, насыщенность, контрастность, оттенки серого, сепия, поворот оттенка, размытие, гамма, тиснение, морфология, нерезкая маска и повышение резкости.
- Настраиваемые параметры шейдера, а также сохранение и загрузка предустановок для создания полноценных цепочек эффектов.
- Встроенный локальный видеоплеер для применения масштабирования, фильтров и шейдеров к локальным видеофайлам.
- Интерфейс доступен на английском, французском, испанском и упрощенном китайском языках.
- Обработка данных выполняется локально в браузере, что обеспечивает конфиденциальность.

Идеально подходит для пользователей, которым нужны более четкие линии, детализация и стилизованное воспроизведение без выхода из браузера.

🔗 https://chromewebstore.google.com/detail/nexvid-real-time-video-up/hiocbajaikpcckgeagcngaeoioncmbim
🔗 https://addons.mozilla.org/fr/firefox/addon/nexvid-realtime-video-upscaler/
🎞 https://www.youtube.com/watch?v=BNfx5D6811g
#NexVid #Anime4K #Chrome #Firefox #AiVideo #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Хорошие статьи:
Как я запускал Qwen 3.5 на Mac: бенчмарк 8 локальных LLM-серверов. Кто быстрее?
https://habr.com/ru/articles/1024880/

Пробуем использовать локальные LLM для написания кода
https://habr.com/ru/articles/1024884/
This media is not supported in your browser
VIEW IN TELEGRAM
🤖 Web Bro - полностью браузерный агент Gemma 4 с реальным доступом к файловой системе (WebGPU + ONNX, без установки, без сервера)

Web Bro — локального агента для кодирования и исследований в области ИИ, который работает локально в вашем браузере.

Что это такое:
- Запускает Gemma 4 E2B-it ONNX квантованную модель прямо в браузере с помощью WebGPU
- Не требует установки, не требует серверной части, не требует API-ключей — все остается на вашем компьютере
- Вы можете выбрать любую локальную папку в качестве рабочей области с помощью API доступа к файловой системе
- Агент может выводить список файлов, искать текст, читать, редактировать и записывать файлы прямо в вашу реальную файловую систему
- Перед каждой записью автоматически создаются снимки предыдущих версий файлов в IndexedDB → можно легко отменить изменения
- Все чаты, сеансы и настройки сохраняются локально

По сути, это полностью клиентский ИИ-агент, ориентированный на конфиденциальность, который можно использовать для написания кода, исследований, ведения заметок и т. д. без передачи данных с вашего компьютера.

Демо:https://aeroxy.github.io/web-bro
GitHub: https://github.com/aeroxy/web-bro
(Обсуждение)
#WebBro #WebGPU #ONNX #Gemma4 #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
⚛️ Вышел Open WebUI для настольных компьютеров!

Ваш ИИ прямо на вашем рабочем столе. Откройте веб-интерфейс в виде нативного приложения. Запускайте модели локально или подключайтесь к любому серверу. Никакого Docker, терминала и настроек. Скачайте, запустите, общайтесь.
Основные моменты:
⚡️ Spotlight. Нажмите Shift+Cmd+I (macOS) или Shift+Ctrl+I (Windows/Linux), чтобы вызвать плавающую панель чата поверх того, что вы делаете. Перетащите ее, чтобы сделать снимок экрана с любой частью экрана.
🎙 Голосовой ввод. Системная функция «нажми и говори». Нажмите сочетание клавиш в любом приложении, чтобы начать запись. Ваша речь будет автоматически расшифрована и отправлена в чат.
🧠 Локальный вывод. Загружайте и запускайте модели на своем устройстве. Ваши данные никогда не покинут ваш компьютер.
🎯 Настройка в один клик. Все устанавливается автоматически. Просто нажмите «Начать».
🔌 Несколько подключений. Легко переключайтесь между серверами.
🔄 Автоматические обновления. Новые версии устанавливаются в фоновом режиме.
📡 Возможность работы в автономном режиме. После первоначальной настройки подключение к интернету не требуется.
💻 Кроссплатформенное решение. macOS, Windows и Linux.

Распознавание речи, изображений, извлечение данных, генерация, поиск. Расширяйте возможности с помощью Python. Готово к использованию с первого дня.
Инструменты: RAG, поиск, исполнение.
Модели: https://openwebui.com/models

🔗 https://openwebui.com
🔗 https://github.com/open-webui/desktop
🔗 https://github.com/open-webui/open-webui
(Обсуждение)
Очень много всего устанавливается при 1 запуске...
#OpenWebUI #WebUI #macOS #Windows #Linux #SoftAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
2
Модель: Новые модели - новые рейтинги!

🇨🇳 Kimi 2.6 стремительно всех подвинула! Но что удивительно и восхитительно - локальные модели все равно на 7 месте и ниже... Из топа 14 - 5 локальных, которые можно запускать дома! А если иметь Mac Studio 512 Gb - то этот список будет еще больше!
А если все таки выйдет Mac Studio M5 Ultra 1Tb. - то вообще на нем можно будет запустить эту новую Kimi 2.6 на 1.1 Т параметров! А к тому моменту (конец 26, начало 27 года) и модели выйдут еще покруче! Тренд радует!
(Обсуждение)
#AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Модель: Chaperone-Thinking-LQ-1.0 - Медицинская

Открыли исходный код Chaperone-Thinking-LQ-1.0 — 4-битной модели GPTQ + QLoRA, доработанной DeepSeek-R1-32B, которая показывает результат 84 % на MedQA при размере модели ~20 ГБ.
Она основана на DeepSeek-R1-Distill-Qwen-32B, но выходит далеко за рамки простого квантования.
Целевое использование:
- Задачи, связанные с медицинскими и клиническими рассуждениями
- Научные вопросы и ответы, а также исследовательские процессы
- Корпоративные развертывания, требующие суверенитета данных (локальные системы, частное облако)
- Анализ текста и извлечение полезной информации с учетом предметной области
Вот что сделали:
- 4-битное квантование GPTQ — сжатие модели с ~60 ГБ до ~20 ГБ
- Обучение с учетом квантования (Quantization-aware training, QAT) с помощью GPTQ и калибровкой для минимизации потери точности
- Тонкая настройка QLoRA на медицинских и научных корпусах
- Убран адаптивный слой идентификации для обеспечения прозрачности — модель корректно приписывает свою архитектуру оригинальной работе DeepSeek

MedQA — это то, что нужно: точность 84 %, что на 4 % меньше, чем у GPT-4o (~88 %), при этом модель работает на одном графическом процессоре L40/L40s.

Скорость: 36,86 токенов в секунду против 22,84 токенов в секунду у базовой модели DeepSeek-R1-32B — примерно в 1,6 раза быстрее и со средней задержкой на ~43 % ниже.

Зачем это сделали: нужна была модель логического вывода, которую можно было бы использовать локально для корпоративных клиентов в сфере здравоохранения со строгими требованиями к суверенитету данных. Никаких вызовов API в OpenAI, никаких данных, покидающих пределы здания. Оказывается, при правильной оптимизации можно добиться практически максимальной производительности за небольшую часть стоимости.

🔗 https://huggingface.co/empirischtech/DeepSeek-R1-Distill-Qwen-32B-gptq-4bit
Подробно: https://chaperoneai.net/benchmark
(Обсуждение)
#MedQA #Chaperone #chaperoneAi #DeepSeek #MedAi #AiMed #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
📱 Lekh AI - Local AI Studio

Lekh AI локальный ИИ на iPhone и iPad - полностью конфиденциально и в автономном режиме. Интернет не требуется, подписки не нужны, и ваши разговоры никогда не покидают ваше устройство. Теперь на 27 языках!
МОЩНЫЙ ЧАТ ИИ
- Общайтесь с языковыми моделями, включая Gemma, Qwen, Llama и другие
- Получите помощь с написанием, кодированием, обучением, мозговым штурмом и повседневными вопросами
- Прикрепляйте документы и изображения для анализа ИИ (с моделями зрения)
- Экспортируйте разговоры в формате PDF, текст

ПАМЯТЬ ИИ
- Ваш ИИ запоминает вас во время разговоров
- Поделитесь своим именем, предпочтениями или любой информацией - он вызовет их позже
- Спросите "Что мне больше всего нравится...?" В любом чате и получите правильный ответ
- Полный контроль: включение/выключение, очистка в любое время

AI IMAGE TOOLS
- AI Image Editing
- Удалить или заменить что-либо на фотографиях с помощью inpainting
- Object Remover - Удаление нежелательных объектов одним нажатием
- Фото в 3D - Генерировать карты глубины с любой фотографии
- Черно-белая раскраска - Воплотите старые черно-белые фотографии в жизнь с помощью AI
- 3D Splat Generation - Создание захватывающих 3D-моделей из одной фотографии
- 3D-галерея - Сохраняйте, просматривайте и делитесь своими 3D-творениями

БИБЛИОТЕКА EBOOK
- Импорт и читайте книги ePub и PDF
- Общайтесь с ИИ о содержании книги
- Выделите отрывки и задавайте вопросы
- Краткое изложения книг на основе ИИ

ГЕНЕРАЦИЯ ИЗОБРАЖЕНИЙ
- Создавайте потрясающие изображения из текстовых описаний
- Несколько моделей: SD 1.5, SDXL и специализированные модели Lekh AI
- Точно настроенные модели: Фотореализм, Interstellar, Детские истории, Фэнтези
- Стиль Предустановки для быстрых творческих результатов
- 4x AI Upscaling - Улучшите любое изображение с помощью нейронного upscaler RealESRGAN
- Все генерации происходят на устройстве

ЛОКАЛЬНЫЙ СЕРВЕР AI
- Превратите свой iPhone в сервер AI API
- REST API - работает с Python, curl и любым приложением
- Доступ к AI с любого устройства в вашей локальной сети

ЕСТЕСТВЕННЫЙ ГОЛОСОВОЙ ЧАТ

- Говорите естественно с высококачественными нейронными голосовыми ответами - Режим разговора без помощи рук
- Несколько голосовых опций, включая ФУНКЦИИ Kokoro TTS

VISION
- Направьте камеру и задавайте вопросы о том, что вы видите
- Извлечение текста из документов, знаков и квитанций (OCR)
- Получайте описания сцен в режиме реального времени
- Анализируйте изображения и фотографии с помощью AI

AI PERSONAS

- Общайтесь с уникальными персонажами - волшебниками, пиратами, детективами и многим другим
- Каждая персона имеет уникальную индивидуальность и стиль речи,

МОДЕЛИ ВКЛЮЧЕНЫ
- Загрузите только то, что вам нужно:
- Bonsai 8B и Gemma 4 - В новой версии!
- Gemma 3 QAT (1B - 4B) - Последняя, высокофункциональная версия Google
- Qwen 2.5/3.5 (1.5B - 4B) - Отлично подходит для кодирования и рассуждений
- Llama 3.2 (1B - 3B) - Мощные открытые модели Meta
- OpenELM (270M) - Сверхэффективная модель Apple
- Модели Vision для понимания изображений
- Генерация изображений: SD 1.5, SDXL

⬇️ https://apps.apple.com/ru/app/lekh-ai-local-ai-studio/id6757496953
#Lekh #LekhAI #LocalAIStudio #App #iPhone #iOS #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
📱 LLM Hub - Local AI Assistant

Есть поддержка Gemma 4 E2B/E4B
LLM Hub — для чата и создания изображений на Android и iOS. Поддерживает несколько форматов моделей, что позволяет запускать мощные модели локально.
8 МОЩНЫХ ИНСТРУМЕНТОВ ИИ

📝 УМНЫЙ ЧАТ
Многоходовые диалоги с учетом контекста, память RAG, дополнительный веб-поиск, вывод речи с автоматическим озвучиванием и поддержка ввода текста, изображений и аудио. Создавайте собственные ИИ-персоны с персонализированными инструкциями.

✍️ ПОМОЩЬ В ПИСЬМЕННОЙ РАБОТЕ
Составляйте резюме документов, расширяйте идеи, переписывайте контент, улучшайте грамматику и генерируйте код на основе описаний на естественном языке.

🎨 ГЕНЕРАТОР ИЗОБРАЖЕНИЙ
Создавайте потрясающие изображения из текстовых подсказок с помощью Stable Diffusion 1.5. Генерируйте множество вариантов с помощью галереи, пролистывая изображения. Вся обработка происходит на устройстве.


🌍 ПЕРЕВОДЧИК (более 50 языков)
Переводит текст, изображения (OCR) и аудио в режиме реального времени. Работает полностью в автономном режиме с двусторонней поддержкой.

🎙 ТРАНСКРИПТОР
Преобразует аудио в текст с высокой точностью. Поддерживает WAV. Вся обработка выполняется на устройстве.

🎵 VIBECODE Creator
Создавайте, настраивайте и делитесь закодированными ИИ-персонами. Создавайте персонализированные наборы инструкций, которые управляют поведением ИИ во всех чат-сессиях. Разработайте своего идеального ИИ-помощника с помощью системных подсказок и описаний.

💻 ПОМОЩНИК ПО КОДУ
Генерируйте, отлаживайте и объясняйте код с помощью моделей ИИ, улучшенных VibeCode. Дополнительный веб-поиск документации и лучших практик.

🛡 ДЕТЕКТОР МОШЕННИЧЕСТВА
Анализируйте подозрительные сообщения и изображения на предмет попыток фишинга. Получайте четкие оценки рисков и подробные объяснения.

🚀 ПЕРЕДОВЫЕ МОДЕЛИ ИИ
Поддерживаемые форматы моделей: GGUF, ONNX, LiteRT, MediaPipe (бэкенды вывода MediaPipe, ONNX Runtime и Nexa SDK)

Рекомендуемые модели:
• Gemma-4 E2B/E4B (Google) - Мультимодальная: текст, изображение, аудио
• Llama-3.2 1B/3B (Meta) - Мощный открытый исходный код
• Phi-4 Mini (Microsoft) - Оптимизирована для мобильных устройств
• Ministral 3B/8B (Mistral AI) - Высокопроизводительная многоязычная модель с поддержкой изображения
• Семейство GPT-OSS - Быстрые и эффективные модели с оптимизацией ONNX
• LFM-2.5 Thinking (Thinking) - Рассуждения и генерация длинных текстов
• Granite Models (IBM) - Язык, готовый для корпоративного использования модели
Stable Diffusion 1.5 — генерация изображений на устройстве

Все модели работают на 100% на устройстве с ускорением GPU/NPU.

⚡️ РАСШИРЕННЫЕ ВОЗМОЖНОСТИ:
• Преобразование текста в речь с автоматическим озвучиванием для прослушивания без помощи рук
• Ускорение GPU/NPU для высокой производительности
• Мультимодальный: текст, изображения и аудио
• RAG с глобальной памятью для улучшения ответов
• Создание пользовательских ИИ-персон с персонализированными инструкциями
• Vibecode, аналогичный использованию курсора/кода Клода
• Импорт пользовательских моделей (.gguf, .onnx, .task, .litertlm, .qnn, .mnn)
• 17 языков интерфейса

💡 КАК ЭТО РАБОТАЕТ:
1. Загрузите модели ИИ в приложении (однократно) — поддерживаются форматы GGUF, ONNX, LiteRT и MediaPipe
2. Создайте собственные персоны ИИ с помощью VibeCode для персонализированного поведения
3. Выберите инструмент: Чат (с персонами), Помощь в написании, Генератор изображений, Переводчик, Транскриптор, Помощник по коду или Детектор мошенничества
4. Используйте ИИ полностью в автономном режиме с полной конфиденциальностью

📖 ОТКРЫТЫЙ ИСХОДНЫЙ КОД (Лицензия MIT)

🔗 https://www.llm-hub.app
⬇️ https://play.google.com/store/apps/details?id=com.llmhub.llmhub
iOS: https://apps.apple.com/au/app/llm-hub/id6762511820
🔗 https://github.com/timmyy123/LLM-Hub
#LLMHub #LocalAIAssistant #LiteRT #App #iOS #iPhone #Android #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Модель: Qwen3.6-27B: кодирование флагманского уровня в модели 27B Dense

Qwen3.6-27B — это плотная модель с полностью открытым исходным кодом (27 миллиардов параметров), обладающая следующими характеристиками:
- агентное кодирование флагманского уровня, превосходящее Qwen3.5-397B-A17B
- мощные текстовые и мультимодальные возможности
Qwen3.6-27B совершает прорыв в агентном кодировании для плотных моделей. Имея всего 27 миллиардов параметров, он превосходит Qwen3.5-397B-A17B (всего 397 миллиардов параметров / 17 миллиардов активных) по всем основным тестам на кодирование, включая SWE-bench Verified (77,2 против 76,2), SWE-bench Pro (53,5 против 50,9), Terminal-Bench 2.0 (59,3 против 52,5) и SkillsBench (48,2 против 30,0). Кроме того, она значительно превосходит все модели того же масштаба. В задачах на логическое мышление Qwen3.6-27B набирает 87,8 балла на GPQA Diamond, что сопоставимо с результатами моделей, размер которых в несколько раз больше.

Блог: https://qwen.ai/blog?id=qwen3.6-27b
🔗 https://huggingface.co/Qwen/Qwen3.6-27B
(Обсуждение)
У нее другие настройки:
Thinking mode for general tasks: temperature=1.0, top_p=0.95, top_k=20, min_p=0.0, presence_penalty=0.0, repetition_penalty=1.0
Thinking mode for precise coding tasks (e.g. WebDev): temperature=0.6, top_p=0.95, top_k=20, min_p=0.0, presence_penalty=0.0, repetition_penalty=1.0
Instruct (or non-thinking) mode: temperature=0.7, top_p=0.80, top_k=20, min_p=0.0, presence_penalty=1.5, repetition_penalty=1.0

(Обсуждение)
#Qwen3627B #Qwen36 #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM