Local Ai
443 subscribers
895 photos
250 videos
4 files
811 links
Все про Локальные ИИ на ПК и Смартфонах - программы и модели, которые можно запустить на 96Gb VRAM. (Как сайт: https://t.me/s/ai2local )
ИИ для Здоровья: @Ai2Health
Download Telegram
Модель: Квантованные модели APEX MoE
Квантованные модели APEX MoE ускоряют вывод данных на 33 % и поддерживают TurboQuant (ускорение обработки подсказок на 14 %)

Только что выпустили APEX (Adaptive Precision for EXpert Models) — новую технологию квантования MoE, которая превосходит Unsloth Dynamic 2.0 по точности и при этом в два раза меньше по размеру для архитектур MoE.

Протестировано на Qwen3.5-35B-A3B, но этот метод применим к любой модели MoE. Размер в два раза меньше, чем у Q8. Уровень сложности сопоставим с F16.
Благодаря TurboQuant при использовании контекста 8K каждый уровень APEX обрабатывает запросы примерно на 14 % быстрее!
Работает со стандартным llama.cpp без каких-либо патчей.
С открытым исходным кодом: http://github.com/mudler/LocalAI

- I-Quality: 21,3 ГБ — максимальная точность
- I-Balanced: 23,6 ГБ — оптимальный баланс
- I-Compact: 16,1 ГБ — подходит для графических процессоров с 24 ГБ видеопамяти
- Mini: 12,2 ГБ — подходит для графических процессоров с 16 ГБ видеопамяти

Модели: http://huggingface.co/mudler/Qwen3.5-35B-A3B-APEX-GGUF
Метод + техническая статья: http://github.com/mudler/apex-quant
Локальная установка: http://github.com/mudler/LocalAI
(Обсуждение)
#APEX #MoE #TurboQuant #apexquant #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
У этого Канала теперь есть "Зеркало" в Макс: https://max.ru/join/m9_yt1fhcVwQS9_oHxUCBSialkmNopz_CA8UhPD2v2Q - все посты будут дублироваться и туда.
💩4👍3🤮1
Модель: Gemma 4 - 2B -4B -26B(A4B) -31B
Google выпустила 4 открытых модели Gemma 4 с поддержкой 140 языков!

Модели различаются количеством параметров.
Для устройств с ограниченными ресурсами, включая смартфоны, предназначен ИИ на 2 миллиарда и 4 миллиарда параметров под названием Effective.
Более мощные системы получат 26 миллиардов параметров с 4B Активных для Mixture of Experts (MoE) и 31 миллиард параметров для Dense.
Увеличенное контекстное окно — модели меньшего размера имеют контекстное окно размером 128 К, а модели среднего размера — 256 К.
Все модели семейства Gemma 4 способны обрабатывать видео и изображения.
Две младшие модели также могут обрабатывать аудио данные и понимать речь.

🔗 https://deepmind.google/models/gemma/gemma-4/
🔗 https://huggingface.co/collections/google/gemma-4
(Статья)

https://huggingface.co/unsloth/gemma-4-26B-A4B-it-GGUF
⚠️ используйте обновленный jinja (обновили недавно):
https://huggingface.co/google/gemma-4-26B-A4B-it/raw/main/chat_template.jinja
или слегка измененная версия (лучше):
https://pastebin.com/raw/hnPGq0ht

https://huggingface.co/unsloth/gemma-4-31B-it-GGUF
https://huggingface.co/unsloth/gemma-4-E4B-it-GGUF
https://huggingface.co/unsloth/gemma-4-E2B-it-GGUF
Что нового в Gemma 4 - видео! (Обсуждение)
#Gemma4 #Gemma #Google #AiModel #MidelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Модель: 🤖 Holo3 — семейство агентных моделей для работы на ПК

Holo3 — модели, которые умеют выполнять рабочие процессы в корпоративных средах. Автоматизируют задачи, с которыми обычно справляются сотрудники за компьютером.

Младшая Holo3-35B-A3B выложена на Hugging Face и доступна бесплатно через Inference API с ограничением в 10 запросов в минуту.
Старшая версия Holo3-122B-A10B доступна только через API.

🔗 https://hcompany.ai/holo3
🔗 https://hcompany.ai/holo-models-api
🔗 https://huggingface.co/Hcompany/Holo3-35B-A3B
#Holo3 #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
📱 Приложение Google AI Edge Gallery
Обновилось - теперь с Gemma 4 и Agent Skills
Новое:
- Представляем Gemma 4: новейшие высокопроизводительные модели, работающие полностью в автономном режиме.
- Навыки агента: расширяйте возможности больших языковых моделей с помощью модульных инструментов, таких как интерактивные карты и поиск в Википедии. Поддержка пользовательских навыков, загружаемых из сообщества.
- Режим мышления в чат-боте с ИИ: визуализируйте процесс рассуждений модели для большей прозрачности. (Примечание: в настоящее время доступно только для поддерживаемых моделей, в том числе семейства Gemma 4).

⬇️ Android: https://play.google.com/store/apps/details?id=com.google.ai.edge.gallery
Скачать напрямую последнюю версию ТУТ.
Например Версия 1.0.11 .APK

📱 iOS: https://apps.apple.com/ru/app/google-ai-edge-gallery/id6749645337

(Пост, Обсуждение)
#AgentSkills #Android #iPhone #App #GoogleAIEdgeGallery #AIEdgeGallery #EdgeGallery #AiAgent #AgentAi #App #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Модель: Gemma 4 E4B + E2B без цензуры!
(мультимодальный режим: зрение, видео, аудио)

ОРИГИНАЛЬНАЯ версия от Google, только без цензуры. Агрессивность означает отсутствие отказов. Это изначально мультимодальные модели, объединяющие текст, изображения, видео и аудио в одной модели. Для поддержки зрения и слуха прилагается файл mmproj.
❗️Отлично иметь на своем смартфоне модели без цензуры и отказов!
👉 Gemma 4 E4B (4B): https://huggingface.co/HauhauCS/Gemma-4-E4B-Uncensored-HauhauCS-Aggressive
👉 Gemma 4 E2B (2B): https://huggingface.co/HauhauCS/Gemma-4-E2B-Uncensored-HauhauCS-Aggressive
Следующие на очереди: Gemma 4 E31B (плотная) и E26B-A4B (MoE).
Все модели HauhauCS
(Обсуждение)
=============
👉 Gemma 4 - 31b abliterated https://huggingface.co/paperscarecrow/Gemma-4-31B-it-abliterated-gguf (Пост)
👉 Gemma-4-E2B-it-Heretic-ARA https://huggingface.co/p-e-w/gemma-4-E2B-it-heretic-ara (Пост)

#HauhauCS #Gemma4 #Gemma #Uncensored #abliterated #Heretic #ARA #AiModel #MidelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
📊 Уже сравнили Gemma 4 и Qwen3.5 в общих тестах

Qwen3.5 НАМНОГО лучше распознает изображения!
А по оценкам людей, Gemma 4 намного опережает Qwen 3.5: https://arena.ai/leaderboard/text?license=open-source
Еще пишут:
- Gemma 31B примерно на одном уровне с Qwen 27B по уровню интеллекта. Но Gemma медленнее, потому что она больше.
- Gemma гораздо лучше справляется с логическими задачами, она быстрее завершает логические цепочки и выдает окончательный ответ, чем Qwen. Это большой плюс.
- Qwen гораздо лучше справляется с распознаванием изображений и их серий. Qwen может обрабатывать и отвечать на вопросы о ~280 изображениях одновременно (как о кадрах видео). А Gemma — нет.

(Обсуждение)
#Gemma4 #Gemma #Qwen35 #Qwen #AiModel #MidelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
Media is too big
VIEW IN TELEGRAM
🌎 Gemma 4 WebGPU: Запустите новую открытую модель Google локально в своем браузере

Мультимодальный ИИ, работающий локально в вашем браузере с использованием WebGPU без установки программ!
⬇️ https://huggingface.co/spaces/webml-community/Gemma-4-WebGPU - кликнуть по "Load model" и чат готов!
#Gemma4 #WebGPU #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
📱 Secret AI: Локальный ИИ Чатбот

ИИ на вашем телефоне - 100% автономный и безопасный!
Нет серверов. Нет отслеживания. Нет загрузки данных.
Все ответы ИИ создаются непосредственно на вашем телефоне. Подключение к интернету не требуется. Данные никогда не покидают ваше устройство. Никаких входов в систему. Никаких файлов cookie. Никакого отслеживания. Хотя есть и добавление API (OpenRouter тоже есть!)

Secret AI предлагает различные движки ИИ, поддерживающие центральный и графический процессоры, а также популярные форматы моделей, такие как GGUF (llama.cpp), MNN, MLX.
❗️Минусы: Бесплатно есть лимит на 15 сообщений чата в день! А купить "навсегда" стоит или 60$ или 120$... Если 15 чатов мало, то стоит рассмотреть другие: https://t.me/Ai2Local/5

Уже есть новая модель: Gemma 4
🔗 https://secretai.io
Android: https://play.google.com/store/apps/details?id=io.secretai.llm
iOS: https://apps.apple.com/app/secret-ai/id6744668980

#App #Gemma4 #SecretAi #LocalAi #AiLocal #Android #iPhone #GGUF #MNN #MLX
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
🔈 Morph Books - для чтения EPUB голосом TTS Kokoro

Morph - это приложение для чтения голосом.
Импортируйте любой EPUB и СЛУШАЙТЕ С ЕСТЕСТВЕННЫМИ ГОЛОСАМИ ИИ Превратите любую книгу в аудиокнигу с помощью преобразования текста в речь на основе ИИ. Следуйте выделению на уровне слов, которое поддерживает синхронизацию.
РАБОТАЕТ 100% ОФЛАЙН Morph запускает локальную голосовую модель AI непосредственно на вашем устройстве. Интернет не нужен, нет задержек потоковой передачи, нет буферизации. Импортируйте книгу, закройте Wi-Fi и слушайте.

📱 https://apps.apple.com/us/app/morph-books/id6760332618
#MorphBooks #Morph #EPUB #TTS #Kokoro #iPhone #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
🤖 Zora — ваш помощник на основе ИИ

Zoraлокальный ИИ-сервис для Apple Silicon. В 8 раз быстрее Ollama. Надо 7 ГБ оперативной памяти. Эмоциональная речь, распределенный вывод, самосовершенствование.
Zora, по сути, это тот же Джарвис, но он работает на вашем собственном оборудовании. Никаких облачных сервисов, никаких подписок, никакие данные не покидают ваш компьютер (если только вы не используете режим API), который при желании может использовать Codex.

Zora запускает специально обученную модель искусственного интеллекта на Apple Silicon, обрабатывает электронную почту, WhatsApp, Teams, сортирует входящие письма, готовит к встречам, предоставляя информацию о людях, с которыми встречаетесь, отслеживает обязательства, контролирует инфраструктуру и даже работает ночью, пока спите.
У нее более 150 инструментов, она запоминает, как вы разговариваете с разными людьми, и пишет ответы в вашем стиле. 16-Гб. Mac Mini вполне хватает.

Кроме того, вы можете добавить вычислительные ресурсы, используя функцию узлов с неограниченным количеством узлов/вычислительным потенциалом. Это делается на уровне оркестратора.

У нее также есть собственный трехмерный кабинет, который она обустраивает сама. Растения со временем разрастаются. Она сама выбирает себе питомца. Все дело в мелочах.
Создано с помощью MLX, FastAPI.
Вы даже можете запустить код Claude для локальной модели через Zora на MLX, используя встроенный API.
Если у вас Mac и вы увлекаетесь искусственным интеллектом и самостоятельным хостингом, попробуйте.

🔗 https://github.com/Azkabanned/Zora
(Обсуждение)
#Zora #AgentAi #AiAgent #MacOS #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Стоит ли переходить с Qwen 3.5 на Gemma 4?
Сравнили Qwen 3.5-27B и Gemma 4-31B и похожие модели с MoE
Читаем! Ну и в комментариях пишут свои впечатления...
#Gemma4 #Gemma #Qwen35 #Qwen #AiModel #MidelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
This media is not supported in your browser
VIEW IN TELEGRAM
🔈 OpenVox - преобразование текста в речь TTS для Mac

OpenVox запускает голосовые модели непосредственно на устройстве в macOS. Не нужно ничего настраивать, не требуется ключ API, данные не покидают ваш компьютер.
Что умеет:
- Преобразование текста в речь с помощью Kokoro, Qwen3 TTS и Chatterbox (Turbo и многоязычная версия) — более 300 голосов!
- Преобразование голоса (Chatterbox)
- Клонирование голоса (Qwen3 и Chatterbox)
- Создание аудиокниг на основе объемных текстов
- Создание собственных голосов с помощью подсказок (Qwen3)
Загрузка моделей по запросу, изолированная среда и одобрение App Store.

Бесплатная версия позволяет генерировать 5000 символов в день в течение всего срока использования.
Приложение создано на SwiftUI с использованием MLX для логического вывода на Apple Silicon.

🔗 https://openvoxai.com
⬇️ Mac: https://apps.apple.com/us/app/openvox-local-voice-ai/id6758789314?mt=12
📱 #iPad #iPhone : https://apps.apple.com/us/app/openvox-reader/id6790389555
(Обсуждение)
🎞 Их Канал https://www.youtube.com/@OpenVoxLocalVoiceAI - тут много видео!
Дубляж: https://www.youtube.com/watch?v=7p9MH3wam7c
#OpenVox #Kokoro #Qwen3TTS #Qwen3 #TTS #Chatterbox #Book #MacOS #App #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
elvean.app - Собственное рабочее пространство с ИИ для macOS

Карты, диаграммы, сортируемые таблицы, многопоточные диалоги и инструменты для работы с агентами. Не просто оболочка для чата. В 1-м нативном приложении.
Хватит переключаться между ChatGPT, Claude и десятком вкладок в браузере. Elvean подключается ко всем основным поставщикам ИИ и вашим локальным моделям через единый собственный интерфейс. Используйте свои собственные API-ключи, платите поставщикам напрямую, без наценки.

- Ollama, LM Studio, MLX, Claude, OpenAI, Gemini, Grok, Cerebras, DeepSeek
- Более 300 моделей через OpenRouter, включая любой API, совместимый с OpenAI
- Переключайте модели во время разговора с помощью @mentions
- API-ключи хранятся в связке ключей macOS, а не на наших серверах

Регистрация не требуется. Скачайте и сразу начинайте общаться.
Бесплатно для начала, Pro — когда будете готовы!

🔗 https://elvean.app
(На нем уже запускают Gemma 4 MLX)
#elveanapp #elvean #app #MacOS #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Модель: CoPaw-Flash-9B

Официальная агентская доработка Qwen3.5 9b от Alibaba!
CoPaw-Flash — это облегченная модель, оптимизированная для сценария автономного агента CoPaw. С момента обучения модель была специально доработана для выполнения задач CoPaw, что позволило повысить эффективность работы агента при вызове инструментов, выполнении команд, управлении памятью и многоэтапном планировании.
CoPaw-Flash-2B/4B/9B создан на основе Qwen3.5-2B/4B/9B и имеет те же архитектурные параметры.

🔗 https://huggingface.co/agentscope-ai/CoPaw-Flash-9B
(Обсуждение)
#CoPawFlash9B #CoPawFlash #CoPaw #Qwen35 #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM