Local Ai
447 subscribers
932 photos
262 videos
4 files
827 links
Все про Локальные ИИ на ПК и Смартфонах - программы и модели, которые можно запустить на 96Gb VRAM. (Как сайт: https://t.me/s/ai2local )
ИИ для Здоровья: @Ai2Health
Download Telegram
🚀 FreeToken запускает гигантские модели на игровом железе

Исследователи из UC Berkeley, MIT и UT Austin выпустили FreeToken — систему для запуска огромных MoE-моделей на обычных компьютерах. Без экстремального квантования, на официальных весах, с интерактивной скоростью.
Цифры впечатляют:
• Qwen3.6 35B на ноутбуке с RTX 4060 8 ГБ → 39 токенов/с
• DeepSeek-V4-Flash 284B на RTX 5090 → 22–25 токенов/с
• GLM-5.2 753B на RTX PRO 6000 → 15 токенов/с

По сравнению с Ollama генерация быстрее в 3–4 раза, обработка входного контекста — в 6–30 раз.

FreeToken поставляется с графическим интерфейсом. Не нужно конвертировать модели в GGUF или собирать проект из исходников. Агентные обвязки встроены: выбрал модель, выбрал приложение, запустил.
Скачайте FreeToken для Windows или Linux на flashml.ai. Оно настроит движок и предоставит вам графический интерфейс для запуска моделей, общения и настройки движка.

🔗 https://www.flashml.ai
🔗 https://arxiv.org/abs/2608.16157
🔗 https://github.com/FlashML-org/FreeToken
(Обсуждение)
#FreeToken #MOE #Windows #Linux #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
This media is not supported in your browser
VIEW IN TELEGRAM
🚀 DFlash 2 разгоняет большие языковые модели в 3–4 раза

Вышла вторая версия DFlash — библиотеки для спекулятивного декодирования. Первое поколение уже скачали 3,5 млн раз на Hugging Face.

Как это работает: маленькая модель быстро генерирует фрагмент текста, а большая проверяет его за один проход — вместо того чтобы выдавать слова по одному.

💻 На практике Qwen3.8-27B на ноутбуке выдаёт 70 токенов в секунду вместо обычных 15–20. На некоторых моделях ускорение доходит до 4,6 раза, в среднем — в 2,7–3,4 раза.

Результат побайтово идентичен оригиналу: ни одного отличающегося токена, просто быстрее.
🔗 https://inco.ai/blog/dflash2/
🔗 https://z-lab.ai/projects/dflash/
🔗 https://huggingface.co/collections/incoai/dflash-2
(Обсуждение) - от команды atomic.chat
#DFlash2 #DFlash #SGLang #vLLM #llamacpp #Ollama #oMLX #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
👏1
ℹ Модель: Tiel-Coder-35B-A3B
4-битный квант TielCoder объемом 22 ГБ соответствует среднему уровню Opus4.6 в решении реальных задач по программированию, опережая KAT-Coder и Nail по силе и скорости решения задач на множественный выбор.
Qwen3.8-27B — потрясающий, но медленный. Более мощная смесь экспертов 35B-A3B, способная быстро решать реальные проблемы в кодовой базе (даже на ограниченном в ресурсах оборудовании), станет ценным дополнением к набору инструментов. Это самая сильная и стабильная модель 35B-A3B из всех, что я тестировал, как по корректности, так и по скорости. Кроме того, она быстрее всех исправляет ошибки в реальных кодовых базах.
Помимо тонкой настройки Ornith-1.5, TielCoder использует взвешенную по коду имитрикс для динамического квантования и шаблон чата, оптимизированный для эффективного использования токенов и корректного агентного кодирования.

🔗GGUFs: https://huggingface.co/peculiar-ragdoll/Tiel-Coder-35B-A3B-GGUF
🔗MLX: https://huggingface.co/peculiar-ragdoll/Tiel-Coder-35B-A3B-MLX-oQ4e
(Обсуждение)
#TielCoder35BA3B #Qwen3827B #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
🔈 Audiobookify - Программа для чтения EPUB с локальным TTS, работающая на Apple neural Engine

Это программа для чтения электронных книг в формате EPUB, которая также поддерживает локальную офлайн-трансляцию текста в речь, так что она предназначена не только для преобразования текста в речь, но и для обычного чтения.
На данный момент доступны модели Kokoro и Supertonic 3 - обе оптимизированы вручную для iPhone!
Вы можете ознакомиться с предыдущими отзывами о более старой сборке (с тех пор вышло много обновлений) Здесь
Вы можете послушать голос из видео, оно было полностью записано на устройстве (Kokoro, Heart).

Ссылка на тестовый режим: Присоединиться к бета-тестированию
(Обсуждение)
#Audiobookify #TTS #EPUB #Kokoro #iPhone #AiBook #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
✍1
📖 Статья: Лучшее клонирование голоса с помощью ИИ в 2026 году: как клонировать свой голос
https://nexustrade.io/blog/best-ai-voice-cloning-2026-how-to-clone-your-voice-with-ai-20260824
(Best AI Voice Cloning in 2026: How to Clone Your Voice With AI)
(Обсуждение)
#AIVoiceCloning #AIVoice #TTS
Please open Telegram to view this post
VIEW IN TELEGRAM
🎙 LifeOS - Персональный органайзер, с которым вы разговариваете.
Скажите: «Поход в спортзал в понедельник, среду и пятницу в три часа, и напомни мне завтра позвонить стоматологу», — и языковая модель, работающая на вашем собственном оборудовании, превратит это в задачи, события, записи в дневнике, расходы, взвешивания и приемы пищи. Все, в чем приложение уверено, происходит мгновенно и может быть отменено. Все неоднозначное ждет, пока вы подтвердите, отредактируете или удалите карточку. Напоминания приходят на телефон, даже если приложение закрыто.
Здесь нет окна чата, нет веб-поиска и нет памяти, кроме ваших собственных данных. Модель считывает то, что вы сказали, и предлагает варианты; приложение проверяет каждый из них, прежде чем что-то записать, и каждая карточка содержит слова, из которых она была составлена.

🔗 https://github.com/Inovello/lifeos
(Обсуждение)
⬇️ Версия 0.3.0 https://t.me/Ai2Local/1087
#LifeOS #ASR #AiVoice #Диктовка #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🌐 Sitegeist - Ваш помощник на основе ИИ для работы в интернете - альтернатива Perplexity Comet

Sitegeist может автоматизировать повторяющиеся веб-задачи, извлекать данные с любого веб-сайта, осуществлять навигацию между страницами, заполнять формы, сравнивать товары, собирать данные исследований и преобразовывать найденную информацию в документы, электронные таблицы или что угодно еще. Он работает на любом веб-сайте через боковую панель Chrome/Edge, используя выбранного вами поставщика ИИ.
Что такое Sitegeist?
Помощник на основе ИИ, который живет в вашем браузере. Создан для совместной работы, а не для демонстрации автономности. Вы даете указания, он их выполняет. Автоматизируйте повторяющиеся веб-задачи, извлекайте данные с любого сайта и преобразуйте их во что угодно, что вам нужно.

🔗 https://sitegeist.ai
🔗 https://github.com/badlogic/sitegeist
#Sitegeist #PerplexityComet #Perplexity #Comet #AiAgent #AgentAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
💬 LowEndLocalAI - сообщество, посвященное запуску локальных больших языковых моделей на низкопроизводительном оборудовании!
🔗 https://www.reddit.com/r/LowEndLocalAI/
(Обсуждение)
#reddit #LowEndLocalAI #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1
💫 Потрясающе: Qwen3.8-27B появился на Code Arena: WebDev и занял 9-е место в общем зачете с 1595 баллами. Это единственная модель в своем классе, которая вошла в топ-10, а также изменила границу Парето!
Она отстает от гораздо более крупной модели Qwen3.8-Max всего на 6 позиций. Для сравнения: модель Gemma 4-31B, выпущенная в апреле, занимает 80-е место.
🔗 https://x.com/arena/status/2091920512796725272
(Обсуждение)
#Qwen3827B #CodeArena #WebDev #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1
This media is not supported in your browser
VIEW IN TELEGRAM
🤖 JetBrains local AI (использует Qwen3.6 27B)
Junie теперь может работать на вашем Mac — без кредитов и облака!
Цитата из блога:
Junie уже некоторое время может подключаться к локальным средам выполнения моделей. Направьте его на Ollama или LM Studio, загрузите локальную модель, и агент будет работать с ней. Многие уже так делают. Но это также означает, что вам придется выбирать модель, настраивать параметры и выполнять множество действий вручную, а небольшие модели могут помочь только с ограниченным набором простых задач.

Поэтому мы сделали все это за вас. Представляем Junie Local: она поставляется с моделью, которую мы выбрали и настроили на основе нашего собственного цикла работы агента, устанавливается с помощью одной команды и полностью работает на вашем компьютере. Никаких токенов, никаких квот, никакой передачи кода за пределы вашего компьютера. И это бесплатно.

Одна команда, без настройки
В Junie выполните команду /local. Модель загрузится, локальный сервер запустится, и Junie переключится на него. Не нужно писать JSON-профиль, устанавливать среду выполнения или указывать конечную точку.
Модель — Qwen3.6-27B, 4-битная, размер загрузки — около 20 ГБ, вам понадобится Mac M5 с 64 ГБ оперативной памяти. Все, что происходит после загрузки, выполняется на вашем устройстве, поэтому ваши запросы, исходные данные и различия остаются на месте.
Ваши существующие настройки сохраняются. Режим планирования, подсказки в реальном времени, рекомендации, навыки и ваши /команды работают так же. Изменился движок, но не агент.

🔗 https://jb.gg/jlblog
🔗 https://blog.jetbrains.com/junie/2026/08/junie-local-launch/
(Обсуждение)
#JetBrains #Junie #JunieLocal #Qwen3827B #MacOS #AiAgent #AgentAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
📊 Сравнение: Qwen-3.8-27B, Nemotron-3.5-Lightning-30B-A3B, Ornith-1.5-35B-A3B, Muse-Glimmer-30B oQ8e
Подробности сравнения смотрите здесь!
Ornith действительно хорош. TielCoder, возможно, даже немного лучше справляется с кодированием.
(Обсуждение)
#benchmark #Сравнение #Ornith #Nemotron35Lightning #MuseGlimmer #coding #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
ℹ Модель: Thomson-1.0-Small - Модель, ориентированная на законодательство и налогообложение
Основана на Qwen3.6-35B-A3B
🔗 https://huggingface.co/thomsonreuters/Thomson-1.0-Small
(Обсуждение)
#Thomson10Small #Thomson #Qwen3635BA3B #Qwen36 #law #tax #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
🛠 3D-редактор в браузере с поддержкой ИИ

Вышел SketchForge-3D — открытый редактор для проектирования 3D-моделей. Работает локально, прямо в браузере.

Можно создавать формы, вырезать отверстия, импортировать STL-файлы и экспортировать готовые модели. Есть локальный MCP-сервер — через него ИИ-клиенты управляют редактором в реальном времени.
Полностью опенсорс.
🔗 https://github.com/Formsmith746/SketchForge-3D
#SketchForge3D #Ai3D #3DModel
Please open Telegram to view this post
VIEW IN TELEGRAM