🚀 FreeToken запускает гигантские модели на игровом железе
Исследователи из UC Berkeley, MIT и UT Austin выпустили FreeToken — систему для запуска огромных MoE-моделей на обычных компьютерах. Без экстремального квантования, на официальных весах, с интерактивной скоростью.
🔗 https://www.flashml.ai
🔗 https://arxiv.org/abs/2608.16157
🔗 https://github.com/FlashML-org/FreeToken
(Обсуждение)
#FreeToken #MOE #Windows #Linux #LocalAi #AiLocal
Исследователи из UC Berkeley, MIT и UT Austin выпустили FreeToken — систему для запуска огромных MoE-моделей на обычных компьютерах. Без экстремального квантования, на официальных весах, с интерактивной скоростью.
Цифры впечатляют:
• Qwen3.6 35B на ноутбуке с RTX 4060 8 ГБ → 39 токенов/с
• DeepSeek-V4-Flash 284B на RTX 5090 → 22–25 токенов/с
• GLM-5.2 753B на RTX PRO 6000 → 15 токенов/с
По сравнению с Ollama генерация быстрее в 3–4 раза, обработка входного контекста — в 6–30 раз.
FreeToken поставляется с графическим интерфейсом. Не нужно конвертировать модели в GGUF или собирать проект из исходников. Агентные обвязки встроены: выбрал модель, выбрал приложение, запустил.
Скачайте FreeToken для Windows или Linux на flashml.ai. Оно настроит движок и предоставит вам графический интерфейс для запуска моделей, общения и настройки движка.
(Обсуждение)
#FreeToken #MOE #Windows #Linux #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
This media is not supported in your browser
VIEW IN TELEGRAM
🚀 DFlash 2 разгоняет большие языковые модели в 3–4 раза
Вышла вторая версия DFlash — библиотеки для спекулятивного декодирования. Первое поколение уже скачали 3,5 млн раз на Hugging Face.
Как это работает: маленькая модель быстро генерирует фрагмент текста, а большая проверяет его за один проход — вместо того чтобы выдавать слова по одному.
💻 На практике Qwen3.8-27B на ноутбуке выдаёт 70 токенов в секунду вместо обычных 15–20. На некоторых моделях ускорение доходит до 4,6 раза, в среднем — в 2,7–3,4 раза.
Результат побайтово идентичен оригиналу: ни одного отличающегося токена, просто быстрее.
🔗 https://inco.ai/blog/dflash2/
🔗 https://z-lab.ai/projects/dflash/
🔗 https://huggingface.co/collections/incoai/dflash-2
(Обсуждение) - от команды atomic.chat
#DFlash2 #DFlash #SGLang #vLLM #llamacpp #Ollama #oMLX #LocalAi #AiLocal
Вышла вторая версия DFlash — библиотеки для спекулятивного декодирования. Первое поколение уже скачали 3,5 млн раз на Hugging Face.
Как это работает: маленькая модель быстро генерирует фрагмент текста, а большая проверяет его за один проход — вместо того чтобы выдавать слова по одному.
💻 На практике Qwen3.8-27B на ноутбуке выдаёт 70 токенов в секунду вместо обычных 15–20. На некоторых моделях ускорение доходит до 4,6 раза, в среднем — в 2,7–3,4 раза.
Результат побайтово идентичен оригиналу: ни одного отличающегося токена, просто быстрее.
(Обсуждение) - от команды atomic.chat
#DFlash2 #DFlash #SGLang #vLLM #llamacpp #Ollama #oMLX #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
👏1
4-битный квант TielCoder объемом 22 ГБ соответствует среднему уровню Opus4.6 в решении реальных задач по программированию, опережая KAT-Coder и Nail по силе и скорости решения задач на множественный выбор.
Qwen3.8-27B — потрясающий, но медленный. Более мощная смесь экспертов 35B-A3B, способная быстро решать реальные проблемы в кодовой базе (даже на ограниченном в ресурсах оборудовании), станет ценным дополнением к набору инструментов. Это самая сильная и стабильная модель 35B-A3B из всех, что я тестировал, как по корректности, так и по скорости. Кроме того, она быстрее всех исправляет ошибки в реальных кодовых базах.
Помимо тонкой настройки Ornith-1.5, TielCoder использует взвешенную по коду имитрикс для динамического квантования и шаблон чата, оптимизированный для эффективного использования токенов и корректного агентного кодирования.
(Обсуждение)
#TielCoder35BA3B #Qwen3827B #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Это программа для чтения электронных книг в формате EPUB, которая также поддерживает локальную офлайн-трансляцию текста в речь, так что она предназначена не только для преобразования текста в речь, но и для обычного чтения.
На данный момент доступны модели Kokoro и Supertonic 3 - обе оптимизированы вручную для iPhone!
Вы можете ознакомиться с предыдущими отзывами о более старой сборке (с тех пор вышло много обновлений) Здесь
Вы можете послушать голос из видео, оно было полностью записано на устройстве (Kokoro, Heart).
Ссылка на тестовый режим: Присоединиться к бета-тестированию
(Обсуждение)
#Audiobookify #TTS #EPUB #Kokoro #iPhone #AiBook #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
✍1
https://nexustrade.io/blog/best-ai-voice-cloning-2026-how-to-clone-your-voice-with-ai-20260824
(Best AI Voice Cloning in 2026: How to Clone Your Voice With AI)
(Обсуждение)
#AIVoiceCloning #AIVoice #TTS
Please open Telegram to view this post
VIEW IN TELEGRAM
Скажите: «Поход в спортзал в понедельник, среду и пятницу в три часа, и напомни мне завтра позвонить стоматологу», — и языковая модель, работающая на вашем собственном оборудовании, превратит это в задачи, события, записи в дневнике, расходы, взвешивания и приемы пищи. Все, в чем приложение уверено, происходит мгновенно и может быть отменено. Все неоднозначное ждет, пока вы подтвердите, отредактируете или удалите карточку. Напоминания приходят на телефон, даже если приложение закрыто.
Здесь нет окна чата, нет веб-поиска и нет памяти, кроме ваших собственных данных. Модель считывает то, что вы сказали, и предлагает варианты; приложение проверяет каждый из них, прежде чем что-то записать, и каждая карточка содержит слова, из которых она была составлена.
(Обсуждение)
#LifeOS #ASR #AiVoice #Диктовка #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Sitegeist может автоматизировать повторяющиеся веб-задачи, извлекать данные с любого веб-сайта, осуществлять навигацию между страницами, заполнять формы, сравнивать товары, собирать данные исследований и преобразовывать найденную информацию в документы, электронные таблицы или что угодно еще. Он работает на любом веб-сайте через боковую панель Chrome/Edge, используя выбранного вами поставщика ИИ.
Что такое Sitegeist?
Помощник на основе ИИ, который живет в вашем браузере. Создан для совместной работы, а не для демонстрации автономности. Вы даете указания, он их выполняет. Автоматизируйте повторяющиеся веб-задачи, извлекайте данные с любого сайта и преобразуйте их во что угодно, что вам нужно.
#Sitegeist #PerplexityComet #Perplexity #Comet #AiAgent #AgentAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Local Ai
🚀 FreeToken запускает гигантские модели на игровом железе Исследователи из UC Berkeley, MIT и UT Austin выпустили FreeToken — систему для запуска огромных MoE-моделей на обычных компьютерах. Без экстремального квантования, на официальных весах, с интерактивной…
Статья: 753B на одной видеокарте: разбор FreeToken /
https://habr.com/ru/articles/1073522/
https://habr.com/ru/articles/1073522/
(Обсуждение)
#reddit #LowEndLocalAI #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1
Она отстает от гораздо более крупной модели Qwen3.8-Max всего на 6 позиций. Для сравнения: модель Gemma 4-31B, выпущенная в апреле, занимает 80-е место.
(Обсуждение)
#Qwen3827B #CodeArena #WebDev #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1
This media is not supported in your browser
VIEW IN TELEGRAM
Junie теперь может работать на вашем Mac — без кредитов и облака!
Цитата из блога:
Junie уже некоторое время может подключаться к локальным средам выполнения моделей. Направьте его на Ollama или LM Studio, загрузите локальную модель, и агент будет работать с ней. Многие уже так делают. Но это также означает, что вам придется выбирать модель, настраивать параметры и выполнять множество действий вручную, а небольшие модели могут помочь только с ограниченным набором простых задач.
Поэтому мы сделали все это за вас. Представляем Junie Local: она поставляется с моделью, которую мы выбрали и настроили на основе нашего собственного цикла работы агента, устанавливается с помощью одной команды и полностью работает на вашем компьютере. Никаких токенов, никаких квот, никакой передачи кода за пределы вашего компьютера. И это бесплатно.
Одна команда, без настройки
В Junie выполните команду /local. Модель загрузится, локальный сервер запустится, и Junie переключится на него. Не нужно писать JSON-профиль, устанавливать среду выполнения или указывать конечную точку.
Модель — Qwen3.6-27B, 4-битная, размер загрузки — около 20 ГБ, вам понадобится Mac M5 с 64 ГБ оперативной памяти. Все, что происходит после загрузки, выполняется на вашем устройстве, поэтому ваши запросы, исходные данные и различия остаются на месте.
Ваши существующие настройки сохраняются. Режим планирования, подсказки в реальном времени, рекомендации, навыки и ваши /команды работают так же. Изменился движок, но не агент.
(Обсуждение)
#JetBrains #Junie #JunieLocal #Qwen3827B #MacOS #AiAgent #AgentAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Подробности сравнения смотрите здесь!
Ornith действительно хорош. TielCoder, возможно, даже немного лучше справляется с кодированием.
(Обсуждение)
#benchmark #Сравнение #Ornith #Nemotron35Lightning #MuseGlimmer #coding #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Основана на Qwen3.6-35B-A3B
(Обсуждение)
#Thomson10Small #Thomson #Qwen3635BA3B #Qwen36 #law #tax #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
🛠 3D-редактор в браузере с поддержкой ИИ
Вышел SketchForge-3D — открытый редактор для проектирования 3D-моделей. Работает локально, прямо в браузере.
Можно создавать формы, вырезать отверстия, импортировать STL-файлы и экспортировать готовые модели. Есть локальный MCP-сервер — через него ИИ-клиенты управляют редактором в реальном времени.
Полностью опенсорс.
🔗 https://github.com/Formsmith746/SketchForge-3D
#SketchForge3D #Ai3D #3DModel
Вышел SketchForge-3D — открытый редактор для проектирования 3D-моделей. Работает локально, прямо в браузере.
Можно создавать формы, вырезать отверстия, импортировать STL-файлы и экспортировать готовые модели. Есть локальный MCP-сервер — через него ИИ-клиенты управляют редактором в реальном времени.
Полностью опенсорс.
#SketchForge3D #Ai3D #3DModel
Please open Telegram to view this post
VIEW IN TELEGRAM