Local Ai
📱 Inferencer - Private AI Studio Inferencer позволяет запускать, размещать и глубоко контролировать последние модели SOTA AI (OSS, DeepSeek, Qwen, Kimi, GLM, MiniMax и другие) с вашего собственного компьютера или телефона. Никакие данные не отправляются…
Что нового:
+ Qwen 3.8: значительные улучшения в части логического вывода
+ Улучшения в части циклов для Qwen 3.8 и различных моделей
+ Улучшения в части детектора мышления и поддержка ограничения мышления для MTP
+ Улучшения в части кэширования для Qwen 3.8 и различных моделей + Исправление ошибок и повышение производительности
Также, если вы пропустили последние обновления:
+ Поддержка Kimi K3, DeepSeek V4 DSpark, Muse Glimmer и поддержка Ling-3.0-flash + Оптимизация повторного использования кэша серверного API для OpenClaw (включено по умолчанию)
+ Ограничение мышления для предотвращения зацикливания и корректного сокращения бесконечных рассуждений + Поддержка вложений в файлы, включая поддержку форматов Code, PDF, Word и ePub + Многопроцессорный механизм для одновременного логического вывода на нескольких моделях + Кластеризация на нескольких компьютерах для логического вывода на больших моделях
+ Спекулятивное декодирование MTP и DSpark для DeepSeek V4, Gemma4 и Qwen3.6 (до 2 раз быстрее)
+ Постоянное кэширование промпт-данных (включите в настройках — до ~99 раз быстрее при обращении к кэшу)
+ Поддержка MCP Server, включая arc-1 SAP, Playwright, MindsDB, Microsoft Learn и DeepWiki + Поддержка образов и рассуждений серверного API (включая OpenClaw, OpenCode и Cherry)
#Inferencer #MacOS #iPhone #iPad #App #SoftAI #AiSoft #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Anarlog — это настольное приложение, и к разговору не подключается ни один бот. Оно записывает системный звук, транскрибирует его на устройстве, а затем генерирует заметки с помощью локальных моделей или ваших собственных ключей для любого провайдера. Также есть локальный интерфейс командной строки и сервер MCP, так что вы можете интегрировать расшифровки в свой собственный стек.
Локальный стек: для расшифровки используется Parakeet на Apple Silicon (прямая трансляция, а также пакетная обработка с метками говорящих) или Apple Speech на macOS 26. Для сводок и чата можно использовать LM Studio, Ollama, Unsloth или любой другой сервер, совместимый с OpenAI. Если ваша локальная конечная точка не работает, вы получите сообщение об ошибке подключения, а не автоматически переключитесь на наш облачный сервер.
Заметки и расшифровки хранятся в локальном SQLite и обычных файлах с возможностью экспорта в формате Markdown. Поиск осуществляется с помощью полнотекстового индекса Tantivy, без встраивания.
Бесплатный уровень — это полноценная локальная версия. Берется плата только за размещенные модели и синхронизацию.
(anarlog — это альтернатива Granola с открытым исходным кодом.)
Она создана для тех, кому нужны заметки с помощью ИИ, но при этом они не хотят передавать свои разговоры в чужое облако, а также для тех, кому нужно пройти проверку безопасности с невозмутимым видом.
Почему стоит выбрать anarlog:
- К вашему звонку не присоединяется ни один бот. anarlog записывает звук прямо на ваше устройство. Ничто не отображается в списке участников, и ничто не записывается во время совещания.
- Локально, если вы выберете этот вариант. На поддерживаемых компьютерах Mac доступные встроенные модели расшифровки работают на устройстве. Локальные провайдеры Intelligence также хранят сводки и чат на вашем компьютере.
- Ваши данные в удобном для чтения формате. Сеансы, заметки и расшифровки хранятся в локальном хранилище SQLite. Записи и вложения представляют собой обычные локальные файлы. Экспортируйте Markdown, когда это удобно для вашего рабочего процесса.
- Используйте собственный ИИ. Воспользуйтесь поддерживаемым хостинговым провайдером, собственным API-ключом или локальным сервером, совместимым с OpenAI, например Ollama, LM Studio или Unsloth.
- Читаемый исходный код, лицензия MIT. Приложение сообщества распространяется по лицензии MIT. Форк, аудит, продажа или самостоятельная разработка.
- Облако — это дополнительная опция, не обязательная. Хостинговый ИИ, зашифрованная CloudSync и общий доступ доступны по запросу. От них ничего не зависит.
- Входная дверь для вашей организации. Корпоративные компоненты с открытым исходным кодом и коммерческие варианты развертывания дают службам безопасности и ИТ-специалистам реальный шанс на успех.
(Обсуждение)
#Anarlog #Parakeet #AppleSpeech #Транскрибация #Диктовка #MacOS #Windows #Linux #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🗂 Quivr превращает файлы в чат-бота
Quivr — ваш второй мозг, созданный с помощью генеративного ИИ!
Сервис делает из всех документов на компьютере интерактивный чат. Загружаешь файлы — получаешь возможность задавать вопросы и получать ответы по их содержимому.
🔗 https://github.com/QuivrHQ/quivr
🔗 https://core.quivr.com
#Quivr #RAG #PDF #LocalAi #AiLocal
Quivr — ваш второй мозг, созданный с помощью генеративного ИИ!
Сервис делает из всех документов на компьютере интерактивный чат. Загружаешь файлы — получаешь возможность задавать вопросы и получать ответы по их содержимому.
Работает с текстами, PDF, презентациями, таблицами Excel, CSV, Word, аудио и видео. Всё обрабатывается локально — данные не уходят в сеть, можно использовать без интернета. Удобно для быстрого поиска информации и создания саммари из больших объёмов материала.
Ключевые особенности 🎯
- Opiniated RAG: мы создали RAG, который является самостоятельным, быстрым и эффективным, чтобы вы могли сосредоточиться на своем продукте
- LLM: Quivr работает с любыми языковыми моделями, вы можете использовать его с OpenAI, Anthropic, Mistral, Gemma и т. д.
- Любой файл: Quivr работает с любыми файлами, вы можете использовать его с PDF, TXT, Markdown и т. д. и даже добавить собственные парсеры.
- Настройте свой RAG: Quivr позволяет настраивать RAG, добавлять интернет-поиск, инструменты и т. д.
- Интеграция с Megaparse: Quivr работает с Megaparse, поэтому вы можете загружать файлы с помощью Megaparse и использовать RAG с Quivr.
#Quivr #RAG #PDF #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔬 OmniScientist — локальный ИИ-исследователь, который сам пишет статьи
Загружаешь папку с данными, задаёшь направление — система проводит исследование от гипотезы до готовой статьи в PDF.
🔗 https://omni-scientist.github.io/
🔗 https://github.com/Omni-Scientist/OmniScientist
#OmniScientist #Windows #MacOS #Linux #AiAgent #AgentAi #PDF #LocalAi #AiLocal
Загружаешь папку с данными, задаёшь направление — система проводит исследование от гипотезы до готовой статьи в PDF.
Работает с любыми форматами: изображения, аудио, видео, 3D-сканы, point clouds, таблицы, формулы. Выстраивает гипотезу, пишет и запускает код для проверки, анализирует результаты и собирает финальный документ с графиками, таблицами и реальными DOI-ссылками.
Встроенная валидация: каждая цифра в черновике должна быть подтверждена реальным выводом программы. Если результаты пустые или не совпадают — статья уходит на доработку.
Три варианта запуска: десктоп-версия, CLI и модуль для интеграции в агентов. Проект уже провёл 36 исследований, пять из них завершились полноценными статьями.
Поддержка Windows, macOS, Linux.
#OmniScientist #Windows #MacOS #Linux #AiAgent #AgentAi #PDF #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🚀 FreeToken запускает гигантские модели на игровом железе
Исследователи из UC Berkeley, MIT и UT Austin выпустили FreeToken — систему для запуска огромных MoE-моделей на обычных компьютерах. Без экстремального квантования, на официальных весах, с интерактивной скоростью.
🔗 https://www.flashml.ai
🔗 https://arxiv.org/abs/2608.16157
🔗 https://github.com/FlashML-org/FreeToken
(Обсуждение)
#FreeToken #MOE #Windows #Linux #LocalAi #AiLocal
Исследователи из UC Berkeley, MIT и UT Austin выпустили FreeToken — систему для запуска огромных MoE-моделей на обычных компьютерах. Без экстремального квантования, на официальных весах, с интерактивной скоростью.
Цифры впечатляют:
• Qwen3.6 35B на ноутбуке с RTX 4060 8 ГБ → 39 токенов/с
• DeepSeek-V4-Flash 284B на RTX 5090 → 22–25 токенов/с
• GLM-5.2 753B на RTX PRO 6000 → 15 токенов/с
По сравнению с Ollama генерация быстрее в 3–4 раза, обработка входного контекста — в 6–30 раз.
FreeToken поставляется с графическим интерфейсом. Не нужно конвертировать модели в GGUF или собирать проект из исходников. Агентные обвязки встроены: выбрал модель, выбрал приложение, запустил.
Скачайте FreeToken для Windows или Linux на flashml.ai. Оно настроит движок и предоставит вам графический интерфейс для запуска моделей, общения и настройки движка.
(Обсуждение)
#FreeToken #MOE #Windows #Linux #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
This media is not supported in your browser
VIEW IN TELEGRAM
🚀 DFlash 2 разгоняет большие языковые модели в 3–4 раза
Вышла вторая версия DFlash — библиотеки для спекулятивного декодирования. Первое поколение уже скачали 3,5 млн раз на Hugging Face.
Как это работает: маленькая модель быстро генерирует фрагмент текста, а большая проверяет его за один проход — вместо того чтобы выдавать слова по одному.
💻 На практике Qwen3.8-27B на ноутбуке выдаёт 70 токенов в секунду вместо обычных 15–20. На некоторых моделях ускорение доходит до 4,6 раза, в среднем — в 2,7–3,4 раза.
Результат побайтово идентичен оригиналу: ни одного отличающегося токена, просто быстрее.
🔗 https://inco.ai/blog/dflash2/
🔗 https://z-lab.ai/projects/dflash/
🔗 https://huggingface.co/collections/incoai/dflash-2
(Обсуждение) - от команды atomic.chat
#DFlash2 #DFlash #SGLang #vLLM #llamacpp #Ollama #oMLX #LocalAi #AiLocal
Вышла вторая версия DFlash — библиотеки для спекулятивного декодирования. Первое поколение уже скачали 3,5 млн раз на Hugging Face.
Как это работает: маленькая модель быстро генерирует фрагмент текста, а большая проверяет его за один проход — вместо того чтобы выдавать слова по одному.
💻 На практике Qwen3.8-27B на ноутбуке выдаёт 70 токенов в секунду вместо обычных 15–20. На некоторых моделях ускорение доходит до 4,6 раза, в среднем — в 2,7–3,4 раза.
Результат побайтово идентичен оригиналу: ни одного отличающегося токена, просто быстрее.
(Обсуждение) - от команды atomic.chat
#DFlash2 #DFlash #SGLang #vLLM #llamacpp #Ollama #oMLX #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
👏1
4-битный квант TielCoder объемом 22 ГБ соответствует среднему уровню Opus4.6 в решении реальных задач по программированию, опережая KAT-Coder и Nail по силе и скорости решения задач на множественный выбор.
Qwen3.8-27B — потрясающий, но медленный. Более мощная смесь экспертов 35B-A3B, способная быстро решать реальные проблемы в кодовой базе (даже на ограниченном в ресурсах оборудовании), станет ценным дополнением к набору инструментов. Это самая сильная и стабильная модель 35B-A3B из всех, что я тестировал, как по корректности, так и по скорости. Кроме того, она быстрее всех исправляет ошибки в реальных кодовых базах.
Помимо тонкой настройки Ornith-1.5, TielCoder использует взвешенную по коду имитрикс для динамического квантования и шаблон чата, оптимизированный для эффективного использования токенов и корректного агентного кодирования.
(Обсуждение)
#TielCoder35BA3B #Qwen3827B #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Это программа для чтения электронных книг в формате EPUB, которая также поддерживает локальную офлайн-трансляцию текста в речь, так что она предназначена не только для преобразования текста в речь, но и для обычного чтения.
На данный момент доступны модели Kokoro и Supertonic 3 - обе оптимизированы вручную для iPhone!
Вы можете ознакомиться с предыдущими отзывами о более старой сборке (с тех пор вышло много обновлений) Здесь
Вы можете послушать голос из видео, оно было полностью записано на устройстве (Kokoro, Heart).
Ссылка на тестовый режим: Присоединиться к бета-тестированию
(Обсуждение)
#Audiobookify #TTS #EPUB #Kokoro #iPhone #AiBook #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
✍1
https://nexustrade.io/blog/best-ai-voice-cloning-2026-how-to-clone-your-voice-with-ai-20260824
(Best AI Voice Cloning in 2026: How to Clone Your Voice With AI)
(Обсуждение)
#AIVoiceCloning #AIVoice #TTS
Please open Telegram to view this post
VIEW IN TELEGRAM