Local Ai
447 subscribers
916 photos
262 videos
4 files
820 links
Все про Локальные ИИ на ПК и Смартфонах - программы и модели, которые можно запустить на 96Gb VRAM. (Как сайт: https://t.me/s/ai2local )
ИИ для Здоровья: @Ai2Health
Download Telegram
This media is not supported in your browser
VIEW IN TELEGRAM
🤌 Вайб-кодинг-агент локально на Mac

Прикольный сетап: LM Studio + Pi.
🪼 LM Studio - это приложение, где можно скачать и запустить локальную модель на своем компьютере: Qwen, Gemma, DeepSeek и другие.
🪼 Pi - это терминальный кодинг-агент, который можно подключить к этой локальной модели.
🪼 Схема такая:
Mac → LM Studio запускает модель → Pi подключается к ней → агент читает и правит файлы проекта

🪼 А что, вместо того, чтобы каждый раз жечь токены популярных Claude Code или Codex, можно часть простых задач гонять локально. Заметьте, не в облаке, а на своем железе 🤌

🪼 Но магии тут нет: Локальные модели пока не превращают ваш Mac в бесплатный Claude Code 🥲 Нужно нормальное железо, достаточно памяти, чуть повозиться с настройкой, а качество на сложных задачах будет слабее, чем у топовых облачных моделей.
Зато для простых правок, экспериментов, учебных проектов + поиграться без страха сжечь лимиты - очень даже интересная история.
В общем, не "убийца" Claude Code, а вариант для тех, кто хочет вайбкодить локально и экономить токены.

#LMStudio #Pi #AiAgent #AgentAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
ℹ Модель: Tess-4-27B от Migel Tissera
Рассуждения, которые масштабируются в зависимости от проблемы. Агентная, мыслящая модель, которая принимает решения более взвешенно именно тогда, когда это важно, и не мешает себе, когда это не так.
Tess-4-27B — первый выпуск Tess за два года и первый выпуск, в котором обосновывается. Модель, созданная на основе Qwen/Qwen3.6-27BМигелем Тиссерой, прошла постобработку на специально подобранной смеси: 64-килобайтных агентных трассировках с длинным контекстом — реальных инженерных решениях, созданных с помощью Fable-5, а не синтетических поколениях, — со стилем рассуждений, приближенным к Fable-5, с помощью ансамбля из трех моделей-учителей (Opus-4.8, GPT-5.5 и GLM-5.2), объединенных в один целостный голос.

В результате получилась модель 27B, которая мыслит как старший инженер: выдвигает гипотезу, действует, проверяет и рассуждает с должной тщательностью на тех этапах, которые действительно этого заслуживают. Это не та модель, которая рассказывает, как пришла к уже известному ответу.

🔗 https://huggingface.co/migtissera/Tess-4-27B
(Обсуждение)
#Tess4 #Tess427B #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
ℹ Модель: Gemma-4-31B, доработанная специально для копирайтинга и творческих задач (набрала +290 Elo по сравнению с базовой версией на EqBench3)
Проблема: общие чат-модели могут писать маркетинговые тексты, но по умолчанию они используют одни и те же вводные фразы, такие как «В современном быстро меняющемся мире...», и расплывчатые формулировки вместо конкретных преимуществ. И доработали Gemma-4-31B-it, чтобы убрать эти вводные фразы и сделать текст более похожим на текст копирайтера, ориентированного на прямой отклик: начинать с проблемы, использовать конкретные, чёткие призывы к действию. В целом модель стала более эмоционально развитой.

Настройка оценки: на основе методологии EQ-Bench 3 (попарная оценка по шкале Эло + шкала оценки) был создан бенчмарк для копирайтинга, использующий 30 реальных брифов, связанных с рекламой в Facebook, холодным обзвоном, целевыми страницами, описаниями товаров, SMS, сценариями и т. д. Базовая модель и модель с тонкой настройкой ответили на все брифы, которые оценивались вслепую с помощью DeepSeek V4 Flash в обоих вариантах (A-vs-B и B-vs-A) для контроля позиционной предвзятости. Те же базовые веса, те же настройки декодирования, единственная переменная — тонкая настройка.
Самые значительные и стабильные улучшения были достигнуты в таких аспектах, как сила цепляния, конкретность и лаконичность — именно в этих областях и работает текст, побуждающий к прямому действию.

Сведения об обучении: QLoRA SFT на тщательно отобранном корпусе маркетинговых брифов в сочетании с вариантами их заполнения, включая реальные примеры рекламных объявлений. Окончательные веса объединены с полным bf16 (адаптера не будет). Контекст 256K, используется в vLLM или Transformers без изменений.

Для достижения наилучших результатов требуется enable_thinking=false . Включение режима логического вывода Gemma 4 на самом деле снижает качество вывода, так что имейте это в виду.

Описание модели + веса: https://huggingface.co/akwin123/copywriter-gemma4-31b
Квантования: https://huggingface.co/models?other=base_model:quantized:akwin123/copywriter-gemma4-31b (mradermacher)
(Обсуждение)
#Gemma4 #Gemma431B #copywriter #копирайтер #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
🎙 Voicetypr - Печатайте голосом.
Ваш мозг работает быстрее, чем пальцы. Говорите, и Voicetypr's автономный голосовой ввод перенесет чистый текст в любое приложение примерно в 3 раза быстрее, чем при обычном наборе.

Диктуй текст офлайн в любое приложение — через горячую клавишу
!
Инструмент для преобразования речи в текст на основе ИИ с открытым исходным кодом, альтернатива superwhisper, whispr flow

Voicetypr записывает речь по горячей клавише, расшифровывает её локально и вставляет текст туда, где стоит курсор. Без интернета, без отправки аудио на сервер.

💻 Что умеет: распознаёт 99+ языков, работает в браузере, ChatGPT, Slack и редакторах, использует видеокарту для ускорения (но обходится и процессором), позволяет выбрать модель под скорость или точность.
Доступен для macOS и Windows. Платите один раз, пользуйтесь вечно. (По тегу #Диктовка в этом канале есть аналоги и бесплатные!)
Для запуска нужны Windows 10/11 или macOS 14+, 3–4 ГБ места для моделей, доступ к микрофону и разрешение на управление вводом.
⬇️ https://voicetypr.com
🔗 https://github.com/moinulmoin/voicetypr
#Voicetypr #MacOS #Windows #Диктовка #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2
ℹ Модель: Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V2 и V3
🌟 Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive -> Genesis Hermes
Модель основана на базе HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive.
И DJLougen/hermes-qwen3.5-35b-a3b-GGUF доработке для агента Hermes.
🔗 https://huggingface.co/LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V2-GGUF
🔗 https://huggingface.co/LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V3-GGUF
(Обсуждение)
#Qwen36 #Uncensored #Hermes #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
📖 Инструкция: Запуск Tencent HY3 на Mac 128 ГБ!

HY3 295B-A21B MoE от Tencent конкурирует напрямую с передовыми моделями с открытым исходным кодом, но при этом значительно меньше по размеру, сравнима с DeepSeek v4 Flash, но превосходит ее по результатам тестов.
Не забудьте увеличить объем памяти графического процессора вашего Mac с 96 ГБ по умолчанию! Надо увеличить его до 122 ГБ. (объем сбрасывается при перезагрузке):
sudo sysctl iogpu.wired_limit_mb=124928

🔗 https://www.reddit.com/r/LocalLLaMA/comments/1usy9ie/tencenthy3_is_the_real_deal_on_128gb/ - тут все подробно со всеми командами!
Модель скачивать на 107Гб. https://huggingface.co/YanissAmz/Hy3-295B-A21B-GGUF
=====
⚡️ А еще HY3 запускали на 10Гб.: https://telegram.me/Ai2Local/849
#HY3 #MacOS #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1
This media is not supported in your browser
VIEW IN TELEGRAM
🎙 Cloudless Voice - Офлайн - альтернатива Wispr
100% локальная голосовая диктовка во всех приложениях.
Бесплатный доступ для первых 5000 зарегистрировавшихся!
Cloudless Voice — это умное решение.
Простая диктовка просто расшифровывает текст. Cloudless Voice подготавливает его к отправке. Наш специально разработанный локальный ИИ автоматически корректирует вашу расшифровку: удаляет лишние слова, форматирует и расставляет знаки препинания. И всё это без того, чтобы ваш голос покидал ваш Mac.
Полностью работает на устройстве.
Большинство голосовых приложений отправляют ваши аудиозаписи и текстовые расшифровки в облако (на удаленные серверы) для обработки. Cloudless Voice работает полностью локально, поэтому ваши голосовые данные никогда не покидают ваше устройство.
Бесплатно для индивидуального использования на Mac, Windows и iOS.

🔗 https://www.cloudless.so
(Приложение Onit Dictate было переименовано в Cloudless Voice и добавили Windows)
#CloudlessVoice #cloudless #MacOS #Windows #Диктовка #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
ℹ Модель: Nemotron-3-Embed 1B/8B

Nemotron-3-Embed-8B-BF16 — это универсальная модель встраивания текста, обученная компанией NVIDIA и оптимизированная для задач поиска и определения семантического сходства. Она обеспечивает широкие возможности многоязычного и межъязыкового поиска и предназначена для использования в качестве базового компонента в системах генерации с расширенным поиском (Retrieval-Augmented Generation, RAG). Эта модель была протестирована на 34 языках: английском, арабском, ассамском, бенгальском, болгарском, китайском, датском, голландском, финском, французском, немецком, хинди, хинглише, индонезийском, итальянском, японском, корейском, малайском, маратхи, непальском, норвежском, персидском, португальском, румынском, русском, испанском, суахили, шведском, тамильском, телугу, тайском, украинском, урду, вьетнамском.

Модель генерирует плотные векторные эмбеддинги на основе многоязычных текстовых данных, что позволяет осуществлять поиск, семантический поиск и (агентные) рабочие процессы RAG. Являясь ключевым компонентом систем текстового поиска, модель эмбеддинга преобразует текст, например вопросы или отрывки, в плотные векторные представления. Такие модели обычно представляют собой кодировщики-трансформеры, которые обрабатывают входные токены и создают эмбеддинги, подходящие для эффективного сопоставления по сходству.

Nemotron-3-Embed-8B-BF16 демонстрирует самые высокие показатели в многоязычной таблице лидеров RTEB по состоянию на XX июля 2026 года.
Эта модель готова к коммерческому использованию.

🔗 https://huggingface.co/nvidia/Nemotron-3-Embed-8B-BF16
🔗 https://huggingface.co/nvidia/Nemotron-3-Embed-1B-BF16
(Обсуждение)
#Nemotron3 #Nemotron3Embed #Embed #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
ℹ Модель: Bonsai 27B для смартфона и ПК!

🔥 Вышла самая мощная в истории локальная LLM, которая запускается прямо на смартфоне — Bonsai 27B имеет 27 миллиардов (!) параметров и весит меньше 4 ГБ.

→ В основе — сжатая с помощью квантизации Qwen3.6 27B.
→ Ternary-Bonsai 27B Q4_1 весит 1.95 GB, BF16 = 7.29 GB (Скачать)
→ 1-битная версия на 3,8 ГБ работает со скоростью 11 токенов/с на iPhone 17 Pro. Q1_0 = 3.8 GB, Q4_1 = 1.79 GB, BF16 = 7.29 GB (скачать)
→ Версия на 5,9 ГБ сохраняет 95% качества оригинальной Qwen3.6 27B.
(Ternary-Bonsai-27B — это ternary (1.58–1.71 бита на вес) версия, а Bonsai-27B — 1-bit (binary, ~1.125 бита на вес) версия одной и той же базовой модели (Qwen3.6-27B)
- Ternary лучше сохраняет интеллект (особенно reasoning, math, coding, agentic behavior). Она заметно превосходит обычные 2-битные квантизации (типа IQ2_XXS), которые сильно деградируют.
- 1-bit — самая агрессивная компрессия, подходит для устройств с очень жёсткими ограничениями памяти (например, iPhone 17 Pro Max).

Модель поддерживает всё — мультимодальность, ризонинг, кодинг, вызов тулз и агентные сценарии. Это не просто локальный чат с нейронкой, а фундамент для локальных ИИ-агентов.
🔗 Все версии: https://huggingface.co/collections/prism-ml/bonsai-27b
Демо: https://github.com/PrismML-Eng/Bonsai-demo
(Как запустить Prism Bonsai 27B)

🌳 Bonsai 27B WebGPU https://huggingface.co/spaces/webml-community/bonsai-webgpu-kernels - запуск прямо в браузере!
🌐 Run a 1-bit 27B LLM locally in your browser on WebGPU (Обсуждение)

📱 Ternary-Bonsai 8B и 27B уже есть в Locally AI на iOS

(Обсуждение 1) (Обсуждение 2)
#Bonsai #Bonsai27B #Qwen36 #WebGPU #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3🤯1
This media is not supported in your browser
VIEW IN TELEGRAM
🔈 audio.cpp
✔️ В версии 0.3 добавлены 5 новых моделей: Supertonic 3, MOSS-TTS-Local, MOSS-TTS-Nano, IndexTTS2 и Irodori-TTS.

Поддерживает синтез речи, преобразование текста в речь, генерацию аудио, преобразование голоса, создание музыки и многое другое с высокой степенью оптимизации производительности. Не зависит от Python.
10 часов аудио, сгенерированного за 3 минуты на RTX 5090 (демо включено)! Выпущены Supertonic 3, MOSS-TTS, IndexTTS2 и Irodori-TTS на основе C++/GGML
🔗 https://github.com/0xShug0/audio.cpp
(Обсуждение)

✔️ Выпуск 0.6: dots.tts, MiniMax-H3 text2audio (до 3 раз быстрее реального времени), MiniMax-Music3 (превью) и другие новые аудиомодели. В комплекте более 5 демонстрационных версий.
(Обсуждение и Подробнее)

Про ✔ Версия 0.7 https://t.me/Ai2Local/1078
#audiocpp #audio #AiAudio #Supertonic #TTS #MOSSTTS #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
✨ Google обновляет шаблоны чата Gemma 4, внося существенные исправления в вызов инструментов и уменьшая «ленивость», а также внедряет Flash Attention 4 на графических процессорах Hopper и интерактивное руководство по работе с системой и улучшению ее возможностей!
Пост: https://x.com/googlegemma/status/2077449152062247219
🔗 https://huggingface.co/spaces/google/gemma4_vision_token_budget
(Обсуждение)
🔧 Google обновила Gemma 4 после фидбека сообщества

Веса и версия остались прежними, но набралась пачка исправлений для ежедневной работы.

Скорость: на GPU NVIDIA Hopper включили Flash Attention 4. Обработка промпта ускоряется на 25–70%, время до первого токена сократилось на 31%. Починили чат-шаблон и вызов инструментов — модель больше не вызывает их неточно. Отдельно поджали «лень»: теперь реже обрывает ответ на полуслове.

🖼 По зрению появился понятный рычаг: по умолчанию картинка сжимается до 280 визуальных токенов ради экономии. Для задач с деталями вроде OCR параметр max_soft_tokens поднимается до 1120 — это разрешение 2,51 Мп. Как бюджет токенов влияет на распознавание, можно проверить в интерактивном демо.

Обновлённые модели уже на Hugging Face.

🔗 https://huggingface.co/collections/google/gemma-4
#Gemma4 #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
ℹ Модель: T-Search для корпоративного многошагового поиска на базе Qwen3.6-35B-A3B

«Т-Технологии» выложили в открытый доступ ИИ-модель T-Search для многошагового поиска в корпоративных документах. Модель последовательно собирает релевантный контекст из внутренних баз знаний, что, по данным компании, снижает риск галлюцинаций и повышает качество работы корпоративных ИИ-агентов.
Первая русскоязычная модель для Agentic RAG, которая позволяет ИИ-агентам самостоятельно выполнять многошаговый поиск информации в корпоративных документах.
В отличие от традиционных RAG-систем (Retrieval-Augmented Generation — технологии, при которой ИИ ищет информацию в документах и использует ее для подготовки ответа), T-Search сосредоточен не на генерации ответа, а на многошаговом поиске и сборе релевантного контекста из внутренних баз знаний, говорится в релизе. Затем этот контекст может использовать любая языковая модель.
Решение рассчитано на компании, которым приходится обрабатывать большое количество запросов ко внутренним данным и при этом соблюдать строгие требования к безопасности и затратам, указано в релизе.
По оценке разработчиков, использование T-Search в агентских ИИ-системах позволяет сократить затраты на инференс — то есть выполнение запросов языковыми моделями — на 20–50% в зависимости от сценария.
T-Search построена на базе Qwen3.6-35B-A3B и работает как специализированный агент-ретривер (ИИ для поиска и отбора релевантной информации). Благодаря архитектуре с 35 млрд параметров, из которых одновременно используются только 3 млрд, модель можно запускать на одном графическом процессоре Nvidia H100. По данным разработчиков, это позволяет обрабатывать запросы до трех раз быстрее и снижать затраты на их обработку до пяти раз по сравнению с открытыми моделями сопоставимого качества. Кроме того, архитектура поддерживает параллельную работу нескольких поисковых агентов, что повышает качество поиска до 15%.

🔗 https://huggingface.co/t-tech/T-Search
🔗 Все версии: https://huggingface.co/collections/t-tech/t-search
(Статья) (Еще подробности)
#TSearch #RAG #Qwen36 #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
📱 Модель Bonsai 27B появилась и в приложении Atomic Chat

Bonsai 27B работает локально на iPhone — модель 27B размером: 3,9 ГБ!
Версия Atomic Chat для iPhone/iPad: https://apps.apple.com/de/app/atomic-chat-private-local-ai/id6761720226?l=en-GB
Работает и с 8 ГБ ОЗУ!
Для Android https://play.google.com/store/apps/details?id=chat.atomic.app
(Обсуждение)
#atomicchat #atomic #Bonsai #Bonsai27B #Qwen36 #iPad #iPhone #App #AiModel #ModelAi #LocalAi #AiLocal
This media is not supported in your browser
VIEW IN TELEGRAM
✈️ Ghost - Премиальное рабочее пространство с ИИ в строке меню.
Ghost направляет запросы к локальным и размещенным моделям, выполняет поиск в вашей личной базе знаний, запускает локальные таймеры и проверенные действия на Mac — и все это из одной тихой встроенной панели, которая появляется, когда она вам нужна, и исчезает, когда не нужна.
Ghost — это нативное приложение с панелью меню SwiftUI для macOS, которое объединяет локальные модели, размещенные API, дополнительные клиентские интерфейсы агентов, функции извлечения документов, таймеры и проверенные действия для Mac в одном удобном интерфейсе.

Он работает как вспомогательное приложение — без значка в Dock и без полноэкранного режима. Он появляется по нажатию клавиши, выполняет свою работу и сворачивается. Ваш Mac остается вашим Mac.

Все возможности доступны по умолчанию. Вы подключаете каждую из них — буфер обмена, веб-интерфейс, файлы, автоматизацию, экран, командную строку — в шесть этапов. По умолчанию ничего не включено. Ничто не работает в фоновом режиме без вашего запроса.
Ghost подключается к Ollama (localhost:11434) и LM Studio (localhost:1234) как к первоклассным провайдерам наряду с Claude, Gemini, DeepSeek, OpenCode Go и OpenCode Zen. Вы сами выбираете, какая модель отвечает на тот или иной вопрос.

При первом запуске Ghost проверяет каждую локальную модель, чтобы выяснить, что она на самом деле может делать: поддерживает ли она вызов встроенного инструмента? Режим JSON? Насколько точны ее структурированные выходные данные? Основываясь на результатах, Ghost присваивает каждой модели соглашение о вызове — native_tool_calls, json_action_mode, harness_first или answer_only — таким образом, локальные модели, которые не могут выполнять вызовы функций, по-прежнему получают доступ к инструментам по структурированному пути JSON, а модели, которые производят ненадежные вызовы инструментов, корректно откатываются, вместо того чтобы беззвучно прерываться.

Конфиденциальность: Ключи API хранятся в связке ключей macOS. Локальные провайдеры не могут запускать агентский режим. Когда вы используете Ollama или LM Studio, данные не покидают ваш компьютер.

Цены: 2-дневная бесплатная пробная версия, пожизненная лицензия за 10 долларов. Используйте локальные модели бесплатно навсегда. Для хостинговых моделей нужны собственные ключи API.

🔗 https://integratedagentics.com/ghost
🔗 https://github.com/ryuhemingway/Ghost-App
(Обсуждение)
#Ghost #macOS #Ollama #LMStudio #SoftAi #AiSoft #AiAgent #AgentAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
🤖 Bionic Agent — ИИ-помощник для локальных моделей

LM Studio выпустила агента, который работает с документами, кодом и аудио прямо на твоём компьютере. Данные не улетают в облако — всё остаётся локально.

Что умеет: создаёт и редактирует документы, презентации, PDF; пишет код с автосохранением; расшифровывает речь в реальном времени. Запускается через LM Studio на движках MLX и llama.cpp. Можно подключить облачные модели вроде GLM или Kimi, если задача требует больше мощности.

Поддерживает Windows и macOS. Есть бесплатный тариф.
🔗 https://lmstudio.ai/pricing
#LMStudio #BionicAgent #MLX #llamacpp #Windows #MacOS #SoftAi #AiSoft #AiAgent #AgentAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM