Local Ai
443 subscribers
895 photos
250 videos
4 files
811 links
Все про Локальные ИИ на ПК и Смартфонах - программы и модели, которые можно запустить на 96Gb VRAM. (Как сайт: https://t.me/s/ai2local )
ИИ для Здоровья: @Ai2Health
Download Telegram
🖥️ Узнаем, какие ИИ-модели потянет ваш компьютер.

LLM Checker — бесплатная утилита, которая анализирует ваше железо (RAM, GPU, CPU) и подбирает из каталога в 200+ моделей подходящие под ваши задачи.
Результат ранжируется по качеству, скорости генерации, размеру и энергопотреблению!
#LLMChecker #AiLocal #LocalAi
Please open Telegram to view this post
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
🤖 Hermes Desktop от Nous Research
Агент Который растет Вместе с вами!
- Живёт повсюду
Telegram, Discord, Slack, WhatsApp, Signal, электронная почта, интерфейс командной строки — и это далеко не полный список платформ. Один агент, одна память!
- Постоянная память
Он изучает ваши проекты, автоматически генерирует навыки и никогда не забывает, как решил ту или иную проблему.
- Целенаправленная автоматизация
Планирование отчетов, резервного копирования и брифингов на основе естественного языка — выполняется автоматически через шлюз, что позволяет сосредоточиться на других задачах.
- Делегирование - Умножение задач
Изолированные субагенты с собственными диалогами, терминалами и скриптами Python RPC для конвейеров с нулевыми затратами на контекст.
- Поиск - Просмотр веб-страниц
Веб-поиск, автоматизация браузера, компьютерное зрение, генерация изображений, преобразование текста в речь и мультимодальные рассуждения.
- Изолированная песочница
Пять бэкендов — локальный, Docker, SSH, Singularity, Modal — с усилением защиты контейнеров и изоляцией пространств имен.

🔗 https://hermes-agent.nousresearch.com/desktop
Для: Mac OS, Windows, Linux (Тарифы)
(Обсуждение)
#HermesDesktop #MacOS #Windows #Linux #AiAgent #AgentAi #AiLocal #LocalAi
Please open Telegram to view this post
VIEW IN TELEGRAM
Модель: Holo3.1 35B/9B/4B/0.8B (Qwen 3.5 finetunes)
Holo3.1: быстрые агенты для локального использования на компьютере
Holo3.1
— это новейшее семейство визуально-языковых моделей (Vision-Language Models, VLM) для агентов, использующих компьютер. В отличие от Holo3, эта модель поддерживает не только автоматизацию браузеров и настольных компьютеров, но и мобильные устройства, а также нативную поддержку вызова функций для бесшовной интеграции с фреймворками агентов и локальное развертывание с помощью оптимизированных контрольных точек с квантованием.

Семейство Holo3.1 включает в себя модели с параметрами от 0,8B до 35B-A3B. Holo3.1 обеспечивает высокую производительность при использовании в компьютерах, пользовательских интерфейсах, мобильных устройствах и бизнес-процессах, повышая гибкость развертывания и экономическую эффективность.

Разработано: компанией H
Тип модели: Визуальные языковые модели для навигации и агентов по использованию компьютеров
Доступные модели: Holo3.1-0.8B, Holo3.1-4B, Holo3.1-9B, Holo3.1-35B-A3B
Базовые модели: семейство Qwen 3.5
Поддерживаемые среды: Веб, настольные, мобильные

Доступные варианты квантования для Holo3.1-35B-A3B: BF16, FP8, NVFP4, Q4 GGUF
Запись в блоге: hcompany.ai/holo3.1
Быстрый запуск: hub.hcompany.ai/quickstart
Лицензия: Лицензия Apache 2.0

🔗 https://huggingface.co/Hcompany/Holo-3.1-35B-A3B
🔗 https://huggingface.co/Hcompany/Holo-3.1-35B-A3B-GGUF
🔗 https://huggingface.co/Hcompany/Holo-3.1-9B
🔗 https://huggingface.co/Hcompany/Holo-3.1-4B
🔗 https://huggingface.co/Hcompany/Holo-3.1-0.8B
(Обсуждение)
#Holo31 #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
📝 ToolKitText чистит текст после копипаста

Бесплатный набор утилит для работы с текстом в браузере. Скопировал из PDF, Google Docs или ChatGPT — текст разъехался, переносы кривые, шрифты чужие. Закидываешь сюда, чистишь в один клик.

Что умеет:
• Считает слова, знаки, строки и время на чтение
• Fix PDF — восстанавливает абзацы после копипаста
• Strip AI Formatting — удаляет markdown-разметку и звёздочки после ChatGPT
• Убирает лишние переносы и склеивает текст
Полная очистка от скрытой разметки и чужих шрифтов

Работает локально в браузере — данные не уходят на сервер. Без регистрации, рекламы и трекеров.
🔗 https://toolkittext.com
#ToolKitText #AiText #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
🔍Интересный подход для Deep Research

Автор Dataroom не видит смысла давать эту работу дорогим моделям (в целях экономии токенов) и предлагает делить эту задачу на две фазы:

1/ Локальная модель ищет в вебе, переранжирует источники и складывает всё в структурированный .zip: папки topics/, sources/, data/, summary md и каждый факт с ссылкой на источник.

Это занимает столько времени, сколько ты задашь, ну например час.

2/ Дальше уже дорогой фронтир-агент Claude/Codex читает эти файлы и работает только по ним. Без веба.

Первый вопрос, который у меня возник — ну ладно, локальная модель (автор советует Qwen3.6-35B-A3B), но она же не стоит рядом с тем же фронтир моделями с которыми мы привыкли и как она вообще будет нормально ресёрчить?

Qwen не ресёрчит, eё работа оркестрация инструментов:
• Формулирует поисковые запросы
• Решает какие страницы читать дальше
• Понимает когда тему можно закрывать
• Записывает выжимки в markdown
• Через function calling вызывает инструменты, а не пытается их заменить

А всю работу по поиску в вебе делает Jina CLI, не LLM. Он умеет искать, вытаскивать чистый текст со страниц, ранжировать источники по релевантности и выкидывать повторы, даже если они переписаны другими словами.

Плюс цитирование зашито в сам пайплайн: каждый факт записывается с URL на первоисточник.

Eщё бонус локалки в том, что нет лимита сессий. API Claude обрывает сессию по времени и считает токены.

Qwen на твоём железе только тратит электричество и может крутиться час, два, три. Поэтому ресёрч получается долгим, но именно поэтому и тщательным.

Так что хорошая модель ≠ качественный ресёрч. Качество приходит от пайплайна, а не от мощности модели.

Есть еще Skill для агентов, чтобы они сами запускали Dataroom как API: послал запрос, подождал, скачал zip.
Веб-версия | GitHub (Источник)
#DeepResearch #Dataroom #AiAgent #AgentAi #AiLocal #LocalAi
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Модель: Gemma 4 12B

Gemma — это семейство открытых моделей, разработанных компанией Google DeepMind. Модели Gemma 4 являются мультимодальными и обрабатывают текстовые и графические данные (со звуком на E2B, E4B и 12B), а также генерируют текстовые данные. В этом релизе представлены модели с открытыми весами как в предварительно обученном, так и в оптимизированном по инструкции вариантах. Gemma 4 имеет контекстное окно до 256 000 токенов и поддерживает более 140 языков.

Модель Gemma 4, основанная на архитектурах Dense и Mixture-of-Experts (MoE), хорошо подходит для таких задач, как генерация текста, кодирование и логическое мышление. Модели доступны в пяти различных размерах: E2B, E4B, 12B, 26B A4B и 31B. Благодаря разным размерам их можно использовать в самых разных устройствах — от дорогих телефонов до ноутбуков и серверов, что делает доступ к современному искусственному интеллекту более доступным.

В Gemma 4 представлены ключевые возможности и архитектурные усовершенствования:

- Reasoning — все модели этой линейки обладают широкими возможностями логического мышления и настраиваемыми режимами работы.

- Расширенные мультимодальные возможности — обработка текста, изображений с переменным соотношением сторон и разрешением (все модели), видео и аудио (встроены в модели E2B, E4B и 12B).

- Разнообразные и эффективные архитектуры — предлагает варианты Dense и Mixture-of-Experts (MoE) разных размеров для масштабируемого развертывания.

- Оптимизировано для использования на устройствах — модели меньшего размера специально разработаны для эффективного локального выполнения на ноутбуках и мобильных устройствах.

- Увеличенное контекстное окно — модели меньшего размера имеют контекстное окно размером 128 КБ, а модели среднего размера — 256 КБ.

- Улучшенное кодирование и агентные возможности — заметные улучшения в тестах на кодирование, а также встроенная поддержка вызова функций, что позволяет создавать автономных агентов с широкими возможностями.

- Встроенная поддержка системных подсказок — в Gemma 4 появилась встроенная поддержка роли system , что позволяет вести более структурированные и контролируемые диалоги.

Принимает на вход текст, аудио и изображения с видео. Длина видео ограничена 30 секундами, а аудио 60 секундами. Модель ризонер, с 256к контекста и лицензией Apache 2.0.

Самое интересное в релизе — то как в нём устроена мультимодальность. Обычно моделям для мультимодальности нужен отдельный энкодер, здесь же они обходятся простыми линейными проекциями, что требует меньше параметров и вычислений.
Блог: https://developers.googleblog.com/gemma-4-12b-the-developer-guide/

🔗 Веса: https://huggingface.co/google/gemma-4-12B
🔗 https://huggingface.co/google/gemma-4-12B-it-assistant - с MTP!
🔗 https://huggingface.co/ggml-org/gemma-4-12b-it-GGUF
🔗 https://huggingface.co/unsloth/gemma-4-12b-it-GGUF
(Обсуждение) (Еще тут)
🎞 Gemma 4 12B Demo: Native Audio Processing in Google AI Edge Eloquent
📊 gemma-4-12b-it vs Qwen3.5-9B
🤖 Gemma 4 12b 8Q Heretic Oneshot Coding
✔️ Первый тест агента Gemma 4 12B на кодирование
Статья: Gemma 4 12B
#Gemma4 #Gemma412B #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
✔️ В atomic.chat (Подробно: https://t.me/Ai2Local/482 ) есть много Coding Agents:
Claude Code, Codex CLI, OpenCode, Copilot CLI, Droid и есть Assistants: Hermes Agent и OpenClaw!
И кроме поддержки Google TurboQuant, есть и поддержка: MTP (Multi-Token Prediction)! Отличный аналог #Jan
#atomicchat #atomic #GoogleTurboQuant #TurboQuant #MacOS #SoftAi #AiSoft #AiAgent #AgentAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Модель: Higgs Audio v3 TTS
Система преобразования текста в речь Higgs Audio v3 предназначена для голосового чата: она не просто читает, а говорит. Она преобразует ответы модели в выразительную разговорную речь на более чем 100 языках, с клонированием голоса без обучения и встроенным контролем эмоций, стиля, просодии, пауз и звуковых эффектов.
🎞 Подробно: https://www.boson.ai/blog/higgs-audio-v3-tts
🔗 https://huggingface.co/bosonai/higgs-audio-v3-tts-4b
(Обсуждение)
#HiggsAudio #HiggsAudiov3TTS #TTS #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Модель: Magenta RealTime 2

🎵 Google выпустил опенсорсную модель для генерации музыки в реальном времени

Magenta RealTime 2 работает локально на устройстве и генерирует музыку непрерывно, без остановок.

Модель реагирует на команды с задержкой около 200 мс. Управлять можно через текст, аудио или MIDI — выбирай удобный формат и экспериментируй с созданием треков прямо на лету.
🎵 Google выпустил бесплатную модель для создания музыки в реальном времени

Magenta RealTime 2 превращает MacBook в полноценный музыкальный инструмент. Модель поддерживает десятки жанров и умеет имитировать разные звуки — управлять можно через текстовые команды, жесты или виртуальное пианино.

Порог входа низкий: даже новичок соберёт мелодию из одной ноты. Запускается на MacBook Air без танцев с бубном.

🔗 https://magenta.withgoogle.com/mrt2
🔗 https://github.com/magenta/magenta-realtime
🔗 https://huggingface.co/google/magenta-realtime-2
#MagentaRealTime #MagentaRealTime2 #AiMusic #MusicAi #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
🖥 AI Edge Gallery и AI Edge Eloquent для MacOS

Google запустила утилиту AI Edge Gallery для macOS, которая позволяет владельцам Mac запускать ИИ-модели непосредственно на устройстве без подключения к интернету. Такое решение повышает конфиденциальность данных, снижает зависимость от облачных сервисов и позволяет работать с нейросетями даже офлайн.

В отличие от популярных решений вроде Ollama или LM Studio, платформа Google пока поддерживает только собственные модели компании. Пользователям доступны Gemma-4-12B-it, Gemma-4-E2B-it, Gemma-4-E4B-it, Gemma-3n-E2B-it и Gemma-3n-E4B-it. Самой интересной пока считается Gemma 4 12B — мультимодальная модель с 12 млрд параметров, способная работать с текстом, изображениями и аудио.

По заявлению Google, производительность локальной модели Gemma 4 12B сопоставима с более крупными моделями класса 26B, но при этом способна запускаться на ноутбуках с 16 ГБ оперативной памяти.

🎙 Вместе с этим компания представила приложение Google AI Edge Eloquent для macOS. Это инструмент для локальной диктовки, который преобразует речь в текст прямо на устройстве без отправки данных в облако. Утилита умеет автоматически улучшать формулировки, исправлять оговорки и адаптировать текст под выбранный стиль письма. Также можно добавлять собственные слова, имена и профессиональные термины для повышения точности распознавания.
⬇️ Скачать:
- AI Edge Eloquent - #iOS и #MacOS
- AI Edge Gallery - #Android и #iOS и #MacOS
#Google #AIEdgeEloquent #AIEdgeGallery #Диктовка #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔍 Vane — это система ответов на основе ИИ. (локальный Perplexity)

Vane: «спросил — получил ответ с источниками», только крутится у вас на машине и не просит $20/мес. Лицензия MIT, код на GitHub.
Она объединяет знания из огромного интернета с поддержкой локальных больших языковых моделей (Ollama) и облачных сервисов (OpenAI, Claude, Groq), предоставляя точные ответы с указанием источников и сохраняя полную конфиденциальность ваших запросов.

Особенности:
• веб-поиск с ссылками на источники
• ответы по PDF и своим файлам
• поиск по статьям и обсуждениям
• режимы Speed / Balanced / Quality — от «по-быстрому» до «копаем глубоко»

Модели подключаются как захотите: локальная Ollama или облачные OpenAI, Claude, Gemini, Groq. Хочешь — всё локально, и тогда ни байта не улетает в облако.

Подробнее:
🤖 Поддержка всех основных поставщиков ИИ — используйте локальные языковые модели через Ollama или подключайтесь к OpenAI, Anthropic Claude, Google Gemini, Groq и другим. Комбинируйте модели в зависимости от своих потребностей.

⚡️ Режимы интеллектуального поиска — выбирайте скоростной режим, когда вам нужны быстрые ответы, сбалансированный режим для повседневных поисков или качественный режим для углубленного изучения темы.

🧭 Выбирайте источники — ищите информацию в интернете, обсуждениях или научных статьях. Мы работаем над добавлением новых источников и интеграций.

🧩 Виджеты — полезные карточки с информацией, которые появляются в нужный момент, например о погоде, расчетах, ценах на акции и других быстрых результатах поиска.

🔍 Веб-поиск на базе SearxNG — доступ к нескольким поисковым системам с сохранением конфиденциальности. Скоро появится поддержка Tavily и Exa для еще более точных результатов.

📷 Поиск по изображениям и видео — находите визуальный контент вместе с текстовыми результатами. Поиск больше не ограничивается только статьями.

📄 Загрузка файлов — загружайте документы и задавайте вопросы о них. PDF-файлы, текстовые файлы, изображения — Vane понимает все.

🌐 Поиск по определенным доменам — ограничьте поиск конкретными сайтами, если знаете, где искать. Идеально подходит для поиска технической документации или научных статей.

💡 Умные подсказки — получайте интеллектуальные подсказки по мере ввода, которые помогут вам сформулировать более точный запрос.

📚 Интересное — просматривайте интересные статьи и актуальные материалы в течение дня. Будьте в курсе событий, даже не выполняя поиск.

🕒 История поиска — все поисковые запросы сохраняются локально, так что вы можете в любой момент вернуться к своим находкам. Ваши исследования никогда не пропадут.

Скоро появятся новые функции — мы активно разрабатываем новые функции на основе отзывов сообщества. Присоединяйтесь к нашему Discord, чтобы помочь сформировать будущее Vane!

Короче, приватный поиск, свои модели и свои документы — всё под контролем. Идеально для тех, кто не любит делиться запросами с чужим сервером.

🔗 https://github.com/ItzCrazyKns/Vane
#Vane #Perplexity #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Модель: Gemma 4 QAT
🗜 Google выпустил Gemma 4 QAT — квантованные чекпоинты с минимальной потерей качества!
Вышли новые сжатые версии Gemma 4. Отличие QAT (Quantization-Aware Training) в том, что модель квантуют не после обучения, а в процессе — она меньше весит и почти не проседает по качеству.

Gemma 4 E2B в текстовом режиме занимает меньше 1 ГБ. Модель легче для мобильных чипов, экономит память в длинных диалогах и поддерживает ускоренный вывод через MTP.

Веса доступны на Hugging Face: есть GGUF для llama.cpp, тензоры для vLLM и исходники для конвертации. Работает в Ollama, LM Studio, Transformers.js и MLX.

🔗 Блог: https://blog.google/innovation-and-ai/technology/developers-tools/quantization-aware-training-gemma-4/
🔗 https://huggingface.co/collections/google/gemma-4-qat-q4-0
🔗 https://huggingface.co/collections/google/gemma-4-qat-mobile

Official Google Gemma 4 QAT GGUFs:
E2B https://huggingface.co/google/gemma-4-E2B-it-qat-q4_0-gguf
E4B https://huggingface.co/google/gemma-4-E4B-it-qat-q4_0-gguf
12B https://huggingface.co/google/gemma-4-12B-it-qat-q4_0-gguf
26B-A4B https://huggingface.co/google/gemma-4-26B-A4B-it-qat-q4_0-gguf
31B https://huggingface.co/google/gemma-4-31B-it-qat-q4_0-gguf

⬇️ Gemma 4 QAT GGUFs от Unsloth https://huggingface.co/collections/unsloth/gemma-4-qat
И их путеводитель — всегда очень интересное чтиво: https://unsloth.ai/docs/models/gemma-4/qat
Unsloth's анализ (KLD и т.п.): https://unsloth.ai/docs/models/gemma-4/qat#qat-analysis
(Обсуждение) (И еще)
- QATs Q4_0 от Google точнее, чем Q4_K_XL от Unsloth
======
⚡️ Ну и Gemma 4 12B от Huihui — без цензуры!
🔗 https://huggingface.co/huihui-ai/Huihui-gemma-4-12B-it-abliterated

#Gemma4 #Gemma4QAT #QAT #Huihui #Abliterated #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Модель: Meddies PII: открытая многоязычная модель деидентификации клинических текстов
Клинической модели искусственного интеллекта не нужно знать, кто является пациентом, чтобы принимать клинические решения.

Для этого нужны симптомы, названия лекарств, результаты анализов, история болезни и курс лечения.

Проблема в том, что в реальных медицинских картах эти факты обычно указываются рядом с идентификаторами: именами, регистрационными номерами, страховыми номерами, адресами, номерами телефонов, датами поступления, названиями отделений.

Таким образом, клиническая деидентификация имеет двойную цель:
- Не допускайте утечки идентификаторов пациентов.
- Не уничтожайте клинические факты, которые еще можно использовать.
Эту вторую часть легко недооценить.

Если в модели отсутствует дата рождения, это нарушает конфиденциальность. Если она удаляет «креатинин 86 мкмоль/л» или «метформин 500 мг», то дальнейшая клиническая информация теряет смысл. И то, и другое — ошибки, но с разными последствиями.

Для решения этой проблемы создали Meddies PII. Это открытая исследовательская модель и набор данных для многоязычной клинической деидентификации. Набор данных является синтетическим и создан с использованием динамических подсказок, учитывающих различные языки, типы документов, их названия, длину заметок, формат текста, пограничные случаи и семейства идентификаторов в разных поколениях.

Цель — не в том, чтобы создать один красивый шаблон. Цель — обеспечить стабильное извлечение данных из самых разных источников, в которых они на самом деле представлены в больницах: торопливых заметок, медицинских карт, файлов в формате JSON/XML, многоязычных текстов, административных записей и подсказок в стиле чата.

Meddies PII не является полноценным продуктом для деидентификации. Больницам по-прежнему нужны регламенты, журналы аудита, локальная проверка, возможность обращения к сотрудникам и контроль развертывания.

Пост: https://meddies.ai/research/meddies-pii
Демо: https://huggingface.co/spaces/Meddies/meddies-pii-extractor
Модель: https://huggingface.co/Meddies/meddies-pii
Dataset: https://huggingface.co/datasets/Meddies/meddies-pii
(Обсуждение)
(Еще были: Shield 82M и GLiNER-PII)
#MeddiesPII #PII #ПерсональныеДанные #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
1
Модель: Gemma 4 QAT с MTP от Unsloth

Обе модели доступны в виде q8_0 с именем mtp-gemma-4-*.gguf в корневом каталоге, а также в виде q8_0 и более крупных квантов в папке MTP .
🔗 https://huggingface.co/unsloth/gemma-4-12B-it-qat-GGUF/tree/main
🔗 https://huggingface.co/unsloth/gemma-4-26B-A4B-it-qat-GGUF/tree/main
🔗 https://huggingface.co/unsloth/gemma-4-31B-it-qat-GGUF/tree/main
🔗 https://huggingface.co/unsloth/gemma-4-E2B-it-qat-GGUF/tree/main
🔗 https://huggingface.co/unsloth/gemma-4-E2B-it-qat-mobile-GGUF/tree/main
🔗 https://huggingface.co/unsloth/gemma-4-E4B-it-qat-GGUF/tree/main
🔗 https://huggingface.co/unsloth/gemma-4-E4B-it-qat-mobile-GGUF/tree/main
(Обсуждение)
Уже пишут про: 120 ток./сек на 12 ГБ видеопамяти с Gemma 4 12B QAT MTP
#Gemma4 #Gemma4QAT #QAT #MTP #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
📖 Статья: Google выпустила DiffusionGemma — открытую языковую модель, которая генерирует текст как картинку
https://habr.com/ru/news/1046273/
Блог: DiffusionGemma: генерация текста в 4 раза быстрее! https://blog.google/innovation-and-ai/technology/developers-tools/diffusion-gemma-faster-text-generation/
Веса: https://huggingface.co/google/diffusiongemma-26B-A4B-it
(Обсуждение) (И еще)
#DiffusionGemma #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM