Local Ai
443 subscribers
895 photos
250 videos
4 files
811 links
Все про Локальные ИИ на ПК и Смартфонах - программы и модели, которые можно запустить на 96Gb VRAM. (Как сайт: https://t.me/s/ai2local )
ИИ для Здоровья: @Ai2Health
Download Telegram
Модель: LFM2.5-8B-A1B
LFM2.5 — это новое семейство гибридных моделей, разработанных для использования на устройствах. Оно основано на архитектуре LFM2 с расширенным предварительным обучением и обучением с подкреплением.

Персональный помощник на устройстве: разработан для поддержки реальных приложений, цепочек вызовов инструментов и выполнения сложных инструкций на всех устройствах.

Высокая производительность при сжатии: не уступает гораздо более крупным моделям с высокой плотностью данных и моделями с механизмом обучения на основе примеров в выполнении инструкций и агентных задач.

Непревзойденная пропускная способность: самая быстрая в своем классе модель для логического вывода на процессоре и графическом процессоре, с поддержкой llama.cpp, MLX, vLLM и SGLang с первого дня.

🔗 https://huggingface.co/LiquidAI/LFM2.5-8B-A1B-GGUF
Блог: https://www.liquid.ai/blog/lfm2-5-8b-a1b
(Обсуждение) (И еще тут)
📖 Статья: Вышел локальный ИИ-агент для смартфонов: LFM2.5-8B-A1B обходит модели вчетверо больше
🔗 https://habr.com/ru/news/1041394/
#LFM25 #LFM258BA1B #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
🤖 GhostPen — бесплатный локальный помощник для текстов

Пишите быстрее с помощью автозаполнения на основе локального ИИ!
GhostPen дописывает мысли, меняет тон и перефразирует в нужном стиле. Подходит для заметок и писем.

Бот работает на локальных моделях Gemma и Qwen. Со временем адаптируется под вашу манеру письма.
(Бесплатно для Mac · Apple Silicon)
🔗 https://ghostpen.emanuele.click
#GhostPen #Gemma #Qwen #MacOS #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
PewDiePie выложил свой ИИ Odysseus в открытый доступ — это его личная замена Claude и ChatGPT.

Odysseus работает локально, умеет выполнять задачи за пользователя, искать инфу в сети, подключаться к почте, заметкам и другим приложениям.

Даже есть поддержка Deep Research!
➡️ https://github.com/pewdiepie-archdaemon/odysseus
Статья: https://habr.com/ru/companies/first/articles/1041970/
(Обсуждение) (И еще) (RCE, который запускается в один клик)
#Odysseus #AiAgent #AgentAi #AiLocal #LocalAi
Please open Telegram to view this post
VIEW IN TELEGRAM
💡 Open Models - Май 2026
Май - у нас появились модели Ring, Command, StepFun, LFM.
Скорос будет MiniMax-M3).
(Обсуждение)
#AiModel #ModelAi #LocalAi #AiLocal
Модель: Step 3.7 Flash

Step 3.7 Flash — это разреженная визуально-языковая модель Mixture-of-Experts (MoE) с 198 миллиардами параметров, которая сочетает в себе языковую основу с 196 миллиардами параметров и визуальный кодировщик с 1,8 миллиардами параметров для естественного понимания изображений. Модель разработана для высокочастотных производственных задач и активирует около 11 миллиардов параметров на токен, обеспечивая пропускную способность до 400 токенов в секунду. Step 3.7 Flash поддерживает контекстное окно размером 256К и предлагает три уровня логического вывода на выбор (низкий, средний и высокий), чтобы разработчики могли легко сбалансировать скорость, стоимость и глубину анализа.
Работает локально на 128 ГБ ОЗУ!
Step 3.7 Flash is available via our API platform (中文/EN), and you can chat with it on the Web (中文/EN) or in our App (iOS/Android).
Если у вас есть возможность установить Stepfun 3.7 Flash в оперативную память, попробуйте! По качеству изображения он близок к GLM 5.1, а по восприятию трехмерного мира — примерно на 80 % к нему.
Однако, учитывая, что его параметры составляют всего 25 % от параметров GLM 5.1 и у него есть встроенная система технического зрения, можно сказать, что на данный момент ему нет равных. (Пример генерации симулятора) и (Sonic-like platformer)

🔗 https://static.stepfun.com/blog/step-3.7-flash/
🔗 https://huggingface.co/stepfun-ai/Step-3.7-Flash
(Обсуждение)
#Step37Flash #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🖥️ Узнаем, какие ИИ-модели потянет ваш компьютер.

LLM Checker — бесплатная утилита, которая анализирует ваше железо (RAM, GPU, CPU) и подбирает из каталога в 200+ моделей подходящие под ваши задачи.
Результат ранжируется по качеству, скорости генерации, размеру и энергопотреблению!
#LLMChecker #AiLocal #LocalAi
Please open Telegram to view this post
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
🤖 Hermes Desktop от Nous Research
Агент Который растет Вместе с вами!
- Живёт повсюду
Telegram, Discord, Slack, WhatsApp, Signal, электронная почта, интерфейс командной строки — и это далеко не полный список платформ. Один агент, одна память!
- Постоянная память
Он изучает ваши проекты, автоматически генерирует навыки и никогда не забывает, как решил ту или иную проблему.
- Целенаправленная автоматизация
Планирование отчетов, резервного копирования и брифингов на основе естественного языка — выполняется автоматически через шлюз, что позволяет сосредоточиться на других задачах.
- Делегирование - Умножение задач
Изолированные субагенты с собственными диалогами, терминалами и скриптами Python RPC для конвейеров с нулевыми затратами на контекст.
- Поиск - Просмотр веб-страниц
Веб-поиск, автоматизация браузера, компьютерное зрение, генерация изображений, преобразование текста в речь и мультимодальные рассуждения.
- Изолированная песочница
Пять бэкендов — локальный, Docker, SSH, Singularity, Modal — с усилением защиты контейнеров и изоляцией пространств имен.

🔗 https://hermes-agent.nousresearch.com/desktop
Для: Mac OS, Windows, Linux (Тарифы)
(Обсуждение)
#HermesDesktop #MacOS #Windows #Linux #AiAgent #AgentAi #AiLocal #LocalAi
Please open Telegram to view this post
VIEW IN TELEGRAM
Модель: Holo3.1 35B/9B/4B/0.8B (Qwen 3.5 finetunes)
Holo3.1: быстрые агенты для локального использования на компьютере
Holo3.1
— это новейшее семейство визуально-языковых моделей (Vision-Language Models, VLM) для агентов, использующих компьютер. В отличие от Holo3, эта модель поддерживает не только автоматизацию браузеров и настольных компьютеров, но и мобильные устройства, а также нативную поддержку вызова функций для бесшовной интеграции с фреймворками агентов и локальное развертывание с помощью оптимизированных контрольных точек с квантованием.

Семейство Holo3.1 включает в себя модели с параметрами от 0,8B до 35B-A3B. Holo3.1 обеспечивает высокую производительность при использовании в компьютерах, пользовательских интерфейсах, мобильных устройствах и бизнес-процессах, повышая гибкость развертывания и экономическую эффективность.

Разработано: компанией H
Тип модели: Визуальные языковые модели для навигации и агентов по использованию компьютеров
Доступные модели: Holo3.1-0.8B, Holo3.1-4B, Holo3.1-9B, Holo3.1-35B-A3B
Базовые модели: семейство Qwen 3.5
Поддерживаемые среды: Веб, настольные, мобильные

Доступные варианты квантования для Holo3.1-35B-A3B: BF16, FP8, NVFP4, Q4 GGUF
Запись в блоге: hcompany.ai/holo3.1
Быстрый запуск: hub.hcompany.ai/quickstart
Лицензия: Лицензия Apache 2.0

🔗 https://huggingface.co/Hcompany/Holo-3.1-35B-A3B
🔗 https://huggingface.co/Hcompany/Holo-3.1-35B-A3B-GGUF
🔗 https://huggingface.co/Hcompany/Holo-3.1-9B
🔗 https://huggingface.co/Hcompany/Holo-3.1-4B
🔗 https://huggingface.co/Hcompany/Holo-3.1-0.8B
(Обсуждение)
#Holo31 #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
📝 ToolKitText чистит текст после копипаста

Бесплатный набор утилит для работы с текстом в браузере. Скопировал из PDF, Google Docs или ChatGPT — текст разъехался, переносы кривые, шрифты чужие. Закидываешь сюда, чистишь в один клик.

Что умеет:
• Считает слова, знаки, строки и время на чтение
• Fix PDF — восстанавливает абзацы после копипаста
• Strip AI Formatting — удаляет markdown-разметку и звёздочки после ChatGPT
• Убирает лишние переносы и склеивает текст
Полная очистка от скрытой разметки и чужих шрифтов

Работает локально в браузере — данные не уходят на сервер. Без регистрации, рекламы и трекеров.
🔗 https://toolkittext.com
#ToolKitText #AiText #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
🔍Интересный подход для Deep Research

Автор Dataroom не видит смысла давать эту работу дорогим моделям (в целях экономии токенов) и предлагает делить эту задачу на две фазы:

1/ Локальная модель ищет в вебе, переранжирует источники и складывает всё в структурированный .zip: папки topics/, sources/, data/, summary md и каждый факт с ссылкой на источник.

Это занимает столько времени, сколько ты задашь, ну например час.

2/ Дальше уже дорогой фронтир-агент Claude/Codex читает эти файлы и работает только по ним. Без веба.

Первый вопрос, который у меня возник — ну ладно, локальная модель (автор советует Qwen3.6-35B-A3B), но она же не стоит рядом с тем же фронтир моделями с которыми мы привыкли и как она вообще будет нормально ресёрчить?

Qwen не ресёрчит, eё работа оркестрация инструментов:
• Формулирует поисковые запросы
• Решает какие страницы читать дальше
• Понимает когда тему можно закрывать
• Записывает выжимки в markdown
• Через function calling вызывает инструменты, а не пытается их заменить

А всю работу по поиску в вебе делает Jina CLI, не LLM. Он умеет искать, вытаскивать чистый текст со страниц, ранжировать источники по релевантности и выкидывать повторы, даже если они переписаны другими словами.

Плюс цитирование зашито в сам пайплайн: каждый факт записывается с URL на первоисточник.

Eщё бонус локалки в том, что нет лимита сессий. API Claude обрывает сессию по времени и считает токены.

Qwen на твоём железе только тратит электричество и может крутиться час, два, три. Поэтому ресёрч получается долгим, но именно поэтому и тщательным.

Так что хорошая модель ≠ качественный ресёрч. Качество приходит от пайплайна, а не от мощности модели.

Есть еще Skill для агентов, чтобы они сами запускали Dataroom как API: послал запрос, подождал, скачал zip.
Веб-версия | GitHub (Источник)
#DeepResearch #Dataroom #AiAgent #AgentAi #AiLocal #LocalAi
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Модель: Gemma 4 12B

Gemma — это семейство открытых моделей, разработанных компанией Google DeepMind. Модели Gemma 4 являются мультимодальными и обрабатывают текстовые и графические данные (со звуком на E2B, E4B и 12B), а также генерируют текстовые данные. В этом релизе представлены модели с открытыми весами как в предварительно обученном, так и в оптимизированном по инструкции вариантах. Gemma 4 имеет контекстное окно до 256 000 токенов и поддерживает более 140 языков.

Модель Gemma 4, основанная на архитектурах Dense и Mixture-of-Experts (MoE), хорошо подходит для таких задач, как генерация текста, кодирование и логическое мышление. Модели доступны в пяти различных размерах: E2B, E4B, 12B, 26B A4B и 31B. Благодаря разным размерам их можно использовать в самых разных устройствах — от дорогих телефонов до ноутбуков и серверов, что делает доступ к современному искусственному интеллекту более доступным.

В Gemma 4 представлены ключевые возможности и архитектурные усовершенствования:

- Reasoning — все модели этой линейки обладают широкими возможностями логического мышления и настраиваемыми режимами работы.

- Расширенные мультимодальные возможности — обработка текста, изображений с переменным соотношением сторон и разрешением (все модели), видео и аудио (встроены в модели E2B, E4B и 12B).

- Разнообразные и эффективные архитектуры — предлагает варианты Dense и Mixture-of-Experts (MoE) разных размеров для масштабируемого развертывания.

- Оптимизировано для использования на устройствах — модели меньшего размера специально разработаны для эффективного локального выполнения на ноутбуках и мобильных устройствах.

- Увеличенное контекстное окно — модели меньшего размера имеют контекстное окно размером 128 КБ, а модели среднего размера — 256 КБ.

- Улучшенное кодирование и агентные возможности — заметные улучшения в тестах на кодирование, а также встроенная поддержка вызова функций, что позволяет создавать автономных агентов с широкими возможностями.

- Встроенная поддержка системных подсказок — в Gemma 4 появилась встроенная поддержка роли system , что позволяет вести более структурированные и контролируемые диалоги.

Принимает на вход текст, аудио и изображения с видео. Длина видео ограничена 30 секундами, а аудио 60 секундами. Модель ризонер, с 256к контекста и лицензией Apache 2.0.

Самое интересное в релизе — то как в нём устроена мультимодальность. Обычно моделям для мультимодальности нужен отдельный энкодер, здесь же они обходятся простыми линейными проекциями, что требует меньше параметров и вычислений.
Блог: https://developers.googleblog.com/gemma-4-12b-the-developer-guide/

🔗 Веса: https://huggingface.co/google/gemma-4-12B
🔗 https://huggingface.co/google/gemma-4-12B-it-assistant - с MTP!
🔗 https://huggingface.co/ggml-org/gemma-4-12b-it-GGUF
🔗 https://huggingface.co/unsloth/gemma-4-12b-it-GGUF
(Обсуждение) (Еще тут)
🎞 Gemma 4 12B Demo: Native Audio Processing in Google AI Edge Eloquent
📊 gemma-4-12b-it vs Qwen3.5-9B
🤖 Gemma 4 12b 8Q Heretic Oneshot Coding
✔️ Первый тест агента Gemma 4 12B на кодирование
Статья: Gemma 4 12B
#Gemma4 #Gemma412B #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
✔️ В atomic.chat (Подробно: https://t.me/Ai2Local/482 ) есть много Coding Agents:
Claude Code, Codex CLI, OpenCode, Copilot CLI, Droid и есть Assistants: Hermes Agent и OpenClaw!
И кроме поддержки Google TurboQuant, есть и поддержка: MTP (Multi-Token Prediction)! Отличный аналог #Jan
#atomicchat #atomic #GoogleTurboQuant #TurboQuant #MacOS #SoftAi #AiSoft #AiAgent #AgentAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM