Local Ai
443 subscribers
895 photos
250 videos
4 files
811 links
Все про Локальные ИИ на ПК и Смартфонах - программы и модели, которые можно запустить на 96Gb VRAM. (Как сайт: https://t.me/s/ai2local )
ИИ для Здоровья: @Ai2Health
Download Telegram
⬇️ GPU Poor LLM Arena - Рейтинг "маленьких" моделей

Если у вас нет топового ПК, это не повод не использовать LLM

GPU-Poor LLM Gladiator Arena - это LMарена для маленьких моделей.

Проект вырос из простой идеи: стало много реально сильных tiny/compact моделей и захотелось сделать понятную площадку, где их можно сравнивать. Плюс это playground для их теста.

Чтобы быстро попробовать:
Зайдите в Space - вкладка Battle Arena - введите промпт - “Generate Responses” - проголосуйте. А потом загляните в лидерборды и сравните динамику...

🔗 https://huggingface.co/spaces/k-mktr/gpu-poor-llm-arena
#lmArena #poorllmArena #gpupoorllmarena #LocalAi #AiLocal #ModelAi #AiModel #huggingface
Please open Telegram to view this post
VIEW IN TELEGRAM
🔍 AI Model Tracker - Отслеживание моделей ИИ

Инструмент для отслеживания моделей ИИ, подходящих для локального использования (т. е. с объёмом видеопамяти менее 24 ГБ) в Hugging Space и Modelscope.

AI Model Tracker — это настольное приложение, которое запускается в один клик и автоматически находит и систематизирует модели ИИ в интернете. Оно решает проблему «разброса моделей», когда модели разбросаны повсюду, а вы не знаете, какие у вас есть, какие новые и какие будут работать на вашем оборудовании.
Ключевые особенности:
- Автоматическое обнаружение - Scraps Hugging Face, ModelScope (китайские модели) и многое другое для новых моделей с искусственным интеллектом
- С учетом аппаратного обеспечения - Ориентирован на модели, работающие с видеопамятью объемом менее 24 ГБ (большинство потребительских графических процессоров).
- Красивая панель управления - веб-интерфейс для просмотра, фильтрации и поиска моделей
- Отслеживание китайских моделей - Особое внимание Qwen, DeepSeek и другим китайским моделям
- Оценки размера - Приблизительные оценки в ГБ, чтобы вы знали размеры загрузок
- Метаданные GGUF - извлекает подробную информацию о квантовании GGUF
- Автозапуск - автоматически открывает браузер при запуске
- Еженедельные обзоры - Автоматические отчеты о новых моделях.

https://github.com/nigelp/ai-model-tracker
Обсуждение.
#AIModelTracker #LocalAi #AiLocal #ModelAi #AiModel #huggingface
Please open Telegram to view this post
VIEW IN TELEGRAM
💡 vLLM-MLX - vLLM для Apple Silicon

Вывод, аналогичный vLLM, для Apple Silicon — обработка текста, изображений, видео и аудио с ускорением на графическом процессоре Mac.

Сервер, совместимый с OpenAI, для Apple Silicon. Запуск языковых моделей (LLama, Qwen-VL, LLaVA) с непрерывной пакетной обработкой, вызовом инструментов MCP и мультимодальной поддержкой. Собственный бэкенд MLX, более 400 токенов в секунду.
Характеристики:
- Мультимодальный — текст, изображения, видео и аудио на одной платформе
- Собственное ускорение с помощью графического процессора на Apple Silicon (M1, M2, M3, M4)
- Собственные голоса для преобразования текста в речь — испанский, французский, китайский, японский и ещё 5 языков
- Совместимость с OpenAI API — прямая замена клиента OpenAI
- Вызов инструментов MCP — интеграция внешних инструментов через протокол контекста модели
- Пейджинговый кэш KV — эффективное с точки зрения памяти кэширование с общим префиксом
- Непрерывная пакетная обработка — высокая пропускная способность для нескольких пользователей, работающих одновременно.

Максимальная производительность на M4:
- Llama-3.2-1B-4bit → 464 ток/с
- Qwen3-0.6B → 402 ток/с
- Whisper STT → 197x в реальном времени
Работает со стандартным OpenAI Python SDK - просто укажите его на localhost.
🔗 https://github.com/waybarrios/vllm-mlx
Обсуждение.
#vLLMMLX #vLLM #MLX #MacOS #LocalAi #AiLocal
🛠 Dyad - Гибкий, локальный, с открытым исходным кодом
конструктор приложений с ИИ

Бесплатное приложение для создания ИИ с открытым исходным кодом - альтернатива v0, Lovable и Bolt!

Что оно может делать:
- Создание приложения с помощью перетаскивания элементов интерфейса
- Запуск локально на вашем компьютере
- Отсутствие необходимости подписки
- Полный контроль над вашим кодом

Любая модель ИИ, включая бесплатные версии!
Вы не привязаны к одному поставщику или модели. Используйте собственные ключи API с такими топовыми моделями, как Gemini 3, GPT-5 от OpenAI, Claude Sonnet 4.5 и другими.
У вас мощный компьютер? С помощью Dyad можно легко запускать модели локально с помощью Ollama для обеспечения полной конфиденциальности данных.
Идеально подходит для: Быстрого прототипирования без привязки к поставщику

Для: macOS (Apple Silicon), #macOS (Intel), #Windows
🔗 https://www.dyad.sh/
#Dyad #SoftAI #AiSoft #LocalAi #AiLocal
👍1
🌐 Browsery Tools собрал 43 онлайн-инструмента для графики, документов, медиа и повседневных задач!

💥 Платформа Browsery Tools объединила в одном веб-интерфейсе 43 инструмента для работы с изображениями, документами, видео, аудио и офисными задачами. Сервис работает локально прямо в браузере и не требует установки программ.

🧠 Все инструменты запускаются онлайн и ориентированы на быстрые операции без локальной настройки. Часть функций использует ИИ, включая автоматическое удаление фона и оптимизацию изображений, остальные реализованы как веб-утилиты для обработки файлов и данных.

📊 Платформа включает инструменты для работы с графикой, редактирование и сжатие изображений, генерацию мокапов мобильных устройств, редактирование PDF-файлов, работу с Zip-архивами, просмотр крупных CSV и Excel-файлов, онлайн-редакторы видео и аудио, проверку микрофона и камеры перед видеозвонками, генераторы паролей, трекер расходов с отчётами и конвертер валют.

🎯 Платформа снижает зависимость от локального программного обеспечения и отдельных сервисов, позволяя выполнять типовые задачи в одном месте. Это упрощает рабочие процессы для разработчиков, дизайнеров и пользователей, работающих с документами и медиа.
🖼 Инструменты для работы с изображениями
- Удаление фона: удаление фона с помощью искусственного интеллекта
- Макеты для телефонов: размещение скриншотов в рамках для iPhone/Android
- Сжатие изображений: сжатие изображений для уменьшения размера файла без потери качества
- Конвертер форматов: преобразование изображений из одного формата в другой (JPG, PNG, WebP, GIF, BMP, TIFF, SVG)
- Коррекция цвета: настройка цветов, яркости, контрастности, насыщенности и оттенка изображений
- Конвертер цветов: преобразование между HEX, RGB и HSL с предварительным просмотром в реальном времени
- Инструменты SVG: редактирование и обработка векторной графики SVG (скоро появится)

📁 Файловые инструменты
- Инструменты для работы с PDF: объединение, разделение, сжатие и обработка PDF-файлов
- Инструменты для работы с ZIP: создание, извлечение и управление ZIP-архивами
- Просмотрщик CSV/Excel: просмотр и редактирование файлов CSV и Excel в браузере
- Конвертер файлов: преобразование файлов из одного формата в другой, включая документы, изображения, аудио и видео (скоро появится)

🎵 Медиа-инструменты
- Редактор видео: обрезка, конвертация и редактирование видеофайлов
- Редактор аудио: редактирование и обработка аудиофайлов
- Тестер микрофона и камеры: проверка предварительного просмотра с камеры и тестирование уровней входного сигнала микрофона

📝 Текстовые и языковые инструменты

📊 Инструменты для работы с данными

🧮 Инструменты для математики и финансов

⚡️ Инструменты повышения производительности
- Список дел: систематизируйте свои задачи и сохраняйте продуктивность
- Таймер и обратный отсчёт: простой таймер и обратный отсчёт в полноэкранном режиме

🔗 https://browserytools.com
Проект: https://github.com/aghyad97/browserytools
#browserytools #AiWeb #WebAi #LocalAi #AiLocal
This media is not supported in your browser
VIEW IN TELEGRAM
🎙 Handy - Голосовой ввод локально.

Бесплатное, с открытым исходным кодом и расширяемое приложение для преобразования речи в текст, которое работает полностью в автономном режиме.

Handy — превращает микрофон в клавиатуру.
Работает везде: Word, Telegram, браузер, VS Code — просто диктуйте текст в любом приложении.

Под капотом много моделей! Все Whisper включая Turbo (от OpenAI), Parakeet V3 (от NVIDIA), GigaAM v3 (для Русского), Moonshine V2, Breeze ASR, Canary 180M Flash, Canary 1B v2, SenseVoice. (Самый большой выбор моделей!)
Русский язык понимают отлично. (Программа тоже на русском!)
Шумы, паузы, чихи и шмыганья чистятся автоматически благодаря встроенному VAD (Voice Activity Detection).
👀 Работает на macOS (Silicon & Intel), Windows и Linux. Локально на вашем железе и без утечек данных! Скачать:
🔗 https://handy.computer/
Проект: https://github.com/cjpais/Handy
Аналоги по тегу: #Диктовка

#STT #Handy #Whisper #Parakeet #SoftAI #AiSoft #LocalAi #AiLocal #macOS #Windows #ASR
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
🧠 Personal-Guru - Изучайте что угодно с помощью приложения Local Personalized Learning AI

Personal-Guru: бесплатная локальная альтернатива ИИ-репетиторам с открытым исходным кодом и NotebookLM

Большие языковые модели создают невероятные энциклопедии, но, честно говоря, из них получаются довольно ужасные учителя.

Вы можете целый час обсуждать со ChatGPT сложную тему, но без учебной программы или чётких ориентиров в итоге у вас останется лишь длинная история переписки и очень мало усвоенных знаний.

Большинство существующих инструментов относятся к одной из этих категорий:
- Неструктурированные чат-боты
- Анализаторы документов (у вас уже должны быть заметки)
- Дорогие платформы с подпиской

Personal-Guru - первая в своём роде система обучения с открытым исходным кодом, которая не просто «болтает», а собирает для вас полную учебную программу с нуля.

🚀 Чем Personal-Guru отличается от других приложений?
Вместо чата в свободной форме вы задаёте тему (например, квантовая физика или выпечка на закваске), а приложение:

📚 Создает структурированную программу обучения (главы, разделы, ключевые понятия)

🧠 Создает интерактивный учебный контент (викторины, карточки, голосовые вопросы и ответы)

🔒 Работает на 100 % локально (на базе API, совместимого с OpenAI (LMStudio, Ollama и т. д.) — ваши данные остаются у вас)

🎧 Поддерживает мультимодальное обучение:
- Режим Reel (краткое обучение в стиле TikTok)
- Режим подкаста (обучение с упором на аудио)

Наша главная вера проста:
Образование и доступ к передовым технологиям искусственного интеллекта должны быть бесплатными, частными и доступными в офлайн-режиме.
Никаких подписок. Никакой привязки к облаку. Данные не покидают ваш компьютер.

🔗 https://github.com/Rishabh-Bajpai/Personal-Guru
Обсуждение на Reddit.
#PersonalGuru #NotebookLM #LocalAi #AiLocal
ℹ️ Модель: CPA-Qwen3-8B-v0 - специализированная для бухгалтерского учёта, аудита и соблюдения нормативных требований (CPA stuff, GAAP, IFRS, Auditing)

CPA-Qwen3-8B-v0 — это специализированная доработанная версия Qwen3-8B, обученная AudCor на наборе данных Finance-Instruct-500k. В отличие от общих финансовых моделей, эта модель специально оптимизирована для работы в качестве сертифицированного бухгалтера (CPA).

Ключевые возможности:
- Персона CPA и профессиональный скептицизм: ответы сформулированы с точностью и осторожностью, которых можно ожидать от лицензированного специалиста, а не просто представляют собой стандартный финансовый текст.

- Соблюдение нормативных требований: глубокое знание ОПБУ, МСФО и налогового законодательства, позволяющее интерпретировать сложные требования к соблюдению нормативных актов.

- Логическое мышление на уровне экзамена: сравнивается с логикой, необходимой для решения сложных задач на экзамене CPA (FAR, AUD, REG), включая работу со сложными многоэтапными сценариями.

Создана AudCor занимается разработкой передовых инструментов искусственного интеллекта, предназначенных для бухгалтерских фирм.
Модель: https://huggingface.co/AudCor/cpa-qwen3-8b-v0
Обсуждение на Reddit.
#AudCor #CPA #CPAQwen38B #LocalAi #AiLocal #ModelAi #AiModel
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
ℹ️ Проект: MCP-сервер, который предоставляет локальным языковым моделям память, доступ к файлам и «консистентность» — на 100 % автономный на Apple Silicon
Проблема, которую хотели решить:
- Локальные языковые модели не сохраняют состояние — они забывают всё между сеансами
- У них нет управления — они выполняют всё, что вы просите, без раздумий
- Интерфейсы чата не дают им «ручек», чтобы они могли что-то делать

Что на самом деле может ИИ:
- Чтение/запись файлов в изолированной директории
- Выполнение команд (pytest, git, ls и т. д.) с использованием списка разрешённых команд
- Перед выполнением действий сверяйтесь с «пороговыми протоколами»
- Записывайте весь процесс обработки в файл JSONL
- Прежде чем выполнять что-либо опасное, запросите у меня разрешение

Ключевая идея: сама файловая система становится памятью ИИ. Структура каталогов = классификация. Маршрутизация файлов = логический вывод. Векторная база данных не требуется.

Репозитории (все под лицензией MIT):
- temple-bridge — сервер MCP, который объединяет их в единое целое
- back-to-the-basics — парадигма «файловая система как схема»
- threshold-protocols — система управления

Настройка проста:
1) Клонируйте три репозитория
2) uv sync в temple-bridge
3) Добавьте конфигурацию MCP в ~/.lmstudio/mcp.json
4) Загрузите Hermes-3 в LM Studio
5) Вставьте системную подсказку
Готово!

Обсуждение на Reddit.
#LMStudio #MCP #TempleBridge #MacOS #AppleSilicon #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
🤖 LocalDesk - Настольный ИИ-помощник с поддержкой локальной модели

🤖 Настольный ИИ-помощник с поддержкой локальных моделей — агент, совместимый с OpenAI SDK, с системой памяти, возможностью работы с файлами, веб-поиска и современным пользовательским интерфейсом. Поддерживает vLLM, Ollama, Qwen, Llama и другие модели.

Основные возможности:
Планирование задач — визуальная панель задач с отслеживанием прогресса, сохраняемая для каждого сеанса
OpenAI SDK — полный контроль над API, совместимость с любой конечной точкой, совместимой с OpenAI
Локальные модели — поддержка vLLM, Ollama, LM Studio
WASM Sandbox — безопасное выполнение JavaScript с помощью QuickJS (без Node. js)
Поддержка документов — извлечение текста из PDF и DOCX (входит в комплект, работает «из коробки)
Веб-поиск — Tavily и Z. Интеграция ИИ для поиска в интернете
Парсинг Telegram — отображение каналов t.me с реакциями, просмотрами, автоматической прокруткой старых постов
Безопасность — песочница для каталога для безопасной работы с файлами
Кроссплатформенность — Windows, macOS, Linux с соответствующими командами оболочки

Проект: https://github.com/vakovalskii/LocalDesk
Скачать для MacOS.
Skills: https://vakovalskii.github.io/LocalDesk-Skills/
LocalDesk + Skills - ВИДЕО
Автор в Telegram. (Пост про Обновления)
#LocalDesk #MacOS #SoftAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
2
This media is not supported in your browser
VIEW IN TELEGRAM
🌐 Локальный браузер — веб-автоматизация с помощью ИИ на устройстве!

Расширение Chrome, которое использует WebLLM для веб-автоматизации на базе ИИ непосредственно на устройстве. Никаких облачных API, никаких ключей API, полная конфиденциальность.

- ИИ на устройстве
: использует WebLLM с ускорением WebGPU для локального вывода LLM
- Многоагентная система: агенты Planner + Navigator для интеллектуального выполнения задач
- Автоматизация браузера: навигация, клики, ввод текста, извлечение данных с веб-страниц
- Приоритет конфиденциальности: весь ИИ работает локально, данные не покидают ваше устройство
- Автономная поддержка: работает в автономном режиме после первоначальной загрузки модели

🔗 https://github.com/RunanywhereAI/on-device-browser-agent
Обсуждение на Reddit.
#WebGPU #WebAi #AiWeb #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
🍽 Flog - AI Food tracker

Бесплатный! трекер питания на основе фотографий для iOS с поддержкой локальной языковой модели!

Это трекер питания, который интегрируется с Apple Health и использует большие языковые модели (LLM) для оценки порций, питательных веществ и т. д. Процесс довольно прост: сделайте снимок и нажмите «Отправить». Это намного проще, чем Lose It и подобные приложения.

Оно поддерживает локальные языковые модели, даже если они запускаются на устройстве. Локальные модели iPhone не так хороши, но вы можете подключить приложение к LM Studio и запускать там более мощные модели. Приложение лучше всего работает с Gemini 3.0 Flash, но для этого вам нужно добавить API ключ OpenRouter.

Flog - это профессиональный, ориентированный на конфиденциальность трекер питания, созданный для людей, которым нужны современные функции ИИ без подписок, аккаунтов или отслеживания.
Большинство трекеров калорий требуют утомительного ручного ввода или блокируют лучшие функции в ежемесячных планах.
Flog предоставляет вам первоклассные возможности ведения журнала и мощные инструменты анализа, позволяя при этом выбирать способ работы ИИ.
ЗАПИСЫВАЙТЕ блюда в любом удобном для вас формате:
• Фотографируйте: сделайте снимок своей тарелки и получите подробную информацию о питании.
• Голосовая запись: запишите аудиозапись или прикрепите звуковую заметку. Если выбранная вами модель поддерживает это, ИИ может понимать ваши слова напрямую (без отдельного этапа транскрипции).
• Примечания + исправления: Добавьте быстрый контекст, например “съел только половину” или “добавлено оливковое масло”, чтобы сделать результаты более точными.

❗️ИНТЕЛЛЕКТУАЛЬНЫЙ АНАЛИЗ ФОТОГРАФИЙ
Flog может использовать модели Vision Language для определения того, что находится на вашей тарелке:
• Оценка порций с учетом визуальных данных (включая определение размера пальца / ногтевой пластины для измерения масштаба).
• Контекст кухни и стиля (например, “Южно-итальянский”), чтобы ИИ учитывал способы приготовления и скрытые масла.
• Детальные правки, позволяющие скорректировать все, что не соответствует модели.

Программа Flog содержит подробную ИНФОРМАЦИЮ О ПИТАНИИ, А НЕ ТОЛЬКО О КАЛОРИЯХ:
• Макроэлементы: белки, углеводы, жиры, клетчатка, сахар.
• Микроэлементы: более 25 витаминов и минералов (А–К, железо, цинк, магний и другие).
• Прозрачные оценки: проанализируйте, что и почему сделал ИИ, а затем скорректируйте с помощью полного ручного управления.

ПРОГРАММА глубокой интеграции APPLE HEALTH может синхронизироваться с Apple Health, чтобы все было согласовано:
• Записывает структурированные данные о продуктах питания в HealthKit.
• Считывает энергию в активном состоянии и в состоянии покоя, чтобы помочь вам понять общий энергетический баланс.
• Может использовать данные о вашем здоровье (например, о весе) для достижения более разумных целей.

https://apps.apple.com/us/app/flog-ai-food-tracker/id6756525727
Обсуждение.
#AppleHealth #Flog #AiFood #AiTracker #App #iPhone #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
1
ℹ️ Модель: GLM-4.7-Flash

GLM-4.7-Flash — это модель 30B-A3B MoE. Являясь самой мощной моделью в классе 30B, GLM-4.7-Flash предлагает новый вариант облегчённого развёртывания, который обеспечивает баланс между производительностью и эффективностью.
Модель: https://huggingface.co/zai-org/GLM-4.7-Flash
Квантования
- Unsloth - Q8_0=31.8 GB Обсуждение.
- Bartowski - Обсуждение.
- GLM-4.7-Flash-GGUF - F16=59,9 ГБ, Q4_K_M=18,1 ГБ
GLM-4.7-Flash — облегченная версия флагмана с 30 миллиардами параметров, из которых активны только 3 миллиарда. Контекстное окно - 200K. На бенчмарке SWE-bench Verified модель набрала 59.2% — почти втрое больше, чем Qwen3-30B-A3B-Thinking (22%). Разрыв с конкурентами того же класса виден и на других тестах: τ²-Bench (работа с инструментами) — 79.5% против 49% у Qwen, BrowseComp — 42.8% против 22.9%. В математике Flash держится на уровне более крупных моделей: 91.6% на AIME 2025, практически наравне с GPT-OSS-20B.

Пользователи в X уже тестируют локальный запуск: на M3 Ultra в 4-bit квантизации модель выдаёт свыше 80 токенов в секунду, на ноутбучных M5 — 40-50 tok/s. Поддержка появилась в MLX, vLLM и SGLang, а API доступен бесплатно с одним параллельным запросом, есть платная версия с высокой пропускной способностью.

Напоминаем о необходимости следовать нашим новым правилам!
Чтобы уменьшить количество циклов или улучшить результаты, добавьте --dry-multiplier 1.1. Это не то же самое, что штраф за повторение. Если сухой множитель недоступен, отключите штраф за повторение.
Вы также можете использовать --temp 0.2 --top-k 50 --top-p 0.95 --min-p 0.01 --dry-multiplier 1.1, это должно помочь.

Руководство
! Обсуждение. Отзыв-1, Отзыв-2.

GLM 4.7 Flash без цензуры — сбалансированный и агрессивный варианты (GGUF) - FP16, Q8_0, Q6_K, Q4_K_M:
- GLM-4.7-Flash-Uncensored-HauhauCS-Balanced
- GLM-4.7-Flash-Uncensored-HauhauCS-Aggressive
#GLM47Flash #LocalAi #AiLocal #ModelAi #AiModel #ZAi
Please open Telegram to view this post
VIEW IN TELEGRAM
🤖 Eigent - это локальное многоагентное настольное приложение!

Eigent — это настольное приложение с открытым исходным кодом, которое позволяет создавать, управлять и развертывать собственные ИИ-ресурсы, способные превратить самые сложные рабочие процессы в автоматизированные задачи.

Что оно делает:
- Запускает агентов в частном порядке на вашем компьютере.
- Организует файлы и очищает ваш рабочий стол.
- Нет утечек в облако или проблем с конфиденциальностью.

⭐️ 100 % открытый исходный код — 🥇 локальное развертывание — 🏆 интеграция с MCP
Нулевая настройка — не требует технической настройки
Координация нескольких агентов — позволяет управлять сложными рабочими процессами с участием нескольких агентов
Корпоративная функция — единый вход/контроль доступа
Локальное развертывание
Поддержка пользовательских моделей
Интеграция с MCP

Скачать: Для MacOS (Intel & Silicon), Windows
🔗 https://www.eigent.ai - тут много видео примеров работы!
GitHub: https://github.com/eigent-ai/eigent
#Cowork #Eigent #MacOS #Windows #SoftAi #AiSoft #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
⬇️ GGUF-конвертер: простой способ квантизировать LLM (включая AWQ INT4 → FP16) под ваше железо!

GGUF-converter — open‑source проект, который:
- автоматизирует конвертацию моделей в GGUF;
- выполняет классическую квантизацию (FP16 → q4/q5/q6/q8 и т.п.);
- поддерживает AWQ‑модели: умеет автоматически деквантизировать INT4 → FP16, а затем квантизировать в GGUF под ваше железо.​

🔄 Конвертируйте модели из форматов .safetensors, .pt, .pth, .bin
📊 8 уровней квантования (от Q3_K_S до Q8_0)
📁 Сканирование папки «Автоматические загрузки»
🔍 Извлечение названия смарт-модели из метаданных
📂 Пользовательская папка для вывода (сохраняется между сеансами)
📦 Пакетное преобразование нескольких файлов
🔎 Проверка файлов GGUF (просмотр тензоров, экспорт в CSV)
🌍 Многоязычный интерфейс: английский, русский, китайский
⚡️ Обработка модели FP8 (автоматическое джекентинг-преобразование)
🎯 Смешанное квантование Q4_K_M (важные слои в Q6_K)
🆕 Поддержка модели AWQ (автоматическое деквантование INT4 → FP16)
🚀 Автоматическая установка зависимостей при первом запуске

В последние два года формат GGUF стал стандартом для локального запуска больших языковых моделей: llama.cpp, koboldcpp, text-generation-webui и десятки GUI умеют работать именно с GGUF‑чекпойнтами.​

Проблема в том, что большинство моделей распространяются на Hugging Face в «сыром» виде (FP16/FP32, иногда в формате AWQ INT4), а конвертация в GGUF с нужной квантизацией требует отдельного набора скриптов, ключей и танцев с бубном.​
🔗 https://github.com/mnbabeshko/gguf-converter
Подробная статья.
#HuggingFace #GGUF #Windows #AWQ #ggufconverter #SoftAi #AiSoft #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1
ℹ️Модель: Nanbeige4-3B от Boss Zhipin - LLM с 3 млрд параметров, которая превосходит Qwen3-32B в математике (AIME), науке (GPQA) и tool calling (BFCL-V4), а на бенчмарках с человеческими предпочтениями (Arena-Hard-V2) сопоставима с Qwen3-30B-A3B.

Как это удалось?
- 23 трлн токенов ультра-курированных данных
- более 30 млн высококачественных SFT-инструкций
- многостадийный RL + инновационная дистилляция (DPD)
- реконструкция chain-of-thought и deliberative generation

Модель также входит в топ-15 на WritingBench и EQ-Bench3, обгоняя модели в 100 раз больше по размеру — включая GLM-4.5 и Deepseek-R1.

🔗 Модель: Nanbeige4-3B-Thinking-2511
Weights: https://modelscope.cn/organization/nanbeige
📄 Paper: https://arxiv.org/pdf/2512.06266
Квант GGUF от bartowski - Q8_0=4.18 GB, а Q6_K_L=3.44 GB - можно запускать на смартфоне!
#Nanbeige43B #HuggingFace #GGUF #LocalAi #AiLocal #ModelAi #AiModel
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM