Local Ai
443 subscribers
895 photos
250 videos
4 files
811 links
Все про Локальные ИИ на ПК и Смартфонах - программы и модели, которые можно запустить на 96Gb VRAM. (Как сайт: https://t.me/s/ai2local )
ИИ для Здоровья: @Ai2Health
Download Telegram
Модели Qwen3.5:
Qwen3.5-27B — dense, все 27B параметров активны. На SWE-bench Verified набирает 72.4% — столько же, сколько 397B. На IFEval (следование инструкциям) — 95.0%, лучший результат во всей линейке. (Qwen3.5-27B-heretic-GGUF)

Qwen3.5-35B-A3B — MoE, 35B параметров, 3B активных на токен. Превосходит Qwen3-235B-A22B, который был основной open-weight моделью Qwen3. Модель в 7 раз меньше, а результаты лучше. Облачная версия — Qwen3.5-Flash (контекст до 1M токенов, встроенные tools).

Qwen3.5-122B-A10B — MoE, 122B параметров, 10B активных. По бенчмаркам на уровне флагманской 397B, а на части задач (TAU2-Bench, BFCL-V4, HLE) обходит её.

Qwen3.5-397B-A17B — флагман линейки!

Отдельно выложили Qwen3.5-35B-A3B-Base — версия без файнтюна, для кастомного дообучения.

💡 Сравнение семейств Qwen 3.5 от ArtificialAnalysis.ai - ставит Qwen3.5-27B выше, чем Qwen3.5-122B-A10B и Qwen3.5-35B-A3B, по всем категориям тестов: индексу интеллекта, индексу кодирования и индексу агентности.

Пост: https://qwen.ai/blog?id=qwen3.5 - много видео примеров!

Пишут:
- Qwen3.5-122B-A10B в большинстве тестов превосходит gpt-5-mini и gpt-oss-120b.
- Qwen 3.5 122b/35b — огонь 🔥 Сравнение результатов Qwen 3 35B-A3B, GPT-5 High, Qwen 3 122B-A10B и GPT-OSS 120B.
- Обсуждение Qwen3.5-35B-A3B, ТУТ рекомендуют квант от AesSedai или Ubergarm - они лучше Unsloth!
- Qwen3.5-35B-A3B — это прорыв в агентном программировании.
- Обсуждение Qwen3.5-122B-A10B
- Qwen3.5 122B — лучшая модель на данный момент. (Q3_K_XL может работать не хуже 4-битных моделей)

⚡️Сравнить модели: https://compareqwen35.tiiny.site

#Qwen35 #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Модель: LFM2-24B-A2B
LFM2-24B-A2B — это разреженная модель Mixture-of-Experts (MoE) с 24B общих параметров и 2B активных параметров на токен.

Рекомендуют следующие варианты использования:

- Использование агентного инструментария: вызов встроенных функций, веб-поиск, структурированные выходные данные. Идеально подходит для использования в качестве быстрой внутренней модели в многоэтапных конвейерных процессах с использованием агентов.
- Автономное обобщение документов и ответы на вопросы: полностью автономная работа на потребительском оборудовании для рабочих процессов, требующих соблюдения конфиденциальности (в юридической, медицинской и корпоративной сферах).
- Агент службы поддержки, сохраняющий конфиденциальность данных: локально развертывается в компании и обрабатывает многоэтапные обращения в службу поддержки с доступом к инструментам (поиск в базе данных, создание заявок) без передачи данных за пределы сети.
- Локальные конвейеры RAG: служат основой для генерации в системах с расширенным извлечением данных на одном компьютере без серверов с графическими процессорами.

Поддерживаемые языки: английский, арабский, китайский, французский, немецкий, японский, корейский, испанский, португальский (Но и на русском отвечает!)

Попробовать: playground.liquid.ai
Блог: https://www.liquid.ai/blog/lfm2-24b-a2b
🔗 https://huggingface.co/LiquidAI/LFM2-24B-A2B
Документация о том, как запустить или дообучить модель локально: docs.liquid.ai
(Обсуждение)
#LiquidAI #LFM224BA2B #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
🎙 Buzz — офлайн-транскрибация аудио без интернета

Бесплатный open-source инструмент на базе Whisper от OpenAI. Всё работает локально на компьютере, данные никуда не уходят. Поддерживает аудио и видео, запись с микрофона в реальном времени, экспорт субтитров в TXT, SRT и VTT.

Что умеет:
• Транскрибация и перевод без интернета
• Запись и расшифровка с микрофона в реальном времени
• Поддержка Whisper, Whisper.cpp, Faster Whisper и моделей с Hugging Face
Ускорение на GPU через Vulkan — работает даже на встроенных видеокартах
• Работает на macOS, Windows и Linux

Функции:
- Расшифровка аудио- и видеофайлов или ссылок на YouTube.
- Расшифровка аудиозаписи в реальном времени с микрофона.
- Окно презентации для удобного доступа во время мероприятий и презентаций.
- Разделение речи перед транскрипцией для повышения точности обработки зашумленного аудио.
- Идентификация говорящего в расшифрованных медиафайлах
- Поддержка нескольких бэкэндов Whisper:
- Поддержка ускорения CUDA для графических процессоров Nvidia
- Поддержка процессоров Apple Silicon для компьютеров Mac
- Поддержка ускорения Vulkan для Whisper.cpp на большинстве графических процессоров, включая интегрированные.
- Экспорт транскриптов в форматы TXT, SRT и VTT
- Расширенная программа для просмотра транскрипций с функциями поиска, управления воспроизведением и регулировки скорости.
- Клавиатурные сочетания для эффективной навигации
- Папка «Отслеживать» для автоматической транскрипции новых файлов.
- Интерфейс командной строки для написания скриптов и автоматизации.

Записи остаются на твоём устройстве.
🔗 https://github.com/chidiwilliams/buzz
#Buzz #Whisper #Транскрибация #MacOS #Windows #Linux #LocalAi #AiLocal
Модели ZwZ 4B, 7B, 8B

ZwZ-8B — это высокодетализированная мультимодальная модель восприятия (Vision), созданная на основе Qwen3-VL-8B.
Модель ZwZ-8B демонстрирует высочайшую производительность в тестах на детальное восприятие среди моделей с открытым исходным кодом сопоставимого размера, а также высокую способность к обобщению в задачах визуального восприятия, графического интерфейса и обнаружения AIGC.

Ключевые особенности:
⚡️ Эффективность однопроходного алгоритма: обеспечивает детальное распознавание за один прямой проход, устраняя необходимость в дополнительных вызовах инструментов во время логического вывода
🎯 Превосходная точность: лучшие результаты в тестах на распознавание среди моделей с открытым исходным кодом
📈 Значительные улучшения: улучшены не только результаты в тестах на распознавание, но и обобщение за пределами обучающей выборки в задачах визуального анализа, управления графическим интерфейсом и обнаружения AIGC

ZwZ-4B https://huggingface.co/inclusionAI/ZwZ-4B
ZwZ-7B https://huggingface.co/inclusionAI/ZwZ-7B
ZwZ-8B https://huggingface.co/inclusionAI/ZwZ-8B

#inclusionAI #ZwZ #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
📊 LLM Comprehensive Comparator
Можно сравнить Qwen 3.5 122b / 35b / 27b / 397b
📊 More models like GPT 5.2, GPT OSS, etc
🔗 https://compareqwen35.tiiny.site
(Обсуждение)
#benchmark #LLM #Comparator #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Модель: Qwen3.5 без цензуры!

Цель — снять цензуру без потерь, не меняя набор данных и не снижая функциональность.

👉 Qwen3.5-2B
🔗 https://huggingface.co/HauhauCS/Qwen3.5-2B-Uncensored-HauhauCS-Aggressive
Кванты: Q4_K_M (1,2 ГБ), Q6_K (1,5 ГБ), Q8_0 (1,9 ГБ), BF16 (3,6 ГБ)

👉 Qwen3.5-4B
🔗 https://huggingface.co/HauhauCS/Qwen3.5-4B-Uncensored-HauhauCS-Aggressive
Доступные значения: Q4_K_M (2,6 ГБ), Q6_K (3,3 ГБ), Q8_0 (4,2 ГБ), BF16 (7,9 ГБ)
(Обсуждение)
Краткие характеристики:
Для 4 млрд плотных параметров, 32 слоя, гибридное линейное внимание Gated DeltaNet + полный софтмакс (соотношение 3:1), 262 тыс. собственных контекстов. Изначально мультимодальная модель (текст, изображение, видео). Эта модель на удивление функциональна для своего размера.

Это агрессивный вариант — 0/465 отказов при тестировании. Полная версия без цензуры с сохранением всех возможностей.

Модель ответит на все, хотя иногда в конце ответа добавляет небольшое примечание (похоже, это заложено в базовую модель обучения и не является отказом от ответа).

Настройки выборки от авторов Qwen:
- Режим мышления: --темп 0,6 -- top-p 0,95 -- top-k 20
- Отсутствие мышления: --темп 0,7 --top-p 0,8 --top-k 20

Примечание: Это совершенно новая архитектура (выпущена сегодня). Убедитесь, что у вас установлена последняя версия llama.cpp. Работает с llama.cpp, LM Studio, Jan, koboldcpp и т. д.

👉 Qwen3.5-9B:
🔗 https://huggingface.co/HauhauCS/Qwen3.5-9B-Uncensored-HauhauCS-Aggressive
Доступны: Q4_K_M (5,3 ГБ), Q6_K (6,9 ГБ), Q8_0 (8,9 ГБ), BF16 (17 ГБ)
Настройки выборки от авторов Qwen:
- Режим мышления: --temp 0.6 --top-p 0.95 --top-k 20
- Отсутствие мышления: --temp 0.7 --top-p 0.8 --top-k 20
(Обсуждение) (Подробная статья про нее)
🔗 https://huggingface.co/crownelius/Crow-9B-Opus-4.6-Distill-Heretic_Qwen3.5

👉 Qwen3.5-27B
🔗 https://huggingface.co/HauhauCS/Qwen3.5-27B-Uncensored-HauhauCS-Aggressive
Кванты: IQ2_M (8,8 ГБ), IQ3_M (12 ГБ), Q3_K_M (13 ГБ), IQ4_XS (14 ГБ), Q4_K_M (16 ГБ), Q5_K_M (19 ГБ), Q6_K (21 ГБ), Q8_0 (27 ГБ), BF16 (51 ГБ)
Сэмплирование (из Qwen):
- С учетом мышления: --temp 0.6 --top-p 0.95 --top-k 20
- Без учета мышления: --temp 0.7 --top-p 0.8 --top-k 20
(Обсуждение)
🔗 https://huggingface.co/mradermacher/Qwen-3.5-27B-Derestricted-GGUF (Обсуждение)
🔗 https://huggingface.co/huihui-ai/Huihui-Qwen3.5-27B-abliterated

👉 Qwen3.5-35B-A3B
🔗 https://huggingface.co/HauhauCS/Qwen3.5-35B-A3B-Uncensored-HauhauCS-Aggressive (Обсуждение)
(temp=1.0, top_k=20, repeat_penalty=1, presence_penalty=1.5, top_p=0.95, min_p= 0)

👉 Qwen3.5-122B-A10B
🔗 https://huggingface.co/HauhauCS/Qwen3.5-122B-A10B-Uncensored-HauhauCS-Aggressive (Обсуждение)

💡Все релизы: https://huggingface.co/HauhauCS/models/

🇨🇳 Еще Huihui-Qwen3.5-35B-A3B — модель без цензуры!
Команда huihui-ai убрала все ограничения из Qwen 3.5. Модель отвечает на любые запросы без стоп-слов и фильтров — выдаёт инструкции, рецепты и контент, который обычно блокируется.
🔗 https://huggingface.co/huihui-ai/Huihui-Qwen3.5-35B-A3B-abliterated

👉 Qwen3.5-122B-A10B
🔗 https://huggingface.co/trohrbaugh/Qwen3.5-122B-A10B-heretic

#Qwen35 #AiModel #ModelAi #LocalAi #AiLocal #Uncensored #heretic #abliterated #Derestricted
Please open Telegram to view this post
VIEW IN TELEGRAM
Модель: Qwen3.5-9B abliterated + зрение

0% отказов, в то время как в «еретической» версии отказы случаются в 46% случаев.

🔗 https://huggingface.co/lukey03/Qwen3.5-9B-abliterated
Добавьте /no_think для более быстрого ответа.

Еще: https://huggingface.co/HauhauCS/Qwen3.5-9B-Uncensored-HauhauCS-Aggressive
Доступны: Q4_K_M (5,3 ГБ), Q6_K (6,9 ГБ), Q8_0 (8,9 ГБ), BF16 (17 ГБ)
Настройки выборки от авторов Qwen:
- Режим мышления: --temp 0.6 --top-p 0.95 --top-k 20
- Отсутствие мышления: --temp 0.7 --top-p 0.8 --top-k 20
(Обсуждение)

Еще есть такая: https://huggingface.co/llmfan46/Qwen3.5-9B-ultimate-irrefusable-heretic
(Обсуждение)

И такая: https://huggingface.co/LuffyTheFox/Qwen3.5-9B-Claude-4.6-Opus-Uncensored-Distilled-GGUF (Q4_K_M=5.63 GB и Q8_0=9.53 GB)
Теперь у нас есть отфильтрованная версия Qwen 3.5 9B, настроенная на логику мышления Claude Opus 4.6.
(Обсуждение)
#Qwen35 #AiModel #ModelAi #LocalAi #AiLocal #Uncensored #abliterated
Please open Telegram to view this post
VIEW IN TELEGRAM
📱 Off Grid (Вне сети)

Общайтесь, говорите и создавайте изображения — конфиденциальность превыше всего, без подключения к интернету. Загрузите языковую модель и используйте ее на своем мобильном устройстве. Данные никогда не покидают ваш телефон. Поддерживает преобразование текста в текст, изображений в текст и изображений в изображения!
⚡️Не просто еще одно приложение для чата
Большинство «локальных» приложений с большими языковыми моделями представляют собой текстовый чат-бот.
Off Grid — это полноценный автономный пакет ИИ, который включает в себя генерацию текста, изображений, обработку изображений, расшифровку речи, вызов инструментов и анализ документов. Все это работает локально на вашем телефоне или компьютере Mac.

- Генерация текста — используйте Qwen 3, Llama 3.2, Gemma 3, Phi-4 и любую модель GGUF. Потоковая передача ответов, режим размышления, рендеринг в формате Markdown, 15–30 токенов в секунду на флагманских устройствах. Приносите свои .gguf файлы.

- Вызов инструмента — модели, поддерживающие вызов функций, могут использовать встроенные инструменты: веб-поиск, калькулятор, отображение даты и времени, а также информацию об устройстве. Автоматический цикл использования инструментов с защитой от сбоев. Кликабельные ссылки в результатах поиска.

- Генерация изображений — Stable Diffusion на устройстве с предварительным просмотром в реальном времени. Ускорение с помощью NPU на Snapdragon (5–10 секунд на одно изображение), Core ML на iOS. Более 20 моделей, включая Absolute Reality, DreamShaper, Anything V5.

- Vision AI — наведите камеру на любой объект и задавайте вопросы. SmolVLM, Qwen3-VL, Gemma 3n — анализируют документы, описывают сцены, считывают чеки. ~7 секунд на флагманских устройствах.

- Голосовой ввод — преобразование речи в текст с помощью функции Whisper на устройстве. Для записи нажмите и удерживайте, для автоматической расшифровки — отпустите. Звук никогда не покидает пределы вашего телефона.

- Анализ документов — прикрепляйте к переписке PDF-файлы, файлы с кодом, CSV-файлы и многое другое. Собственная функция извлечения текста из PDF на обеих платформах.

- Улучшение подсказок для ИИ — простая подсказка на входе, подробная подсказка для Stable Diffusion на выходе. Ваша текстовая модель автоматически улучшает подсказки для генерации изображений.

Версия для iOS (iPhone, iPad)
Версия для Android или .APK тут.(v0.0.66)
Версия для MacOS (Apple Silicon)

Проект: https://github.com/alichherawalla/off-grid-mobile-ai
(Обсуждение)
#OffGrid #App #iOS #iPhone #Android #MacOS #AiLocal #LocalAi
This media is not supported in your browser
VIEW IN TELEGRAM
🤖 Sir Thaddeus (Сэр Таддеус)
Локальный помощник на основе ИИ для Windows, ориентированный на конфиденциальность и соблюдение прав пользователей.
Сэр Таддеус — это локальный ИИ-помощник для Windows, созданный для тех, кому нужен полезный ИИ, но при этом они хотят сохранять контроль над процессом. Он подключается к локальным языковым моделям (например, LM Studio), использует доступ к инструментам на основе разрешений и позволяет оператору следить за выполнением задач.

По умолчанию без телеметрии. Без автономной работы в фоновом режиме. Без скрытых действий.
Если приложение работает, вы это видите. Если вы нажмете СТОП, оно остановится.

🔗https://github.com/raydeStar/sir-thaddeus
Скачать 710 Мб.
(Подробно и Обсуждение)
#Windows #SirThaddeus #AiLocal #LocalAi
Please open Telegram to view this post
VIEW IN TELEGRAM
Модели Qwen3.5: 0.8B, 2B, 4B, 9B

Ранее были БОЛЬШИЕ.

Qwen3.5-0.8B и 2B: Две модели, оптимизированные для «минимальной» и «быстрой» производительности, предназначены для создания прототипов и развертывания на периферийных устройствах, где время автономной работы имеет первостепенное значение.

Qwen3.5-0.8B (Локально в Chrome) #WebGPU (Обсуждение)
И еще такое Демо (Обсуждение)

Qwen3.5-4B https://huggingface.co/Qwen/Qwen3.5-4B
Надежная мультимодальная база для легковесных агентов, изначально поддерживающая контекстное окно из 262 144 токенов.
(Обсуждение) (Обсуждение-2)

Qwen3.5-9B https://huggingface.co/unsloth/Qwen3.5-9B-GGUF
Qwen3.5-9B — компактная модель логического вывода, которая превосходит в 13,5 раз более крупную американскую модель OpenAI gpt-oss-120B по ключевым сторонним показателям, включая многоязычные знания и логические рассуждения на уровне выпускника вуза. (Читаем статью)
(Обсуждение)

📊 Визуализация сравнения Qwen 3.5 и Qwen 3
Qwen3.5 9B and 4B benchmarks

#Qwen35 #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
🔈 QwenVoice - Нативное приложение для macOS для Qwen3-TTS — клонирование голоса, управление эмоциями и создание голоса, 100 % автономная работа на Apple Silicon

Клонируйте любой голос на основе короткого аудиофайла длительностью 5–10 секунд (WAV, MP3, AIFF, M4A, FLAC или OGG). Для повышения точности можно предоставить расшифровку эталонного аудиофайла.
Приложение клонирует голос на основе аудиозаписей, имеет 9 предустановленных эмоций с 3 уровнями интенсивности, позволяет создавать голос на основе текстовых описаний и сохраняет историю генерации локально. Работает полностью в автономном режиме на Apple Silicon через MLX.
Модели:
- Custom Voice 1.7B (8-bit) https://huggingface.co/mlx-community/Qwen3-TTS-12Hz-1.7B-CustomVoice-8bit
- Voice Design 1.7B (8-bit) https://huggingface.co/mlx-community/Qwen3-TTS-12Hz-1.7B-VoiceDesign-8bit
- Voice Cloning 1.7B (8-bit) https://huggingface.co/mlx-community/Qwen3-TTS-12Hz-1.7B-Base-8bit

🔗 https://github.com/PowerBeef/QwenVoice
Скачать DMG MacOS
(Обсуждение)

Похожее для #Windows
🔈 Qwen-TTS Studio - для использования Qwen3-TTS с пользовательским интерфейсом.
🔗 https://github.com/Danmoreng/qwen-tts-studio
(Обсуждение)
#QwenVoice #QwenTTS #macOS #Qwen3TTS #TTS #AiLocal #LocalAi
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
📱 MNN Chat

Это приложение для Android, использующее мультимодальную языковую модель (LLM).

Поддержка мультимодальных моделей: обеспечивает функциональность для решения различных задач, включая преобразование текста в текст, изображений в текст, аудио в текст и генерацию текста в изображения (с помощью моделей диффузии).

Скачать с GPlay: https://play.google.com/store/apps/details?id=com.alibaba.mnnllm.android.release
Скачать .APK Версия 0.8.0.1
Приложение MNNLLM для iOS

MNN Chat поддерживает новые qwen3.5 2b,4b and 0.8b

Модели для MNN Chat https://huggingface.co/DeProgrammer/models?search=mnn с 8-битным квантованием.

Еще их приложения:
📱 MNN-TaoAvatar для Android — локальный 3D-аватар с искусственным интеллектом

📱 MNN-Sana-Edit-V2 - позволяет редактировать фотографии в мультяшном стиле с помощью Sana.

Сайт: https://www.mnn.zone/m/0.3/
Проект: https://github.com/alibaba/MNN
#MNNLLM #MNNChat #MNN #Android #AiLocal #LocalAi
Модель: Jan-Code-4B: небольшая модель Jan-v3, настроенная на распознавание кода

Jan-code-4B, небольшая модель, обученная на коде и созданная на основе Jan-v3-4B-base-instruct.
Это небольшой эксперимент, направленный на улучшение повседневной помощи в написании кода, включая генерацию кода, редактирование/рефакторинг, базовую отладку и написание тестов. При этом он достаточно легкий, чтобы его можно было запускать локально. Предназначен для замены модели Haiku в Claude Code.

В тестах на кодирование он показывает небольшое улучшение по сравнению с базовым вариантом и в целом более надежен при выполнении запросов, связанных с кодированием, при таком размере.

Как его запустить:
Скачайте Jan Desktop: https://www.jan.ai/, а затем загрузите Jan-code через Jan Hub.

Клод Код (через Jan Desktop)
С помощью Jan можно легко подключить Claude Code к любой модели, просто заменив модель Haiku на → Jan-code-4B.

Ссылки на модели:
Jan-code: https://huggingface.co/janhq/Jan-code-4b
Jan-code-gguf: https://huggingface.co/janhq/Jan-code-4b-gguf

Рекомендуемые параметры:
температура: 0,7
верхний предел: 0,8
верхний порог: 20
(Обсуждение)

Про Jan https://t.me/Ai2Local/10 и https://t.me/Ai2Local/11
Jan-v2-VL-Max: https://t.me/Ai2Local/55
Модель: Jan v3 Instruct: https://t.me/Ai2Local/149
#JanCode4B #LocalAi #Jan #JanAi #App #Windows #MacOS #AiLocal  #AiModel #ModelAi
Please open Telegram to view this post
VIEW IN TELEGRAM
Arandu - Запускатель Llama.cpp со встроенным huggingface (Llama.cpp app like LM Studio / Ollama)

Arandu — приложение, помогающее использовать Llama.cpp. Идея состоит в том, чтобы создать небольшую систему на основе llama-server без необходимости подключаться к DLL-файлам.

- Управление моделями
- Интеграция с HuggingFace
- Интеграция Llama.cpp с GitHub для управления релизами
- Запуск терминала Llama-server с простой настройкой аргументов и предустановок, внутренних и внешних
- Встроенный интерфейс чата Llama-server
- Аппаратный монитор
- Цветовые темы

🔗 https://github.com/fredconex/Arandu
Скачать Windows v0.6 https://github.com/fredconex/Arandu/releases/tag/arandu-v0.6.0
(Обсуждение) (Про версия 0.5.82) (Про версия 0.6.0)
#Arandu #Llama #huggingface #Windows #AiLocal #LocalAi
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM