Local Ai
443 subscribers
895 photos
250 videos
4 files
811 links
Все про Локальные ИИ на ПК и Смартфонах - программы и модели, которые можно запустить на 96Gb VRAM. (Как сайт: https://t.me/s/ai2local )
ИИ для Здоровья: @Ai2Health
Download Telegram
Модель: Qwen3.5 Unsloth GGUF - Последнее обновление 05 марта!

- Переустановите Qwen3.5-35B-A3B, 27B и 122B-A10B, так как все они обновлены.
- Qwen3.5-27B и 122B-A10B содержат исправления для более ранних версий шаблонов чата, которые улучшают работу инструментов и кодирование.
- Qwen3.5-35B-A3B теперь поддерживает все варианты (Q4_K_M, Q8_0, BF16 и т. д.).
Скорее всего, это последнее обновление GGUF.
- Все GGUF теперь используют наш новый набор данных imatrix калибровочный набор данных, поэтому вы можете заметить небольшие улучшения в работе чата, кодировании, отображении длинных контекстов и вызовах инструментов. Мы постоянно улучшаем этот набор данных вручную, и он будет часто меняться.

- Это продолжение

- Мы усовершенствовали наш метод квантования для Qwen3.5 MoE, чтобы напрямую снизить максимальное значение KLD. Обычно используется значение 99,9 %, но при наличии значительных выбросов максимальное значение KLD может быть полезным. Наш новый метод в целом значительно снижает максимальное значение KLD по сравнению с версией до обновления от 5 марта.
UD-Q4_K_XL на 8 % больше, но максимальное значение KLD снижено на 51 %! (Лучше скачивать кванты с UD-...)
(Обсуждение)

Ссылки на новые GGUF:
Qwen3.5-35B-A3B-GGUF,
Qwen3.5-122B-A10B-GGUF,
Qwen3.5-397B-A17B-GGUF
Или https://lmstudio.ai/unsloth
#Qwen35 #Unsloth #GGUF #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
🎞 LTX Desktop - Рабочий стол LTX

Полностью локализованное пространство для создания ИИ Видео с интегрированным видеоредактором, созданным на движке LTX

Без облака! Отсутствие платы! Никакие данные не покидают ваше устройство!
🔗 https://ltx.io/ltx-desktop
На Windows локальная работа, на MacOS - по API

LTX-2.3 model was just released!
🔗 https://ltx.io/model
(Обсуждение)
#LTXDesktop #LTXModel #LTX #AiVideo #Windows #MacOS
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
💡 Невероятной ценности документ! В Избранное!

⚡️ Список из более чем 76 моделей, которые помогут вам начать создавать локальных агентов SOTA уже сегодня.
https://docs.google.com/spreadsheets/d/1-qWYWJX_WFkBTNEA1Z3xReMyei5NW2ZuBTOmmp4YGvA/edit?gid=0#gid=0

Список ARPA Local Intellience Stack (ALIS): более 76 моделей с открытым исходным кодом, которые мы используем в ARPA Corp в области биологии, нейронаук, юриспруденции и передовых технологий.

Что там внутри:
- 76+ моделей: от DeepSeek V3.2 до специализированных моделей на основе ЭЭГ/генома.

- Технические характеристики: 4-битная и полнофункциональная версии, требования к оперативной и видеопамяти, а также специальные методы обучения (QLoRA, DPO и т. д.).

- Настройка одной командой: прямые пути для загрузки высокочастотных моделей и советы по настройке для каждой из них.
(Обсуждение)

#ARPA #ALIS #SOTA #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
🚀 NexusFlow 🚀

Полнофункциональная Agile-платформа для совместной работы в режиме реального времени с глубокой интеграцией ИИ на основе OpenRouter.
NexusFlow — доску управления проектами, в которой за настройку отвечает искусственный интеллект. Полностью бесплатное решение с использованием вашего собственного ключа API OpenRouter (бесплатный уровень работает).

AI Architect — опишите свой проект простым текстом, выберите шаблон (Kanban, Scrum и т. д.), и искусственный интеллект сгенерирует для вас всю доску: столбцы, задачи, описания и приоритеты. Никакой пустой доски, никакой ручной настройки.

Генерация диаграмм — внутри любой задачи ИИ генерирует архитектурную диаграмму или диаграмму «сущность-связь», которая отображается прямо в интерфейсе, так что документация находится рядом с работой.

Другие режимы работы ИИ — добавление задач в каждый столбец, создание подзадач в один клик, помощник по написанию текстов.

Остальное стандартно: Канбан с функцией перетаскивания, 5 режимов просмотра, совместная работа в реальном времени, доступ на основе ролей.

NexusFlow — это инструмент для управления проектами промышленного уровня, созданный по мотивам Trello и Jira. Он разрабатывался с нуля как полнофункциональный портфельный проект. Он обеспечивает совместную работу в режиме реального времени с помощью веб-сокетов SignalR, многофункциональную канбан-доску с функцией перетаскивания, несколько режимов просмотра и мощный уровень искусственного интеллекта на базе API OpenRouter.

🌐 Живая Демонстрация https://nexusflow123.vercel.app

Все 🎞 видео и Подробное описание:
🔗 https://github.com/GmpABR/NexusFlow
(Обсуждение)
#NexusFlow #Trello #Jira #OpenRouter #Agile
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Модель: Протестировали 17 моделей MLX на M3 Ultra — вот какие из них действительно умные и быстрые!
Наблюдения:
GPT-OSS-20B на самом деле хорош — показывал 80 % обращений к инструментам. При 12 ГБ оперативной памяти и скорости 124 т/с это самая быстрая «умная» модель.

Qwen3.5-27B — золотая середина — средняя производительность 76 % при всего 15 ГБ ОЗУ. Лучшая модель, которая «подойдет куда угодно».

Qwen3.5-9B превосходит свои аналоги — средняя производительность 71 %, 5 ГБ ОЗУ, 106 т/с. Самая компактная модель, которая действительно подходит для работы с агентами.

Devstral-Small-2 — только для написания кода — 90 % кода, но 17 % — вызовы инструментов (в шаблоне чата нет поддержки инструментов). Отличный режим написания кода, ужасный агент.

GLM-4.5-Air: большой, но надежный — в среднем 78 %, как и у GLM-4.7-Flash, но более сбалансированный (80 % общего кода против 50 % у Flash).

Полная таблица результатов с разбивкой по TTFT, оперативной памяти и по каждому вопросу: SCORECARD.md
(реальные тесты: HumanEval+ для программирования, MATH-500 для логического мышления, MMLU-Pro для общих знаний, а также 30 сценариев с использованием инструментов.)

🤖 Для Агентов и Программирования:
Qwen3.5-122B-A10B, 8 бит, — король — 90 % по всем четырем тестам. Только 10 активных параметров (MoE), так что 43 т/с, несмотря на «122B». Если у вас 256 ГБ оперативной памяти, то это то, что нужно.

Qwen3.5-122B mxfp4 — лучшее соотношение цены и качества — почти такие же результаты, декодирование со скоростью 57 т/с и потребность в 74 ГБ оперативной памяти (подходит для компьютеров Mac с 96 ГБ ОЗУ).

Qwen3-Coder-Next — король скорости в программировании — 90 % кода выполняется за 74 такта в секунду (4 бита). Если вы используете Aider/Cursor/Claude Code и вам нужна быстрая реакция, то это то, что вам нужно.

GLM-4.7-Flash — спящий режим — 100 % на кодирование, 90 % на логическое мышление, но только 50 % на множественный выбор в MMLU-Pro. Отлично справляется с задачами на кодирование, но плохо — с общими знаниями.

MiniMax-M2.5 не может генерировать код — 10 % на HumanEval+, несмотря на 87 % вызовов инструментов и 80 % логических выводов. Что-то не так с форматом генерации кода. Отлично подходит для логических выводов.

Малые модели (0,6 млрд, 8 млрд) не подходят для агентов — вызов инструмента занимает менее 30 % времени, кодирование — менее 20 %. Быстрые, но бесполезные для чего-либо, кроме простого общения.

Полная таблица результатов с разбивкой по вопросам: https://github.com/raullenchai/vllm-mlx/blob/main/evals/SCORECARD.md
(Обсуждение)
#Benchmark #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
📊 Прогресс: Qwen3.5 в сравнении с лучшими моделями того же размера, выпущенными 2 года назад.
Гигантский прогресс!
(Обсуждение)
#Qwen35 #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
🎙 TranscriptionSuite - Полностью локальное приложение для преобразования речи в текст с кроссплатформенной поддержкой, диаризацией, режимом аудиозаметок, интеграцией с LM Studio, а также возможностью транскрибировать как длинные записи, так и речь в реальном времени.
Особенности:
- 100% локально: Все работает на вашем собственном компьютере, приложение не нуждается в интернете после начальной настройки*
- Мульти-серверная СТТ: Whisper, NVIDIA NeMo Parakeet / Canary и VibeVoice—ASR-сервер автоматически определяется по названию модели
- По-настоящему многоязычный: Whisper поддерживает более 90 языков; Поддержка NeMo Parakeet / Canary 25 европейских языков; Поддержка VibeVoice 50 языков!
- Менеджер моделей: Просматривайте модели по семействам, просматривайте возможности, управляйте загрузками / кэшем и намеренно отключайте слоты моделей
- Полнофункциональный графический интерфейс: Настольное приложение Electron для Linux, Windows и macOS
- Режим GPU + CPU: Ускорение NVIDIA CUDA (рекомендуется) или режим только для процессора для любой платформы, включая macOS
- Транскрипция в длинной форме: Записывайте столько, сколько хотите, и расшифруйте запись за считанные секунды; либо с помощью вашего микрофона, либо с помощью системного аудио
- Режим Live: Транскрипция каждого предложения в режиме реального времени для непрерывного процесса диктовки (в настоящее время только шепотом)
- Запись в дневнике говорящего: Идентификация говорящего на основе PyAnnote
- Транскрипция статического файла: Транскрибирование существующих аудио / видеофайлов с возможностью очереди импорта нескольких файлов, повторных попыток и отслеживания хода выполнения
- Глобальные сочетания клавиш: Системные ярлыки с поддержкой портала Wayland и функцией вставки в позицию курсора
- Удаленный доступ: безопасный доступ к домашнему рабочему столу с запущенной моделью из любого места (с использованием Tailscale)
- Аудиодневник: режим аудиодневника с календарем, полнотекстовым поиском и интеграцией с LM Studio (общайтесь с ИИ о своих заметках)
- Управление через системный трей: быстрый запуск/остановка записи, а также множество других элементов управления, доступных через системный трей.

📌Полчаса аудиозаписей расшифрованы менее чем за минуту с помощью Whisper (RTX 3060)!

🔗 https://transcriptionsuite.app
🔗Проект: https://github.com/homelab-00/TranscriptionSuite
Скачать v1.1.2
(Обсуждение новое и было)
#TranscriptionSuite #ASR #Whisper #VibeVoice #Parakeet #Canary #Linux #Windows #macOS #Диктовка #Транскрипция #Транскрибирование #PyAnnote #LMStudio #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🤖 Компания Liquid AI выпустила LocalCowork на базе LFM2-24B-A2B для локального выполнения агентских рабочих процессов с приоритетом конфиденциальности с помощью протокола Model Context Protocol (MCP)
Компания Liquid AI выпустила LFM2-24B-A2B и сопутствующий настольный агент с открытым исходным кодом LocalCowork — полностью локальный ИИ-агент, ориентированный на конфиденциальность, который выполняет рабочие процессы с использованием инструментов непосредственно на потребительском оборудовании без привязки к облачным API. Модель, использующая архитектуру разреженной смеси экспертов (Sparse Mixture-of-Experts, MoE), которая занимает около 14,5 ГБ оперативной памяти, использует протокол Model Context Protocol (MCP) для безопасного взаимодействия с локальными файловыми системами, оптического распознавания символов и сканирования на предмет угроз.
При тестировании на Apple M4 Max он показал впечатляющее время отклика менее секунды (~385 мс) и высокую точность на одном этапе (80 %), хотя инженерам следует учитывать его текущие ограничения в многоэтапных автономных процессах (успешность 26 %) из-за «конфликта между братьями и сёстрами». Поэтому он лучше всего подходит для быстрых рабочих процессов с участием человека, а не для полностью автоматизированных конвейеров...

Полный анализ: https://www.marktechpost.com/2026/03/05/liquid-ai-releases-localcowork-powered-by-lfm2-24b-a2b-to-execute-privacy-first-agent-workflows-locally-via-model-context-protocol-mcp/

GitHub-Cookbook: https://github.com/Liquid4All/cookbook/tree/main/examples/localcowork

Технические подробности: https://www.liquid.ai/blog/no-cloud-tool-calling-agents-consumer-hardware-lfm2-24b-a2b
#LocalCowork #LiquidAI #LFM224BA2B #AiModel #ModelAi #LocalAi #AiLocal #AiAgent #AgentAi
Please open Telegram to view this post
VIEW IN TELEGRAM
🎙 Hex - ГОЛОС → СЛОВА

Нажмите и удерживайте горячую клавишу, чтобы записать свой голос и вставить результат в то место, где вы печатаете.

Hex поддерживает как Parakeet TDT v3 через потрясающий FluidAudio (по умолчанию — это просто нечто: быстрый, многоязычный и оптимизированный для работы в облаке), так и потрясающий WhisperKit для расшифровки на устройстве.

🔗 https://hex.kitlangton.com
Скачать для MacOS 0.6.10
Проект: https://github.com/kitlangton/Hex

🎙 Еще есть проект: 🎙 VoxTape
8,3 секунды аудио → 0,4 секунды логического вывода на M3 Max. Это в 20 раз быстрее, чем в реальном времени. Локально. Без облака. Без подписки. Без телеметрии. Поддерживает более 100 языков!
🔗 https://github.com/eauchs/voxtape
(Обсуждение)

И еще есть: 🎙 MacParakeet https://t.me/Ai2Local/463
Аналоги по тегу: #Диктовка
#Hex #ASR #STT #VoxTape #Parakeet #Whisper #MacOS #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Модель: Open-Sourcing Sarvam 30B and 105B

Обучены с нуля индийской компанией!

Судя по описанию модели HF 105B, ее главное преимущество перед GLM-4.5-Air заключается в том, что она была специально обучена работе с 22 индийскими языками. Это более важно, чем может показаться тем, кто не живет в Индии: в этой стране люди часто переключаются с одного языка на другой в середине предложения, что создает проблемы для многих современных языковых моделей.

🔗 Подробно: https://www.sarvam.ai/blogs/sarvam-30b-105b
Sarvam 30B https://huggingface.co/sarvamai/sarvam-30b
Sarvam 105B https://huggingface.co/sarvamai/sarvam-105b
(Обсуждение) (Обсуждение-2)

Без Цензуры:
👉 Sarvam 30B Uncensored via Abliteration
🔗 https://huggingface.co/aoxo/sarvam-30b-uncensored
(Обсуждение)

👉 Sarvam-105B Uncensored
🔗 https://huggingface.co/aoxo/sarvam-105b-uncensored
(Обсуждение)

👉 Сравнительный анализ: Sarvam 30B и 105B против Qwen 3.5?

#Sarvam #Sarvam30B #Sarvam105B #Uncensored #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🤖 Chatons — Ваше настольное рабочее пространство с ИИ для кода, общения и проектов.

Это настольное рабочее пространство с ИИ для разработки и управления проектами: оно позволяет общаться с несколькими поставщиками ИИ, выбирать частичные или полные списки моделей, управлять навыками/инструментами и вести переписку в одном месте.
Объединяет кодирование, написание текстов и управление проектами с помощью ИИ в одном элегантном рабочем пространстве. Подключайте любого поставщика моделей, организуйте общение по проектам и позволяйте помощнику читать, редактировать и запускать код прямо в ваших репозиториях.

Все ваши данные остаются на вашем устройстве. Никакой облачной синхронизации, никакой телеметрии по умолчанию.

🧠 Мультипровайдерный ИИ
Подключайте OpenAI, Anthropic, Ollama, LMStudio или любой API-интерфейс, совместимый с OpenAI. Меняйте модели в зависимости от темы разговора. Используйте облачные или локальные ресурсы.
Для macOS (Apple Silicon и Intel), Windows (x64), Linux

🔗 https://www.chatons.ai
Проект: https://github.com/thibautrey/chaton
(Обсуждение)
#Chatons #macOS #Windows #Linux #LocalAi #AiLocal #AiAgent #AgentAi
Please open Telegram to view this post
VIEW IN TELEGRAM
🔈 Echo-TTS MLX для преобразования текста в речь

Echo-TTS MLX — 2,4B технология преобразования текста в речь с клонированием голоса, адаптированная для Apple Silicon
Портировали Echo-TTS с CUDA для нативной работы на процессорах Apple M-Series Silicon.

Echo-TTS — это технология DiT размером 2,4B, которая преобразует текст в речь с помощью клонирования голоса. Если дать ей текст и короткий аудиофайл с чьим-то голосом, она сгенерирует речь этим голосом.

На базовом Mac mini с процессором M4 и 16 ГБ памяти генерация короткого 5-секундного голосового клона занимает около 10 секунд. Генерация клонов длительностью до 30 секунд занимает около 60 секунд.

Добавленные функции:
- Режимы квантования: 8 бит, mxfp4, смешанный (сокращает объем памяти с ~6 ГБ до ~4 ГБ, скорость в 1,2–1,4 раза выше)
- Предустановки качества: черновой вариант, быстрый, сбалансированный, качественный, сверхкачественный
- Обрезка хвостов: латентная, энергетическая, f0
- Блочная генерация: потоковая передача, продолжение аудио, --blockwise 128,128,64

🔗 https://github.com/mznoj/echo-tts-mlx
Блог и Примеры: https://jordandarefsky.com/blog/2025/echo/
Демо: https://huggingface.co/spaces/jordand/echo-tts-preview
(Обсуждение)
#EchoTTS #TTS #MLX #MacOS #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
🎙 DictaWiz: AI Voice Keyboard (Private Voice to Text) - Транскрибация голоса и диктофонных записей локально на iPhone с помощью Parakeet

📱 https://apps.apple.com/us/app/dictawiz-ai-voice-keyboard/id6759256382
📱 https://apps.apple.com/us/app/dictawiz-private-voice-to-text/id6759256382 - новое название: DictaWiz: Private Voice to Text

В приложении есть и #Whisper но #Parakeet работает значительно быстрее!
Надо будет скачать модель в 200Мб.
Также в комплекте специальная клавиатура, которая работает в любом приложении. Все обрабатывается локально, данные не покидают ваше устройство. При желании вы можете синхронизировать свои заметки, записи и ярлыки с iCloud.

Щедрые бесплатные лимиты. Клавиатурой можно пользоваться бесплатно. За использование локальных функций искусственного интеллекта взимается небольшая плата после достижения лимита, а запись и расшифровка более 60 минут стоят немного дороже, но даже бесплатное приложение поможет вам сэкономить как минимум час в день.
Приложение постоянно обновляется и улучшается!
В планах: диктовка с помощью часов, дополнительные модели, такие как QWEN ASR

Ранее была установка через TestFlight https://testflight.apple.com/join/e5pcxwyq
(Обсуждение)
#Транскрибация #ASR #STT #DictaWiz #FreeVoice #AIVoiceKeyboard #iPhone #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
🎙 whisperX - автоматическое распознавание речи с временными метками на уровне слов (и диаризацией)

⚡️ Пакетная обработка для 70-кратного ускорения расшифровки в реальном времени с использованием модели whisper large-v2
(Модель #whisper от OpenAI изначально не поддерживает пакетную обработку.)
🎯 Точные временные метки на уровне слов с использованием выравнивания wav2vec2
👯‍♂️ Многоголосная система автоматического распознавания речи с использованием диаризации по голосам из pyannote-audio (метки с идентификаторами говорящих)
🗣 Предварительная обработка VAD, снижающая количество ложных срабатываний и обеспечивающая пакетную обработку без ухудшения показателя WER
- Обнаружение голосовой активности (Voice Activity Detection, VAD) — это определение наличия или отсутствия человеческой речи.
- Диарризация по говорящим — это процесс разделения аудиопотока, содержащего человеческую речь, на однородные сегменты в соответствии с идентификацией каждого говорящего.

Если вам нужен API для расшифровки записей совещаний, обратите внимание на API для расшифровки записей совещаний от Recall.ai, который работает с Zoom, Google Meet, Microsoft Teams и другими платформами. Recall.ai извлекает данные о выступающих и отдельные аудиопотоки с платформ для проведения совещаний, что обеспечивает 100-процентную точность определения выступающих с указанием их имен.

🔗 https://github.com/m-bain/whisperX

💡 И совместно может быть интересен: EchoNotes которое отслеживает появление новых файлов в папке, извлекает их содержимое (текст, аудио, видео), обобщает его с помощью локальной модели большой языковой модели и сохраняет обобщенный результат на диск. Приложение поддерживает работу в автономном режиме и может работать с файлами различных форматов, включая PDF, документы Word, текстовые файлы, видео- и аудиофайлы.
🔗 https://github.com/nothingmn/echonotes

#whisperX #EchoNotes #Транскрибация #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
👁 Observer - Наблюдательный ИИ

Локальные микроагенты, которые наблюдают, регистрируют и реагируют
Создавайте мощные микроагенты, которые будут наблюдать за вашим цифровым миром, запоминать важную информацию и принимать взвешенные решения, сохраняя при этом ваши данные в полной конфиденциальности и безопасности.

🔗 https://app.observer-ai.com
Наглядно про создание и использование агентов: https://www.youtube.com/watch?v=6zJh8NmCXYw
Observer AI Launch https://www.youtube.com/watch?v=i5WDvQy0XJA
(Все видео на Канале)
📱 https://apps.apple.com/mx/app/observer-ai/id6758222050
Проект: https://github.com/Roy3838/Observer
(Обсуждение)
#Observer #AiAgent #AgentAi #LocalAi #AiLocal #App #iPhone
Please open Telegram to view this post
VIEW IN TELEGRAM