Local Ai
443 subscribers
895 photos
250 videos
4 files
811 links
Все про Локальные ИИ на ПК и Смартфонах - программы и модели, которые можно запустить на 96Gb VRAM. (Как сайт: https://t.me/s/ai2local )
ИИ для Здоровья: @Ai2Health
Download Telegram
Arandu - Запускатель Llama.cpp со встроенным huggingface (Llama.cpp app like LM Studio / Ollama)

Arandu — приложение, помогающее использовать Llama.cpp. Идея состоит в том, чтобы создать небольшую систему на основе llama-server без необходимости подключаться к DLL-файлам.

- Управление моделями
- Интеграция с HuggingFace
- Интеграция Llama.cpp с GitHub для управления релизами
- Запуск терминала Llama-server с простой настройкой аргументов и предустановок, внутренних и внешних
- Встроенный интерфейс чата Llama-server
- Аппаратный монитор
- Цветовые темы

🔗 https://github.com/fredconex/Arandu
Скачать Windows v0.6 https://github.com/fredconex/Arandu/releases/tag/arandu-v0.6.0
(Обсуждение) (Про версия 0.5.82) (Про версия 0.6.0)
#Arandu #Llama #huggingface #Windows #AiLocal #LocalAi
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
🤖 Sulla Desktop — это готовый к использованию в бизнесе ИИ-агент. Легко устанавливается, работает бесплатно.
Автономный агент с полностью открытым исходным кодом, предназначенный для настольных компьютеров, с постоянной памятью, календарем, рабочими пространствами Docker и автоматизацией n8n — все это в вашем распоряжении, и вы можете расширять его возможности.
Разработано для тех, кто живет по принципу n8n, любит выстраивать рабочие процессы, пишет код интуитивно или просто выполняет слишком много важных задач за слишком короткое время. Никаких подписок. Никакой привязки к облаку.

Делегируйте задачи так, как если бы у вас был технический соучредитель, работающий на полную ставку, — без дополнительных расходов.

Идеально подходит для энтузиастов автоматизации с помощью искусственного интеллекта, программистов, владельцев бизнеса, агентств и операторов, которые хотят повысить производительность, не увеличивая количество рабочих часов или штат сотрудников.

Вы сможете:
- создавать рабочие процессы и автоматизацию с помощью ИИ в 5–10 раз быстрее
(Найдите более 9000 шаблонов, настройте их и разверните — за считаные минуты, а не дни)
- Доверьте многоэтапные технические проекты профессионалам
(Планирование, кодирование, Docker, обновление памяти — все под контролем)
- Контролируйте свой контекст и память всегда
(Векторная база данных + планы по созданию разметки, которые никогда не исчезнут)

Основные характеристики:
- Постоянная векторная долговременная память
- Наблюдательный краткосрочный контекстный слой
- Механизм календаря с событиями автоматического пробуждения
- Рабочие пространства Docker для изолированной разработки
- Интеграция n8n — поиск/импорт тысяч шаблонов
- Динамический реестр инструментов + узлы навыков
- Работает на потребительском оборудовании (рекомендуется 8–16 ГБ ОЗУ)
- Полностью открытый исходный код (Apache 2.0) — форк, расширение, владение

Работает на macOS, Linux и Windows (Git Bash или WSL).
🔗 https://github.com/sulla-ai/sulla-desktop
(Обсуждение)
#SullaDesktop #AiAgent #AgentAi #AiLocal #LocalAi
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
⚡️ Новая версия Vesta AI Explorer для Mac — с управлением Qwen 3.5 (Thinking — VLM/LLM)

Нативное приложение с ИИ для macOS с несколькими бэкендами, анализом и созданием изображений, рендерингом LaTeX, блоками кода с подсветкой синтаксиса и локальным выводом на Apple Silicon.
🎤 TTS и STT
Преобразование текста в речь с помощью Kokoro с более чем 45 голосами. Преобразование речи в текст с помощью WhisperKit. Все функции доступны на устройстве через MLX и CoreML.

🖼 Генерация изображений и видео
Создавайте изображения с помощью FLUX и Stable Diffusion. Создавайте видео с помощью Wan2.2 и HunyuanVideo через HuggingFace.

👁 Vision & VLM
Анализируйте изображения, диаграммы и документы с помощью локальных языковых моделей Vision. Перетаскивайте или вставляйте файлы.

🔗 Протокол MCP
Более 33 инструментов на основе протокола Model Context Protocol. Автоматизируйте Vesta с помощью Claude Code, скриптов или любого клиента MCP.

Вышла новая версия Vesta AI Explorer для Mac. Оптимизирована для моделей Qwen 3.5. Новая функция позволяет включать и выключать режим Thinking, а также режим загрузки VLM или LLM.

А также с аудиофункциями Kokoro, Marvis и Whisper

Вы можете использовать практически все доступные модели в одном приложении.

Доступ к общедоступным моделям искусственного интеллекта
Подключитесь к более широкой экосистеме искусственного интеллекта через HuggingFace Inference API и совместимые с OpenAI сервисы, такие как OpenRouter, Cerebras, Groq, Together AI и другие — 31 сервис уже настроен и готов к работе.

Оно доступно только на компьютерах Mac с MacOS 26 и выше.

5 бэкендов для изучения ИИ — Apple Local AI, Swift MLX, Llamacpp, API и HuggingFace — в одном приложении.

🔗 https://kruks.ai
https://github.com/scouzi1966/vesta-mac-dist
(Обсуждение)
#VestaAIExplorer #macOS #kruksai #AiLocal #LocalAi
Please open Telegram to view this post
VIEW IN TELEGRAM
🌐 Cognito: ChatGPT 5, Ollama, Claude

Прямо сейчас он может:
• обобщать информацию с веб-страниц
• задавать вопросы о любом сайте
• взаимодействовать с результатами поиска
• запускать модели локально через Ollama (облачные модели — по желанию)
Cognito — это расширение для Chrome, которое с помощью ИИ позволяет анализировать, переводить и взаимодействовать с веб-контентом и видео на YouTube.
Уделяя особое внимание конфиденциальности пользователей, Cognito поддерживает локальное использование больших языковых моделей через Ollama, а также интеграцию с другими мощными сервисами на основе ИИ, что позволяет вам контролировать свои данные и расходы.

⭐️ Ключевые особенности ⭐️
🧠 Понимание с помощью ИИ (с поддержкой Mindmap) Интеграция Ollama для локальных языковых моделей: запускайте модели ИИ прямо на своем компьютере для обобщения информации и выполнения других задач, обеспечивая полную конфиденциальность данных и отсутствие внешних затрат.

Обобщение информации с веб-сайтов и YouTube: получайте краткие обзоры веб-страниц и расшифровки видео с YouTube. Глубокое изучение и объяснение сложных тем: разбирайтесь в сложных темах с помощью искусственного интеллекта, который может объяснять фрагменты исходного кода, исследовательские концепции и разъяснять сложные термины.

🗣 Бесшовный перевод веб-сайтов: переводите текст на любой веб-странице на нужный вам язык. Перевод на YouTube: понимание видео на любом языке (в зависимости от доступных субтитров или расшифровки).

✍️ Интеллектуальная помощь в написании текстов Предложения по написанию текстов на основе искусственного интеллекта: получайте помощь в составлении текста прямо в браузере.

💡 Гибкая поддержка моделей ИИ Ollama (локальная языковая модель): используйте возможности локальных моделей ИИ для повышения конфиденциальности и бесплатного использования.

Интеграция с Groq (бесплатный доступ к Llama 70B): получите доступ к высокопроизводительной модели Llama 70B на бесплатном тарифе через API Groq (требуется ключ API). Google Gemini (бесплатный доступ): используйте возможности моделей Google Gemini с бесплатным доступом (ограниченное количество запросов).
Совместимость с ChatGPT: подключите существующую учетную запись ChatGPT, чтобы получить доступ к моделям OpenAI.

Почему стоит выбрать Cognito?
Cognito уделяет особое внимание конфиденциальности пользователей благодаря уникальной интеграции с Ollama, которая позволяет использовать возможности ИИ без передачи данных за пределы вашего локального компьютера. В сочетании с бесплатным доступом к мощным моделям, таким как Llama 70B через Groq и Google Gemini, а также возможностью использовать собственную учетную запись ChatGPT, Cognito предлагает мощный, универсальный и безопасный для конфиденциальности ИИ-помощник для работы в интернете.

⬇️Установить: https://chromewebstore.google.com/detail/cognito-chatgpt-5-ollama/bcejicipnpgpcbmnafmnlgmpdingjkdk

Обзор: https://www.youtube.com/watch?v=uLSA2Et6VzA
(Обсуждение)
#Cognito #Ollama #Chrome #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Модель: Phi-4-Reasoning-Vision-15B

Phi-4-Reasoning-Vision-15B — это универсальная модель, которую можно использовать для решения широкого спектра задач, связанных с обработкой изображений и текста, таких как создание подписей к изображениям, ответы на вопросы об изображениях, чтение документов и квитанций, помощь в выполнении домашних заданий, отслеживание изменений в последовательностях изображений и многое другое. Помимо этих общих возможностей, модель отлично справляется с математическими и научными задачами, а также с распознаванием и анализом элементов на экранах компьютеров и мобильных устройств.

🔗 https://huggingface.co/microsoft/Phi-4-reasoning-vision-15B
Блог - тут подробно!
Технический отчет.
Тест: https://ai.azure.com/catalog/models/Phi-4-Reasoning-Vision-15B
(Обсуждение)
#Phi4 #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
📱 SmolChat - Запуск ИИ на Android без интернета

SmolChat — приложение для локального запуска нейросетей на мобильных устройствах. Работает по принципу LM Studio, но для Android.
Как использовать:
• Загрузите модель с Hugging Face (модель скачивается в папку "Загрузки")
• Приложение предложит импорт модели GGUF из папки "Загрузки"
• Используйте без ограничений даже в офлайн режиме
• Доступны популярные опенсорсные модели (DeepSeek, Qwen3.5, Gemma3 и др.)

Рекомендация: для стабильной работы лучше выбирать модели с запасом помещающиеся в свободной ОЗУ (для многих это до 1,5B параметров — этого достаточно для базовых задач). На современных Android с ОЗУ 16Гб. - это будут модели на 6-7Гб. (Можно даже Qwen3.5-9B попробовать!)
Из минусов: Нет загрузки файлов и Изображений в чат. (Возможно добавят позже)

🔗 https://play.google.com/store/apps/details?id=io.shubham0204.smollmandroid
Список всех ИИ приложений тут: https://t.me/Ai2Local/265
#SmolChat #Android #App #AiLocal #LocalAi
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
Модель: Сравнение производительности Qwen3 и Qwen3.5

Обратите внимание, что в плотных моделях используется указанный размер параметров (например, 27B), в то время как модели Mixture-of-Experts (например, 397B A17B) преобразуются в эффективный размер с использованием формулы ( \sqrt{\text{total} \times \text{active}} ) для приблизительного определения вычислительного эквивалента.
Источник данных: https://artificialanalysis.ai/leaderboards/models (Обсуждение)
#Qwen3 #Qwen35 #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Модель: MistralNemoDionysusV3 - 12B без цензуры!

Автор пишет: Я долго не мог найти подходящую для ролевой игры модель — большинство из них либо были слишком ограниченными, либо голоса персонажей звучали невыразительно. Поэтому я собрал эту модель из разных версий Mistral Nemo, и она стала моей любимой.

Это модель 12B без цензуры, ориентированная на ролевые игры. По моему опыту, она довольно хорошо справляется с озвучиванием персонажей и не пасует перед морально сложными сценариями. Не утверждаю, что это лучшее решение, просто делюсь на случай, если кому-то еще оно пригодится.

Квантованный файл Q4_K_M доступен в папке с квантованными файлами, если вы не хотите работать с полной версией.

Ссылки:
- Полная модель: https://huggingface.co/Biscotto58/MistralNemoDionysusV3
- Квантованная модель: https://huggingface.co/Biscotto58/MistralNemoDionysusV3/tree/main/quantized
Используется шаблон чата по умолчанию.
(Обсуждение)
#MistralNemoDionysusV3 #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Модель: Qwen3.5 Unsloth GGUF - Последнее обновление 05 марта!

- Переустановите Qwen3.5-35B-A3B, 27B и 122B-A10B, так как все они обновлены.
- Qwen3.5-27B и 122B-A10B содержат исправления для более ранних версий шаблонов чата, которые улучшают работу инструментов и кодирование.
- Qwen3.5-35B-A3B теперь поддерживает все варианты (Q4_K_M, Q8_0, BF16 и т. д.).
Скорее всего, это последнее обновление GGUF.
- Все GGUF теперь используют наш новый набор данных imatrix калибровочный набор данных, поэтому вы можете заметить небольшие улучшения в работе чата, кодировании, отображении длинных контекстов и вызовах инструментов. Мы постоянно улучшаем этот набор данных вручную, и он будет часто меняться.

- Это продолжение

- Мы усовершенствовали наш метод квантования для Qwen3.5 MoE, чтобы напрямую снизить максимальное значение KLD. Обычно используется значение 99,9 %, но при наличии значительных выбросов максимальное значение KLD может быть полезным. Наш новый метод в целом значительно снижает максимальное значение KLD по сравнению с версией до обновления от 5 марта.
UD-Q4_K_XL на 8 % больше, но максимальное значение KLD снижено на 51 %! (Лучше скачивать кванты с UD-...)
(Обсуждение)

Ссылки на новые GGUF:
Qwen3.5-35B-A3B-GGUF,
Qwen3.5-122B-A10B-GGUF,
Qwen3.5-397B-A17B-GGUF
Или https://lmstudio.ai/unsloth
#Qwen35 #Unsloth #GGUF #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
🎞 LTX Desktop - Рабочий стол LTX

Полностью локализованное пространство для создания ИИ Видео с интегрированным видеоредактором, созданным на движке LTX

Без облака! Отсутствие платы! Никакие данные не покидают ваше устройство!
🔗 https://ltx.io/ltx-desktop
На Windows локальная работа, на MacOS - по API

LTX-2.3 model was just released!
🔗 https://ltx.io/model
(Обсуждение)
#LTXDesktop #LTXModel #LTX #AiVideo #Windows #MacOS
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
💡 Невероятной ценности документ! В Избранное!

⚡️ Список из более чем 76 моделей, которые помогут вам начать создавать локальных агентов SOTA уже сегодня.
https://docs.google.com/spreadsheets/d/1-qWYWJX_WFkBTNEA1Z3xReMyei5NW2ZuBTOmmp4YGvA/edit?gid=0#gid=0

Список ARPA Local Intellience Stack (ALIS): более 76 моделей с открытым исходным кодом, которые мы используем в ARPA Corp в области биологии, нейронаук, юриспруденции и передовых технологий.

Что там внутри:
- 76+ моделей: от DeepSeek V3.2 до специализированных моделей на основе ЭЭГ/генома.

- Технические характеристики: 4-битная и полнофункциональная версии, требования к оперативной и видеопамяти, а также специальные методы обучения (QLoRA, DPO и т. д.).

- Настройка одной командой: прямые пути для загрузки высокочастотных моделей и советы по настройке для каждой из них.
(Обсуждение)

#ARPA #ALIS #SOTA #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
🚀 NexusFlow 🚀

Полнофункциональная Agile-платформа для совместной работы в режиме реального времени с глубокой интеграцией ИИ на основе OpenRouter.
NexusFlow — доску управления проектами, в которой за настройку отвечает искусственный интеллект. Полностью бесплатное решение с использованием вашего собственного ключа API OpenRouter (бесплатный уровень работает).

AI Architect — опишите свой проект простым текстом, выберите шаблон (Kanban, Scrum и т. д.), и искусственный интеллект сгенерирует для вас всю доску: столбцы, задачи, описания и приоритеты. Никакой пустой доски, никакой ручной настройки.

Генерация диаграмм — внутри любой задачи ИИ генерирует архитектурную диаграмму или диаграмму «сущность-связь», которая отображается прямо в интерфейсе, так что документация находится рядом с работой.

Другие режимы работы ИИ — добавление задач в каждый столбец, создание подзадач в один клик, помощник по написанию текстов.

Остальное стандартно: Канбан с функцией перетаскивания, 5 режимов просмотра, совместная работа в реальном времени, доступ на основе ролей.

NexusFlow — это инструмент для управления проектами промышленного уровня, созданный по мотивам Trello и Jira. Он разрабатывался с нуля как полнофункциональный портфельный проект. Он обеспечивает совместную работу в режиме реального времени с помощью веб-сокетов SignalR, многофункциональную канбан-доску с функцией перетаскивания, несколько режимов просмотра и мощный уровень искусственного интеллекта на базе API OpenRouter.

🌐 Живая Демонстрация https://nexusflow123.vercel.app

Все 🎞 видео и Подробное описание:
🔗 https://github.com/GmpABR/NexusFlow
(Обсуждение)
#NexusFlow #Trello #Jira #OpenRouter #Agile
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Модель: Протестировали 17 моделей MLX на M3 Ultra — вот какие из них действительно умные и быстрые!
Наблюдения:
GPT-OSS-20B на самом деле хорош — показывал 80 % обращений к инструментам. При 12 ГБ оперативной памяти и скорости 124 т/с это самая быстрая «умная» модель.

Qwen3.5-27B — золотая середина — средняя производительность 76 % при всего 15 ГБ ОЗУ. Лучшая модель, которая «подойдет куда угодно».

Qwen3.5-9B превосходит свои аналоги — средняя производительность 71 %, 5 ГБ ОЗУ, 106 т/с. Самая компактная модель, которая действительно подходит для работы с агентами.

Devstral-Small-2 — только для написания кода — 90 % кода, но 17 % — вызовы инструментов (в шаблоне чата нет поддержки инструментов). Отличный режим написания кода, ужасный агент.

GLM-4.5-Air: большой, но надежный — в среднем 78 %, как и у GLM-4.7-Flash, но более сбалансированный (80 % общего кода против 50 % у Flash).

Полная таблица результатов с разбивкой по TTFT, оперативной памяти и по каждому вопросу: SCORECARD.md
(реальные тесты: HumanEval+ для программирования, MATH-500 для логического мышления, MMLU-Pro для общих знаний, а также 30 сценариев с использованием инструментов.)

🤖 Для Агентов и Программирования:
Qwen3.5-122B-A10B, 8 бит, — король — 90 % по всем четырем тестам. Только 10 активных параметров (MoE), так что 43 т/с, несмотря на «122B». Если у вас 256 ГБ оперативной памяти, то это то, что нужно.

Qwen3.5-122B mxfp4 — лучшее соотношение цены и качества — почти такие же результаты, декодирование со скоростью 57 т/с и потребность в 74 ГБ оперативной памяти (подходит для компьютеров Mac с 96 ГБ ОЗУ).

Qwen3-Coder-Next — король скорости в программировании — 90 % кода выполняется за 74 такта в секунду (4 бита). Если вы используете Aider/Cursor/Claude Code и вам нужна быстрая реакция, то это то, что вам нужно.

GLM-4.7-Flash — спящий режим — 100 % на кодирование, 90 % на логическое мышление, но только 50 % на множественный выбор в MMLU-Pro. Отлично справляется с задачами на кодирование, но плохо — с общими знаниями.

MiniMax-M2.5 не может генерировать код — 10 % на HumanEval+, несмотря на 87 % вызовов инструментов и 80 % логических выводов. Что-то не так с форматом генерации кода. Отлично подходит для логических выводов.

Малые модели (0,6 млрд, 8 млрд) не подходят для агентов — вызов инструмента занимает менее 30 % времени, кодирование — менее 20 %. Быстрые, но бесполезные для чего-либо, кроме простого общения.

Полная таблица результатов с разбивкой по вопросам: https://github.com/raullenchai/vllm-mlx/blob/main/evals/SCORECARD.md
(Обсуждение)
#Benchmark #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
📊 Прогресс: Qwen3.5 в сравнении с лучшими моделями того же размера, выпущенными 2 года назад.
Гигантский прогресс!
(Обсуждение)
#Qwen35 #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
🎙 TranscriptionSuite - Полностью локальное приложение для преобразования речи в текст с кроссплатформенной поддержкой, диаризацией, режимом аудиозаметок, интеграцией с LM Studio, а также возможностью транскрибировать как длинные записи, так и речь в реальном времени.
Особенности:
- 100% локально: Все работает на вашем собственном компьютере, приложение не нуждается в интернете после начальной настройки*
- Мульти-серверная СТТ: Whisper, NVIDIA NeMo Parakeet / Canary и VibeVoice—ASR-сервер автоматически определяется по названию модели
- По-настоящему многоязычный: Whisper поддерживает более 90 языков; Поддержка NeMo Parakeet / Canary 25 европейских языков; Поддержка VibeVoice 50 языков!
- Менеджер моделей: Просматривайте модели по семействам, просматривайте возможности, управляйте загрузками / кэшем и намеренно отключайте слоты моделей
- Полнофункциональный графический интерфейс: Настольное приложение Electron для Linux, Windows и macOS
- Режим GPU + CPU: Ускорение NVIDIA CUDA (рекомендуется) или режим только для процессора для любой платформы, включая macOS
- Транскрипция в длинной форме: Записывайте столько, сколько хотите, и расшифруйте запись за считанные секунды; либо с помощью вашего микрофона, либо с помощью системного аудио
- Режим Live: Транскрипция каждого предложения в режиме реального времени для непрерывного процесса диктовки (в настоящее время только шепотом)
- Запись в дневнике говорящего: Идентификация говорящего на основе PyAnnote
- Транскрипция статического файла: Транскрибирование существующих аудио / видеофайлов с возможностью очереди импорта нескольких файлов, повторных попыток и отслеживания хода выполнения
- Глобальные сочетания клавиш: Системные ярлыки с поддержкой портала Wayland и функцией вставки в позицию курсора
- Удаленный доступ: безопасный доступ к домашнему рабочему столу с запущенной моделью из любого места (с использованием Tailscale)
- Аудиодневник: режим аудиодневника с календарем, полнотекстовым поиском и интеграцией с LM Studio (общайтесь с ИИ о своих заметках)
- Управление через системный трей: быстрый запуск/остановка записи, а также множество других элементов управления, доступных через системный трей.

📌Полчаса аудиозаписей расшифрованы менее чем за минуту с помощью Whisper (RTX 3060)!

🔗 https://transcriptionsuite.app
🔗Проект: https://github.com/homelab-00/TranscriptionSuite
Скачать v1.1.2
(Обсуждение новое и было)
#TranscriptionSuite #ASR #Whisper #VibeVoice #Parakeet #Canary #Linux #Windows #macOS #Диктовка #Транскрипция #Транскрибирование #PyAnnote #LMStudio #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM