Local Ai
443 subscribers
895 photos
250 videos
4 files
811 links
Все про Локальные ИИ на ПК и Смартфонах - программы и модели, которые можно запустить на 96Gb VRAM. (Как сайт: https://t.me/s/ai2local )
ИИ для Здоровья: @Ai2Health
Download Telegram
Модель: Horus-1.0-4B - 🇪🇬 Первая в Египте!

Серия Horus-1.0 состоит из моделей генерации текста, полностью обученных с нуля на триллионах чистых обучающих токенов.
Модель Horus: Horus-1.0-4B, с контекстной длиной 8K.
Модель доступна в 7 различных вариантах:
Полная версия с исходными весами!
6 сжатых вариантов, разработанных с учетом особенностей различных аппаратных средств и требований к развертыванию
Это обеспечивает исключительную гибкость для разработчиков и исследователей в зависимости от имеющихся у них вычислительных ресурсов.

Horus доступен как модель с открытым исходным кодом под лицензией TokenAI. Все доступные версии и подробные инструкции по использованию можно найти на официальном сайте:
🔗 https://tokenai.cloud/horus

Поскольку в Египте почти нет официально представленных моделей ИИ, которые полностью созданы и обучены с нуля как модели с открытым исходным кодом, Horus представляет собой важную веху в развитии отрасли.

- Horus — одна из самых мощных языковых моделей в арабском мире
- Horus — одна из самых мощных моделей в мире в своём классе
И все это подкреплено цифрами и результатами тестов.

Семейство моделей Horus:
- С открытым исходным кодом
- Полностью обучен с нуля
- Многоязычный
- Отлично справляется с последовательностью рассуждений
- Поддерживает мыслительные способности

Модель Horus-1.0-4B превзошла несколько бенчмарков, в том числе MMLU, показав результаты выше, чем у известных более крупных моделей, таких как Qwen 3.5-4B и Gemma 2 9B.

Он также превзошел те же модели в более сложных тестах MMLU Pro и даже обошел Llama 3.1 8B, несмотря на то, что эта модель более чем в два раза превосходит Horus по размеру.

Horus - не первая модель искусственного интеллекта из Египта, но это первая официально анонсированная модель с полностью открытым исходным кодом, полностью обученная с нуля из Египта.

🔗 https://huggingface.co/tokenaii/horus
🔗 https://huggingface.co/tokenaii/Hours-1.0-4B-GGUF
🔗 https://huggingface.co/tokenaii/Horus-1.0-4B-MLX
(Обсуждение)
============
Но еще есть более крупная (~40B) модель: Karnak: Enhanced Arabic–English Large Language Mode (это дообученная Qwen3-30B-A3B-Instruct-2507)
🔗 https://huggingface.co/Applied-Innovation-Center/Karnak
На данный момент она лидирует в OALL среди арабских моделей!

#Horus104B #Horus #HorusAI #Llama #Египет #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
💡Теперь вы можете самостоятельно дообучить Gemma 4 с 8 ГБ видеопамяти!
Теперь вы можете дорабатывать Gemma 4 E2B и E4B в бесплатных блокнотах Unsloth! Для локального обучения Gemma-4-E2B вам понадобится 8 ГБ видеопамяти. Unsloth обучает Gemma 4 примерно в 1,5 раза быстрее, используя на 60 % меньше видеопамяти, чем FA2: https://github.com/unslothai/unsloth

Также нашли и исправили ошибки в обучающем курсе Gemma 4:

Из-за накопления града потери больше не будут такими огромными — раньше они могли составлять от 300 до 400, а теперь — от 10 до 15. В Unsloth это исправлено.

Ошибка индекса для 26B и 31B при логическом выводе — при использовании трансформеров логический вывод для 26B и 31B будет невозможен — мы это исправили.

use_cache=False Для E2B и E4B была абракадабра — см. https://github.com/huggingface/transformers/issues/45242

Аудио в формате float16 — переполнение при -1e9

Вы также можете обучить модели 26B-A4B и 31B или провести обучение через пользовательский интерфейс с помощью Unsloth Studio. Studio и блокноты подходят для работы с Vision, Text, Audio и логическим выводом.

Подробнее об исправлении ошибок, а также полезные советы и рекомендации читайте в нашем блоге/руководстве:
https://unsloth.ai/docs/models/gemma-4/train
(Обсуждение)
🔥 Дообучение Gemma 4 и 500+ опенсорс-моделей прямо в Google Colab
Unsloth запустили бесплатный инструмент для файнтюнинга моделей через браузер. Работает просто: открываешь ноутбук в Colab, запускаешь ячейки для развёртывания Unsloth Studio, выбираешь модель и датасет, жмёшь «Start Training».

Всё опенсорс, доступно более 500 моделей, включая свежую Gemma 4. Есть пошаговый туториал по дообучению — для тех, кто хочет разобраться в деталях.

🔗 https://colab.research.google.com/github/unslothai/unsloth/blob/main/studio/Unsloth_Studio_Colab.ipynb
🔗 https://github.com/unslothai/unsloth
🔗 https://unsloth.ai/docs/models/gemma-4/train

=========
И еще есть: Мультимодальный Fine-Tuner Gemma
Точная настройка Gemma 4 и 3n с использованием аудио, изображений и текста на Apple Silicon с помощью PyTorch и шейдеров Metal Performance.
🔗 https://github.com/mattmireles/gemma-tuner-multimodal

#Gemma4 #Unsloth #finetune #train #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
🤖 Stavrobot - Ваш персональный помощник на основе ИИ.

Stavrobot — это персональный ИИ-помощник, созданный по принципу «только тот доступ, который нужен ИИ-помощнику, и не более того».
Он обладает всеми преимуществами ИИ-помощника, но при этом ориентирован на «песочницу», изоляцию и минимальные разрешения.

Безопасно. Легко. Расширяемо.
Работает в контейнерах, взаимодействует с вашими приложениями для обмена сообщениями, запоминает самое важное. Развертывается с помощью docker compose up.

Вы целый день общаетесь с ИИ, но он все забывает, ничего не может сделать сам и живет на чужом сервере.
Stavrobot — это ИИ-помощник, который действительно работает на вас: он запоминает ваши разговоры, выполняет задачи, пока вы спите, отправляет сообщения от вашего имени и полностью находится под вашим контролем. Никакой привязки к облаку, сбора данных и ограничений.

Характеристики:
- Безопасно. Все работает в контейнере, ваша операционная система полностью скрыта от ИИ. ИИ не видит никаких секретов, если только вы сами этого не захотите.
- Легко. Не нужно запускать по одному контейнеру для каждого компонента. Все плагины работают в одном контейнере, разделенном с помощью Unix-разрешений.
- Используйте любую модель. nRouter, Anthropic/OpenAI. Бот может использовать все, что поддерживает Pi.
- Интеграция с Signal/Telegram/WhatsApp/электронной почтой. Обмен сообщениями с форматированием, вложениями и т. д.
- Трехуровневая система знаний. Все без потери контекста. Интеллектуальнаясистема, которая прозрачно извлекает данные из своей памяти.
- Низкое потребление токенов. Оптимизация для снижения потребления токенов. Она даже использует TOON внутри себя.
- Плагины. Плагины расширяют возможности Stavrobot, достаточно указать URL репозитория git. Плагины изолированыдруг от друга — каждый из них работает как отдельный пользователь системы, не имеющий доступа к файлам и настройкам других плагинов.
- Субагенты. Создавайте субагентов с собственным контекстом диалога, системным запросом и ограниченным доступом к инструментам. Это удобно для общенияс внешними пользователями с целью выполнения задач или организации процессов, при этом между внешним пользователем и основным агентом есть буфер.
- Самопрограммирование. Самостоятельное развитие.
Выполнение Python в изолированной среде. Произвольный Python с зависимостями pip через uv, изолированный от среды хоста.
- Планирование. Агент может планировать собственные повторяющиеся или разовые задачи.

🔗 https://stavrobot.stavros.io
🔗 https://github.com/skorokithakis/stavrobot
(Обсуждение)
#Stavrobot #AiAgent #AgentAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Local Ai
Модель: ACE-Step 1.5 - Наконец-то вышла альтернатива Suno с открытым исходным кодом! Самая мощная локальная модель для создания музыки, которая превосходит большинство коммерческих альтернатив! ACE-Step 1.5 — это музыкальная модель с открытым исходным кодом…
🎵 ACE-Step 1.5 XL: генератор музыки с улучшенным звуком

Вышла старшая версия генератора музыки ACE-Step. В линейке три модели: xl-base, xl-sft и xl-turbo.
Для запуска нужно минимум 12 ГБ VRAM (с оффлоадом), но лучше от 20 ГБ. Все языковые модели совместимы между собой.

На сайте есть примеры работы XL-версии. Звук стал чище, но «песочек» и характерная нейросетевая окраска всё ещё слышны.

🔗 https://ace-step.github.io/ace-step-v1.5.github.io/
🔗 https://huggingface.co/ACE-Step/acestep-v15-xl-base
🔗 https://huggingface.co/ACE-Step/acestep-v15-xl-sft
🔗 https://huggingface.co/ACE-Step/acestep-v15-xl-turbo
🔗 https://github.com/ace-step/ACE-Step-1.5?tab=readme-ov-file#-model-zoo
🔗 https://huggingface.co/spaces/ACE-Step/Ace-Step-v1.5

📖 Статья: Бесплатная нейросеть для генерации музыки локально: ACE-Step 1.5 обходит Suno на бенчмарках
#ACEStep15 #ACEStep #Suno #AiMusic #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Попался пост про локальный переводчик видео:
Берем ставим Subtitle Edit - только ставьте версию 4.х, 5-е еще сырые.
Там под капотом есть Faster-Wisper XXL через него можно получить субтитры (укажите параметр --sentence чтобы сохранить предложения).
Модель используйте large-v2 или large-v3-turbo.

Подготавливаем субтитры склеивая предложения которые всё же разбились.
Далее всё в том же Subtitle Edit делаем перевод субтитров подключив раз вам нужно локально - модель gemma 4 .

Далее полученные субтитры озвучиваем через Балаболка + NaturalVoiceSAPIAdapter + при желании оффлайн голоса.
Обязательно поставьте флажок - Автоматически увеличивать скорость.

Если готовы заморочиться можете использовать словари для Edge, можете вместо голосов Edge использовать F5-TTS. Об этом читайте в этой ветке.

Накладываем аудио с переводом на видео.
Готово - вы получили перевод видео 100% локально и бесплатно

Подробнее про #перевод видео автор писал тут.
#AiTranslate #LocalAi #AiLocal
ℹ️ Чтобы в моделях gemma 4 отключить размышления нужно в системный промт добавить фразу:
disalble reasoning and thought. </thought off>

Успешно протестировано с моделью 31b по API из Google Studio.
Кстати OpenAI совместимое API для Google Studio - если кто не знает:
https://generativelanguage.googleapis.com/v1beta/openai/v1/chat/completions

модели соответственно:
models/gemma-4-31b-it
models/gemma-4-26b-a4b-it
В день доступно 1500 запросов, с лимитом 15 запросов в минуту.
#gemma4 #Prompt #Промт #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
📖 Наглядное руководство по Gemma 4

Эта визуальная книга создана на основе «Визуального руководства по Gemma 4» Маартена Гротендорста.
Полную версию книги можно найти по ссылке:
🔗 https://www.visualbook.app/books/public/v7qureynd8ie/a_more_visual_guide_to_gemma_4
На каждом слайде есть раздел для комментариев, где вы можете задавать вопросы.

📖 А еще есть: "Наглядное руководство по Gemma 4"
🔗 https://newsletter.maartengrootendorst.com/p/a-visual-guide-to-gemma-4?hide_intro_popup=true

📖 Gemma 4 от Google меняет все в сфере искусственного интеллекта с открытым исходным кодом
🔗 https://freedium-mirror.cfd/https://www.towardsdeeplearning.com/googles-gemma-4-changes-everything-for-open-source-ai-ecd91934458f
#Gemma4 #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔈 VocoLoco Personal Studio - Прощай, ElevenLabs!

Веб-приложение с открытым исходным кодом для преобразования текста в речь (TTS), полностью локальное, на основе OmniVoice, портированного на WebGPU/WASM. Попробуйте клонировать голос!

Если у вас слабый графический процессор или смартфон среднего класса, приложение не запустится. Работает же локально!

🔗 https://magkino.github.io/vocoloco_tts/
(Надо дождаться скачивания моделей. На русском тоже говорит!)
#OmniVoice #WebGPU #VocoLoco #PersonalStudio #TTS #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
📱 Kai 9000 - ИИ с открытым исходным кодом, который создает не только текст, но и изображения!

Мощный ИИ с открытым исходным кодом, который работает локально, прямо у вас в кармане. С постоянной памятью, «сердцем», инструментами и интерактивным пользовательским интерфейсом, который генерирует полноценные экраны, а не просто всплывающие окна.
AI-чат, который создает интерактивные экраны, а не просто текст. Kai — бесплатная альтернатива ChatGPT с душой, памятью и обучением — AI-ассистент, который развивается с каждым разговором.

В отличие от обычных чат-ботов, Kai создает интерактивный интерфейс — кнопки, формы, таблицы, графики и приложения — прямо в чате. Попросите калькулятор, квиз или список задач — и получите рабочий интерфейс. Это AI за пределами текста.

🔗 https://kai9000.com
Доступно везде:
Android, iOS, Windows, MacOS, Linux и веб. Выберите свою платформу! Уже поддерживает Gemma 4

Для Android https://play.google.com/store/apps/details?id=com.inspiredandroid.kai
или https://f-droid.org/en/packages/com.inspiredandroid.kai/

Для iPhone https://apps.apple.com/us/app/kai-ai/id6758148023

Web-Версия
: https://kai9000.com/app/
Подробно: https://github.com/SimonSchubert/Kai
(Обсуждение)
#Kai #App #Android #iPhone #MacOS #Windows #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👎1
🧠 Persistent AI Memory System v1.5.0

Постоянное локальное хранилище памяти чатов для ИИ или Copilot в VS Code.
Система памяти, в которой есть краткосрочное и долгосрочное хранилище. В качестве долгосрочного хранилища она также использует чаты. Все привязано к этим чатам, так что при необходимости модель может искать информацию в чатах по логам. Краткосрочная память используется при каждом ответе модели. Она не очень подходит для небольших моделей, поэтому ее создали для моделей с большими контекстными окнами.

🔗 https://github.com/savantskie/persistent-ai-memory
(Из обсуждения)
#AiMemory #AiПамять #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Local Ai
📱 Off Grid (Вне сети) Общайтесь, говорите и создавайте изображения — конфиденциальность превыше всего, без подключения к интернету. Загрузите языковую модель и используйте ее на своем мобильном устройстве. Данные никогда не покидают ваш телефон. Поддерживает…
📱 Обновление Off Grid добавили поддержку Gemma 4

Off Grid 🔥 — мобильное приложение с открытым исходным кодом, выполняющее логический вывод на устройстве без использования облачных технологий.
Доступно на Android, скоро появится на iOS.
Сегодня выпустили Gemma 4 (периферийные варианты E2B и E4B) в Off Grid — автономном приложении с открытым исходным кодом для Android и iOS.

Чем оно отличается от других локальных систем на основе больших языковых моделей:

→ Ни сервера, ни Python, ни ноутбука. Работает исключительно на нейронном процессоре/центральном процессоре вашего телефона.
→ Контекстное окно Gemma 4 на 128 КБ, полностью работающее на устройстве, — наконец-то можно использовать для чтения длинных документов и кода на мобильных устройствах.
→ Собственная система машинного зрения: наведите камеру на любой объект и спросите о нем Gemma 4.
→ Преобразование речи в текст, генерация изображений с помощью Stable Diffusion, вызов инструментов — и все это в одном приложении.
→ ~15–30 токенов в секунду на Snapdragon 8 Gen 3 / Apple A17 Pro.
→ Модель Apache 2.0, приложение MIT — по-настоящему открытое во всех отношениях.

Вариант Gemma 4 E2B, работающий на телефоне с оперативной памятью менее 1,5 ГБ, — это просто нечто.
Gemma 4 E4B со 128 КБ контекста и функцией распознавания — это то, чего мы так долго ждали.

Android (уже доступно): https://play.google.com/store/apps/details?id=ai.offgridmobile
iOS: скоро появится
GitHub (MIT): https://github.com/alichherawalla/off-grid-mobile-ai

#OffGrid #App #iOS #iPhone #Android #AiLocal #LocalAi
💬 nextai-translator - Браузерный плагин и приложение для ПК

Браузерное расширение и кроссплатформенное настольное приложение для перевода на основе ChatGPT API.
Характеристики:
Он предлагает три режима: перевод, доработка и обобщение.
Наш инструмент позволяет осуществлять взаимный перевод, доработку и обобщение на 55 различных языках.
Поддерживается потоковый режим!
Позволяет пользователям настраивать текст для перевода.
Копирование в один клик
Преобразование текста в речь (TTS)
Доступно на всех платформах (Windows, macOS и Linux) как в браузерах, так и на настольных компьютерах
Поддержка перевода скриншотов
Поддержка словарей, а также создание вспомогательных материалов для запоминания на основе слов из словарей
Поддержка OpenAI, Azure OpenAI Service, MiniMax и других поставщиков больших языковых моделей

🔗 https://github.com/nextai-translator/nextai-translator - тут как установить!

Кроме локальных моделей, можно подключить например модель Gemma 4 31b по API из Google Studio
Кстати OpenAI совместимое API для Google Studio - если кто не знает: https://generativelanguage.googleapis.com/v1beta/openai/v1/chat/completions
модели соответственно:
models/gemma-4-31b-it
models/gemma-4-26b-a4b-it
В день доступно 1500 запросов, с лимитом 15 запросов в минуту.

Чтобы в моделях gemma 4 отключить размышления нужно в системный промт добавить фразу: disalble reasoning and thought. </thought off>
(Смотри скриншот)
#AiTranslate #Перевод #gemma4 #Prompt #Промт #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
💬 Roundtable — многопользовательская ролевая игра с ИИ, в которой каждый персонаж может использовать свою модель Ollama
Roundtable — это многопользовательское ролевое приложение с чатом, созданное на основе Ollama.
Основная идея: вы создаете персонажей с ИИ, каждый из которых может работать на своей модели, и они взаимодействуют с вами и друг с другом в общих комнатах.

Таким образом, вы можете создать одного персонажа на deepseek-r1:70b, другого — на qwen3-coder, третьего — на llama3.2 и наблюдать, как они взаимодействуют друг с другом в рамках одного диалога. Вы можете выбрать, кто ответит следующим, или включить режим «цепочки», чтобы они продолжали перезваниваться.

Что есть в версии 1:
- Мультимодель для каждого персонажа (Ollama, а также Claude/OpenAI, если вам нужно облако)
- Система комнат — приватные чаты, общие комнаты, пользовательские группы
- Память, которая действительно сохраняется и консолидируется (работает на локальном сервере Ollama, чтобы сократить расходы на API)
- Генерация изображений с помощью ComfyUI/Stable Diffusion с локальными моделями для каждого персонажа
- Приватный канал для личных сообщений, где можно задавать закулисные вопросы, не нарушая сюжетной линии
- При желании работает полностью локально. Облако не требуется.

Что такое эксперимент:
- Агенты DM (отслеживание инвентаря, драматург) работают с ошибками, над ними еще нужно поработать.
- Режим «Цепочка» — совершенно новый, требует дополнительного тестирования.
- Функция прокси не тестировалась, но для вашего спокойствия есть кнопка ipify

Это бесплатный проект с открытым исходным кодом. Автор создал его, потому что хотел, чтобы персонажи с искусственным интеллектом выглядели так, будто они существуют в одном пространстве.
Работает на Windows / Mac / Linux.

🔗 https://formslip.itch.io/roundtable
GitHub: https://github.com/Kaidorespy/Roundtable
(Обсуждение)
#Roundtable #MacOS #Windows #Linux #RP #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM