Local Ai
443 subscribers
895 photos
250 videos
4 files
811 links
Все про Локальные ИИ на ПК и Смартфонах - программы и модели, которые можно запустить на 96Gb VRAM. (Как сайт: https://t.me/s/ai2local )
ИИ для Здоровья: @Ai2Health
Download Telegram
ℹ️ Чтобы в моделях gemma 4 отключить размышления нужно в системный промт добавить фразу:
disalble reasoning and thought. </thought off>

Успешно протестировано с моделью 31b по API из Google Studio.
Кстати OpenAI совместимое API для Google Studio - если кто не знает:
https://generativelanguage.googleapis.com/v1beta/openai/v1/chat/completions

модели соответственно:
models/gemma-4-31b-it
models/gemma-4-26b-a4b-it
В день доступно 1500 запросов, с лимитом 15 запросов в минуту.
#gemma4 #Prompt #Промт #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
📖 Наглядное руководство по Gemma 4

Эта визуальная книга создана на основе «Визуального руководства по Gemma 4» Маартена Гротендорста.
Полную версию книги можно найти по ссылке:
🔗 https://www.visualbook.app/books/public/v7qureynd8ie/a_more_visual_guide_to_gemma_4
На каждом слайде есть раздел для комментариев, где вы можете задавать вопросы.

📖 А еще есть: "Наглядное руководство по Gemma 4"
🔗 https://newsletter.maartengrootendorst.com/p/a-visual-guide-to-gemma-4?hide_intro_popup=true

📖 Gemma 4 от Google меняет все в сфере искусственного интеллекта с открытым исходным кодом
🔗 https://freedium-mirror.cfd/https://www.towardsdeeplearning.com/googles-gemma-4-changes-everything-for-open-source-ai-ecd91934458f
#Gemma4 #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔈 VocoLoco Personal Studio - Прощай, ElevenLabs!

Веб-приложение с открытым исходным кодом для преобразования текста в речь (TTS), полностью локальное, на основе OmniVoice, портированного на WebGPU/WASM. Попробуйте клонировать голос!

Если у вас слабый графический процессор или смартфон среднего класса, приложение не запустится. Работает же локально!

🔗 https://magkino.github.io/vocoloco_tts/
(Надо дождаться скачивания моделей. На русском тоже говорит!)
#OmniVoice #WebGPU #VocoLoco #PersonalStudio #TTS #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
📱 Kai 9000 - ИИ с открытым исходным кодом, который создает не только текст, но и изображения!

Мощный ИИ с открытым исходным кодом, который работает локально, прямо у вас в кармане. С постоянной памятью, «сердцем», инструментами и интерактивным пользовательским интерфейсом, который генерирует полноценные экраны, а не просто всплывающие окна.
AI-чат, который создает интерактивные экраны, а не просто текст. Kai — бесплатная альтернатива ChatGPT с душой, памятью и обучением — AI-ассистент, который развивается с каждым разговором.

В отличие от обычных чат-ботов, Kai создает интерактивный интерфейс — кнопки, формы, таблицы, графики и приложения — прямо в чате. Попросите калькулятор, квиз или список задач — и получите рабочий интерфейс. Это AI за пределами текста.

🔗 https://kai9000.com
Доступно везде:
Android, iOS, Windows, MacOS, Linux и веб. Выберите свою платформу! Уже поддерживает Gemma 4

Для Android https://play.google.com/store/apps/details?id=com.inspiredandroid.kai
или https://f-droid.org/en/packages/com.inspiredandroid.kai/

Для iPhone https://apps.apple.com/us/app/kai-ai/id6758148023

Web-Версия
: https://kai9000.com/app/
Подробно: https://github.com/SimonSchubert/Kai
(Обсуждение)
#Kai #App #Android #iPhone #MacOS #Windows #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👎1
🧠 Persistent AI Memory System v1.5.0

Постоянное локальное хранилище памяти чатов для ИИ или Copilot в VS Code.
Система памяти, в которой есть краткосрочное и долгосрочное хранилище. В качестве долгосрочного хранилища она также использует чаты. Все привязано к этим чатам, так что при необходимости модель может искать информацию в чатах по логам. Краткосрочная память используется при каждом ответе модели. Она не очень подходит для небольших моделей, поэтому ее создали для моделей с большими контекстными окнами.

🔗 https://github.com/savantskie/persistent-ai-memory
(Из обсуждения)
#AiMemory #AiПамять #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Local Ai
📱 Off Grid (Вне сети) Общайтесь, говорите и создавайте изображения — конфиденциальность превыше всего, без подключения к интернету. Загрузите языковую модель и используйте ее на своем мобильном устройстве. Данные никогда не покидают ваш телефон. Поддерживает…
📱 Обновление Off Grid добавили поддержку Gemma 4

Off Grid 🔥 — мобильное приложение с открытым исходным кодом, выполняющее логический вывод на устройстве без использования облачных технологий.
Доступно на Android, скоро появится на iOS.
Сегодня выпустили Gemma 4 (периферийные варианты E2B и E4B) в Off Grid — автономном приложении с открытым исходным кодом для Android и iOS.

Чем оно отличается от других локальных систем на основе больших языковых моделей:

→ Ни сервера, ни Python, ни ноутбука. Работает исключительно на нейронном процессоре/центральном процессоре вашего телефона.
→ Контекстное окно Gemma 4 на 128 КБ, полностью работающее на устройстве, — наконец-то можно использовать для чтения длинных документов и кода на мобильных устройствах.
→ Собственная система машинного зрения: наведите камеру на любой объект и спросите о нем Gemma 4.
→ Преобразование речи в текст, генерация изображений с помощью Stable Diffusion, вызов инструментов — и все это в одном приложении.
→ ~15–30 токенов в секунду на Snapdragon 8 Gen 3 / Apple A17 Pro.
→ Модель Apache 2.0, приложение MIT — по-настоящему открытое во всех отношениях.

Вариант Gemma 4 E2B, работающий на телефоне с оперативной памятью менее 1,5 ГБ, — это просто нечто.
Gemma 4 E4B со 128 КБ контекста и функцией распознавания — это то, чего мы так долго ждали.

Android (уже доступно): https://play.google.com/store/apps/details?id=ai.offgridmobile
iOS: скоро появится
GitHub (MIT): https://github.com/alichherawalla/off-grid-mobile-ai

#OffGrid #App #iOS #iPhone #Android #AiLocal #LocalAi
💬 nextai-translator - Браузерный плагин и приложение для ПК

Браузерное расширение и кроссплатформенное настольное приложение для перевода на основе ChatGPT API.
Характеристики:
Он предлагает три режима: перевод, доработка и обобщение.
Наш инструмент позволяет осуществлять взаимный перевод, доработку и обобщение на 55 различных языках.
Поддерживается потоковый режим!
Позволяет пользователям настраивать текст для перевода.
Копирование в один клик
Преобразование текста в речь (TTS)
Доступно на всех платформах (Windows, macOS и Linux) как в браузерах, так и на настольных компьютерах
Поддержка перевода скриншотов
Поддержка словарей, а также создание вспомогательных материалов для запоминания на основе слов из словарей
Поддержка OpenAI, Azure OpenAI Service, MiniMax и других поставщиков больших языковых моделей

🔗 https://github.com/nextai-translator/nextai-translator - тут как установить!

Кроме локальных моделей, можно подключить например модель Gemma 4 31b по API из Google Studio
Кстати OpenAI совместимое API для Google Studio - если кто не знает: https://generativelanguage.googleapis.com/v1beta/openai/v1/chat/completions
модели соответственно:
models/gemma-4-31b-it
models/gemma-4-26b-a4b-it
В день доступно 1500 запросов, с лимитом 15 запросов в минуту.

Чтобы в моделях gemma 4 отключить размышления нужно в системный промт добавить фразу: disalble reasoning and thought. </thought off>
(Смотри скриншот)
#AiTranslate #Перевод #gemma4 #Prompt #Промт #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
💬 Roundtable — многопользовательская ролевая игра с ИИ, в которой каждый персонаж может использовать свою модель Ollama
Roundtable — это многопользовательское ролевое приложение с чатом, созданное на основе Ollama.
Основная идея: вы создаете персонажей с ИИ, каждый из которых может работать на своей модели, и они взаимодействуют с вами и друг с другом в общих комнатах.

Таким образом, вы можете создать одного персонажа на deepseek-r1:70b, другого — на qwen3-coder, третьего — на llama3.2 и наблюдать, как они взаимодействуют друг с другом в рамках одного диалога. Вы можете выбрать, кто ответит следующим, или включить режим «цепочки», чтобы они продолжали перезваниваться.

Что есть в версии 1:
- Мультимодель для каждого персонажа (Ollama, а также Claude/OpenAI, если вам нужно облако)
- Система комнат — приватные чаты, общие комнаты, пользовательские группы
- Память, которая действительно сохраняется и консолидируется (работает на локальном сервере Ollama, чтобы сократить расходы на API)
- Генерация изображений с помощью ComfyUI/Stable Diffusion с локальными моделями для каждого персонажа
- Приватный канал для личных сообщений, где можно задавать закулисные вопросы, не нарушая сюжетной линии
- При желании работает полностью локально. Облако не требуется.

Что такое эксперимент:
- Агенты DM (отслеживание инвентаря, драматург) работают с ошибками, над ними еще нужно поработать.
- Режим «Цепочка» — совершенно новый, требует дополнительного тестирования.
- Функция прокси не тестировалась, но для вашего спокойствия есть кнопка ipify

Это бесплатный проект с открытым исходным кодом. Автор создал его, потому что хотел, чтобы персонажи с искусственным интеллектом выглядели так, будто они существуют в одном пространстве.
Работает на Windows / Mac / Linux.

🔗 https://formslip.itch.io/roundtable
GitHub: https://github.com/Kaidorespy/Roundtable
(Обсуждение)
#Roundtable #MacOS #Windows #Linux #RP #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🌐 webmcp - Легкий веб-сервер MCP для веб-исследований на основе подсказок, предназначенный для высококачественного извлечения информации с помощью больших языковых моделей.
Агенты LLM могут использовать его для:
- Выполните поиск в интернете с помощью DuckDuckGo (по умолчанию) или SearXNG (опционально)
- получите и очистите содержимое страниц по одному или нескольким URL-адресам
- отправьте очищенное содержимое в локальную языковую модель для структурированного извлечения данных

Для достижения наилучших результатов используйте research_prompt.txt в качестве системной подсказки. Эта подсказка — ключевая часть запланированного рабочего процесса и залог качества. По сути, она определяет половину того, как должен функционировать этот репозиторий.

🔗 https://github.com/AuthBits/webmcp
(Обсуждение и Отзывы)
#webmcp #MCP #DDG #SearXNG #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
📊 LLM Бенчмарки
Детальное сравнение передовых моделей для генерации образовательного контента на русском языке. Рейтинг основан на качестве, стоимости и экономической эффективности.

Открытый лидерборд — 18 моделей, цена за вызов, quality score, value score:
👉 https://aidevteam.ru/benchmarks

Почему это в этом канале:
⚡️ Маленькая Gemma 4 (31B) обошла модели в 10 раз крупнее!
Сама статья тоже интересна: https://t.me/maslennikovigor/199

Если посмотреть рейтинг Arena-AI, то там она на 4 месте!
Если надо писать тексты на русском, то имейте эту модель в виду!
#Gemma4 #AiModel #ModelAi #LocalAi #AiLocal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1