📱 OfflineGPT - Локальный ИИ на устройстве Android и iOS

• New: Gemma 4 (LiteRT-LM) on-device
- Text, image, audio + web tool

🔍 Ключевые особенности:
✅ Полностью офлайн – Работает без Wi-Fi, мобильного интернета или сигнала. Идеально для путешествий, полетов или удаленной работы.
✅ Продвинутая локальная обработка – Эффективное форматирование запросов, потоковая передача токенов и умное контекстное окно для долгих, связных диалогов.
✅ Приватность по умолчанию – Ничего не отправляется и не хранится за пределами вашего устройства. Никакого отслеживания, никакого облака.
✅ Отличная контекстная память – OfflineGPT помнит имена, темы и связи на протяжении долгих чатов. Благодаря скользящим окнам, кэшированию и повторному использованию токенов, он дает логичные и связные ответы, недоступные другим офлайн ИИ.
✅ Оптимизирован для логики, а не скорости – Работает немного медленнее, чем другие ИИ-приложения, но обеспечивает большую ясность и глубину рассуждений.
✅ Pro-версия (единовременная покупка) – Открывает функции памяти, пользовательские запросы и более глубокую персонализацию.
✅ Легкий и эффективный – Занимает всего около 30 МБ и оптимизирован для работы на смартфонах Android среднего класса.
✅ Без рекламы. Совсем. – Чистое общение без отвлекающих факторов.
🔒 Без облака. Без задержек. Без лишнего. Просто умный офлайн ИИ.

🔗 https://codealp.ch/offline-gpt
⬇️ Android https://play.google.com/store/apps/details?id=com.offlinegpt.app
⬇️ iPhone: https://apps.apple.com/us/app/offline-ai-studio/id6761210483
#OfflineGPT #App #iOS #iPhone #Android #LocalAi #AiLocal

📖 AugmentedQuill - Веб-интерфейс для создания прозы с помощью ИИ

Помощник по написанию текстов на основе ИИ с поддержкой структуры повествования + чат-бот + подсказки в виде изображений.

Вы — автор, и вы за рулем: ваша история — это ваша история, а ИИ— ваш творческий партнер (от помощника в мозговых штурмах до «литературного негра»), который поддерживает вашу точку зрения и выбор.

✨ Что умеет AugmentedQuill:
Создание историй на основе проектов (рассказ, роман, серия)
Многоглавная и многокнижная структура
Помощник по написанию текстов на основе искусственного интеллекта и чат (локальный API-ключ / конечные точки, совместимые с OpenAI)
Пользовательские шаблоны подсказок (редактор, писатель, чат-боты)
Справочник (персонажи, сцены, предыстория, предметы и т. д.)
Метаданные изображений + оптимизация генерации подсказок для изображений
Конфигурация на основе шаблонов JSON и переопределений в среде
Автоматическое сохранение артефактов проекта в data/projects

🔗 https://github.com/StableLlamaAI/AugmentedQuill
⬇️ Скачать: Windows: AugmentedQuill.Setup.0.9.1.exe и Linux
(Обсуждение)
#AugmentedQuill #Windows #Linux #LocalAi #AiLocal

📺 Интересное применение TurboQuant для поиска и рекомендации фильмов прямо на устройстве!

TurboQuant — это новый революционный алгоритм квантования от Google Research, который применяет случайное вращение к многомерным векторам для устранения выбросов, обеспечивая экстремально низкое сжатие с практически нулевой потерей точности.

Несмотря на то, что эта технология сейчас набирает популярность благодаря уменьшению размера кэша LLM KV, разработчик хотел посмотреть, как она справляется с семантическим поиском на устройстве!

Он интегрировал ее в демонстрационную версию рекомендаций на стороне клиента (CineMatch), чтобы она работала исключительно на устройстве.

Вот как движок управляет архитектурой:

- 6-кратное сжатие: TurboQuant применяет случайное вращение и 3-битное скалярное квантование, чтобы уменьшить размерность 384-мерных векторных представлений Float32 с 1536 байт до 249 байт.

- Микропосылки: благодаря такой плотности весь векторизованный индекс фильмов мгновенно отправляется клиенту в виде небольшого JSON-файла размером ~12 КБ.

- Выполнение SIMD в WASM: мы даже не распаковываем данные во время выполнения. Браузер вычисляет скалярное произведение непосредственно для сжатых векторов с помощью SIMD в WebAssembly.

- Сопоставление без джиттера: косинусное сходство Top-K выполняется примерно за 13 мс, что значительно ниже порогового значения в 16 мс, обеспечивающего безупречную частоту кадров в 60 кадров в секунду без обращения к серверу.

Внедрение передовых алгоритмов квантования непосредственно в браузер открывает огромный потенциал для создания искусственного интеллекта с нулевыми вычислительными затратами, ориентированного на конфиденциальность.

🔗 https://h3manth.com/ai/cinematch/
(Обсуждение)
#TurboQuant #CineMatch #LocalAi #AiLocal

ℹМодели: Laguna XS.2 и Laguna M.1

Ориентированны на агентное кодирование.

- Laguna M.1 - модель с 225 миллиардами параметров (из них 23 миллиарда активных)
- Laguna XS.2, с открытыми весами. 33 миллиарда параметров, из них 3 миллиарда активных.
Обе модели можно использовать бесплатно в течение ограниченного времени через API и на OpenRouter.

Чтобы было удобнее работать с этими моделями, запустили два предварительных продукта:
- пул, наш агент для написания кода на основе терминала, и
- Shimmer, облачный инструмент для разработки веб-приложений, API и клиентских интерфейсов с использованием наших моделей.

Пост:🔗 https://poolside.ai/blog/introducing-laguna-xs2-m1
🔗 https://huggingface.co/poolside/Laguna-XS.2
(Обсуждение)
#Laguna #LagunaXS2 #LagunaM1 #AiModel #ModelAi #LocalAi #AiLocal

🌎 Gemma4 — ИИ-ассистент, который работает прямо в браузере

Расширение для Chrome с локальной моделью Gemma4 умеет искать по истории браузера, делать саммари страниц, управлять вкладками и подсвечивать элементы на сайтах. Главное: все данные остаются на твоём устройстве — никуда не передаются.
Проект построен на базе Transformers.js и моделей Gemma 4 E2B и all-MiniLM-L6-v2.

💾 Проект с открытым кодом. Разработчик выложил подробный разбор того, как он это собрал — если интересны технические детали, стоит почитать.

🌎 Расширение: https://chromewebstore.google.com/detail/transformersjs-gemma-4-br/dhaknnnkcdkjhcclchmnfdhddoehoool
🔗 https://github.com/nico-martin/gemma4-browser-extension
🔗 https://huggingface.co/blog/transformersjs-chrome-extension
Статья: https://habr.com/ru/news/1029332/
#Gemma4 #Gemma4E2B #WebGPU #AgentAi #AiAgent #LocalAi #AiLocal

ℹМодель: Mistral Medium 3.5 128B

Это мультимодальная dense модель на 128B, с контекстом на 256k.

Mistral Medium 3.5 пришел на смену своим предшественникам Mistral Medium 3.1 и Magistral в Le Chat. Он также заменил Devstral 2 в агенте для написания кода Vibe. В частности, новая унифицированная модель обеспечивает более высокую производительность при выполнении задач по инструкциям, логическому мышлению и написанию кода по сравнению с предыдущими моделями.

Усилия по обработке данных настраиваются для каждого запроса, поэтому одна и та же модель может быстро ответить в чате или выполнить сложную агентскую задачу. Обучили кодировщик изображений с нуля, чтобы он мог работать с изображениями разных размеров и соотношений сторон.
Обходит прошлые модели Mistral, но не дотягивает до самых больших открытых моделей.

Mistral Medium 3.5 обладает следующими возможностями:
- Режим рассуждений: переключение между быстрым режимом мгновенного ответа и режимом рассуждений, повышающим производительность за счет вычислений во время тестирования по запросу.
- Видение: анализирует изображения и предоставляет информацию на основе визуального контента в дополнение к текстовому.
- Многоязычность: поддержка десятков языков, включая английский, французский, испанский, немецкий, итальянский, португальский, нидерландский, китайский, японский, корейский и арабский.
- Системные подсказки: строгое соблюдение и поддержка системных подсказок.
- Agentic: лучшие в своем классе агентские возможности с собственным вызовом функций и выводом в формате JSON.
- Большое контекстное окно: поддерживает контекстное окно размером 256 КБ.

Модель единственная в своей весовой категории, все конкуренты в разы больше, так что для локального деплоя может быть неплохим вариантом. Для того чтобы модель не вела себя совсем как черепашка, опубликовали ещё и голову для спекулятивного декодинга.

Цена за API этой модели $1.5/$7.5 за миллион токенов, так что смысла юзать в облаке особо нет.

Веса https://huggingface.co/mistralai/Mistral-Medium-3.5-128B
Блогпост
Квант: Q4_K_M весит: 78.4 GB для ориентира!
(Обсуждение и еще)
#Mistral #MistralMedium #MistralMedium35 #AiModel #ModelAi #LocalAi #AiLocal

ℹМодель: Семейство моделей IBM Granite 4.1 (3B/8B/30B)

В релиз вошли небольшие языковые модели (small language models, SLM), а также модели Granite для распознавания речи, изображений, эмбеддингов и Guardian. Цель состоит в том, чтобы разработчики могли легко использовать эти модели в реальных системах искусственного интеллекта корпоративного уровня. Несмотря на свой размер, эти модели очень эффективны.

Granite 4.1 демонстрирует впечатляющие результаты в работе с языковыми моделями при вызове инструментов и выполнении инструкций, высочайшую точность транскрипции для речевых моделей Granite, возможности обнаружения вредоносных действий с помощью Granite Guardian и высокие показатели в рейтингах для Granite Vision при извлечении данных из таблиц и диаграмм.

Поддерживаемые языки: английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский.

Коллекция: https://huggingface.co/ibm-granite/collections
Granite-4.1-3B https://huggingface.co/ibm-granite/granite-4.1-3b
Granite-4.1-8B https://huggingface.co/ibm-granite/granite-4.1-8b
Granite-4.1-30B https://huggingface.co/ibm-granite/granite-4.1-30b
Пост: https://research.ibm.com/blog/granite-4-1-ai-foundation-models
Общий рейтинг: https://artificialanalysis.ai
(Обсуждение и еще и еще)
#Granite #IBMGranite #IBMGranite41 #AiModel #ModelAi #LocalAi #AiLocal