📱 InferrLM - Локальный ИИ на iOS и Android

InferrLM - это мобильное приложение, которое переносит LLMs и SLMs непосредственно на ваше устройство Android и iOS и позволяет вашему устройству действовать как локальный сервер. Также поддерживаются облачные модели, такие как Claude, Gemini и ChatGPT. Вложения файлов с RAG также хорошо поддерживаются для локальных моделей. В InferrLM теперь есть поддержка MLX.

🔗 https://www.inferrlm.app
Проект: https://github.com/sbhjt-gr/InferrLM
📱 Android: InferrLM: On-device AI https://play.google.com/store/apps/details?id=com.gorai.ragionare
iOS: https://apps.apple.com/us/app/inferrlm/id6754396856
(Обсуждение)

Все аналоги для Android https://t.me/Ai2Local/22
Все аналоги для iPhone https://t.me/Ai2Local/21
#InferrLM #Android #iOS #iPhone #App #LLM #RAG #MLX #LocalAi #AiLocal

🎙 Whisperian: AI Voice to Text - Диктовка для Android

Whisperian — это инструмент голосового ввода, созданный для писателей и всех, кто не любит печатать и хочет перенести свои сложные рабочие процессы преобразования речи в текст на свои устройства Android.

Приложение интегрируется с системой Android либо как голосовая клавиатура, либо как компактное системное наложение, которое не мешает, когда оно не нужно...

Whisperian — простой инструмент/приложение для запуска локальных моделей преобразования текста в речь на Android, которые можно использовать вместо диктовки в Gboard, параллельно с обычной клавиатурой.
Можно сказать, что это уже довольно проработанное приложение, по функциональности сравнимое с VoiceInk / Handy для MacOS.
В настоящее время приложение поддерживает 21 локальную модель. Среди дополнительных функций — пользовательские подсказки/режимы постобработки и история расшифровки. Однако локальная постобработка пока не интегрирована и доступна только у облачных провайдеров.

⬇️ https://play.google.com/store/apps/details?id=app.whisperian.client
(Обсуждение)
#Whisperian #Android #STT #App #Диктовка #LocalAi #AiLocal

📸 Анализ изображений для LM Studio
Плагин для мультимодального анализа изображений в LM Studio.

Позволяет мультимодальным моделям передавать файлы изображений для анализа, в том числе изображения, найденные в интернете и загруженные с помощью других инструментов.

Большие языковые модели в LM Studio теперь могут брать изображения из интернета и просматривать их/показывать вам!
Плагин, который позволяет языковым моделям в LM Studio загружать изображения из интернета для анализа. Они будут объединять инструменты в зависимости от задачи.

Никаких MCP/API/регистраций — это простые скрипты, которые можно установить в один клик с сайта LM Studio. (Да, в LM Studio есть поддержка плагинов!). Все, что вам нужно, — это модель с функцией Vision (Qwen 3.5 9b / 27b отлично подойдут).

Автор также обновил плагины Duck-Duck-Go и Visit Website, чтобы они могли работать с изображениями, и добавил несколько новых функций:
- Инструменты автоматически загружают изображения и преобразуют их в уменьшенные файлы для встраивания в чат (чтобы не загромождать пространство).
- Затем инструмент анализа, по возможности, использует изображения в полном разрешении.
- Плагины помогают языковой модели встраивать изображения при необходимости или использовать галерею таблиц в формате Markdown, если пользователь явно хочет использовать много изображений.

Несколько примеров этого можно увидеть на скриншотах.

Шаблон Jinja Prompt: Pastebin (устранил проблему с ошибками при вызове инструмента)
Настройки Qwen 3.5 (по сути, это официальная рекомендация Qwen):
Temperature: 1
Top K sampling: 20
Repeat Penalty: 1
Presence Penalty: 1.9 (I think this one is important, fixed repetition problems for me, always gets out of loop)
Top P sampling: 0.95
Min P sampling: 0

Системная подсказка:
You are a capable, thoughtful, and precise assistant. Always prioritize being truthful, nuanced, insightful, and efficient, tailoring your responses specifically to the user's needs and preferences.
Research before answering the questions: use both reasoning and tool calls to synthesize a proper conclusion.

⬇ https://lmstudio.ai/vadimfedenko/analyze-images
Про плагины (DuckDuckGo и visit-website-reworked): https://t.me/Ai2Local/430
(Обсуждение)
#LMStudio #DuckDuckGo #LocalAi #AiLocal

ℹМодель: Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled

- Эта модель устраняет сбой в работе официальной модели, вызванный тем, что шаблон Jinja не поддерживает роль "разработчика". (обычно используется современными агентами кодирования, такими как Claude Code и OpenCode)
- Она не отключает режим мышления по умолчанию и позволяет агенту работать непрерывно более 9 минут без перерывов.
- По сравнению с оригинальной моделью автономность и стабильность работы значительно улучшены.

Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled — это высокопроизводительная модель логического вывода, доработанная на основе мощной архитектуры Qwen3.5. Основная задача модели — использовать современную технологию дистилляции цепочки рассуждений (Chain-of-Thought, CoT), основанную на взаимодействии Claude-4.6 и Opus.

Благодаря контролируемой тонкой настройке (Supervised Fine-Tuning, SFT), ориентированной на структурированную логику рассуждений, эта модель отлично справляется с разбором сложных пользовательских задач, планированием пошаговых методологий в рамках строго структурированных <think> тегов и, в конечном счете, с поиском точных и продуманных решений.

⚡️ Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled демонстрирует значительные преимущества в средах кодирования, таких как Claude Code и OpenCode:

- Встроенная поддержка роли «разработчика», не требующая патчей для шаблонов Jinja или обходных путей с использованием ChatML.
- Режим мышления полностью сохранен (подтверждено в логах thinking=1), не отключен без предупреждения, что позволяет сохранить всю цепочку логических рассуждений.
- Значительно улучшена автономность и стабильность — система может работать непрерывно более 9 минут (без участия человека). Она активно ожидает ответа от инструментов, считывает выходные данные, самостоятельно исправляет ошибки и даже может автоматически генерировать файл README, в то время как базовая модель часто зависает в процессе выполнения.

Эти улучшения стали возможны благодаря успешному внедрению стиля структурированных рассуждений Claude 4.6 Opus, что позволило Qwopus стать по-настоящему готовым к использованию в современных локальных агентах кодирования и по удобству использования приблизиться к Opus.

🔗 https://huggingface.co/Jackrong/Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled-GGUF
=======
Есть очень компактная версия:
Qwen3.5-27B-TQ3_4S - 13.9 GB - Turbo Quant на удвоенной скорости!
🔗 https://huggingface.co/YTan2000/Qwen3.5-27B-TQ3_4S - В 2 раза быстрее, качество лучше, чем у TQ3_1S, при том же размере. (Обсуждение)

#Qwen35 #Qwopus #GGUF #AiModel #ModelAi #LocalAi #AiLocal

🎙 MacParakeet - Диктофон и Транскрибация моделью Parakeet TDT на Neural Engine для Mac Silicon.

MacParakeet — бесплатная альтернатива WisprFlow с открытым исходным кодом, работающая на Mac Silicon! Поддерживает 25 европейских языков!

- Диктофон — нажмите горячую клавишу в любом приложении, говорите, и текст будет вставлен. Удерживайте для перехода в режим «нажми и говори», дважды нажмите для непрерывной записи. Работает во всей системе.

- Расшифровка файлов — перетащите аудио- или видеофайлы или вставьте URL-адрес YouTube. Полная расшифровка с временными метками на уровне слов, указанием говорящего и возможностью экспорта в 7 форматов (TXT, Markdown, SRT, VTT, DOCX, PDF, JSON).

- Дифференциация говорящих — определяет, кто что сказал, с возможностью переименования меток

- Очистка текста — удаление слов-паразитов, замена слов по пользовательскому шаблону, фрагменты текста с триггерами. Детерминированный конвейер, без использования больших языковых моделей.

- Функции ИИ — опциональное обобщение расшифровки и чат с использованием собственных API-ключей (OpenAI, Anthropic, Ollama, OpenRouter). Только по желанию.

Разработчик добавил несколько дополнительных функций, например чат с расшифровкой видео с YouTube (интеграция доступна с локальными сервисами ollama или облачными сервисами, такими как openai или claude).
Приложение работает на модели Parakeet от NVIDIA (0.6B-v3) через FluidAudio, которая обеспечивает наилучшую производительность при расшифровке аудио на английском языке в режиме реального времени. 60 минут аудио транскрибируются менее чем за 30 секунд (после первой загрузки локальной модели). Коэффициент ошибок также очень низкий.

❗️Только для Apple Silicon на (M1/M2/M3/M4)
(Кстати, если вы пользуетесь Windows или Linux, вам стоит попробовать Handy, который делает практически то же самое! Подробнее: https://t.me/Ai2Local/112 )

🔗 https://www.macparakeet.com
https://github.com/moona3k/macparakeet
(Обсуждение)

И есть еще: 🎙 Hex https://t.me/Ai2Local/295
Аналоги по тегу: #Диктовка
#MacParakeet #WisprFlow #Parakeet #MacSilicon #MacOS #FluidAudio #Транскрибация #LocalAi #AiLocal