Holotron-12B, обученная на основе открытой модели NVIDIA Nemotron-Nano-2 VL на собственной смеси данных H Company, является результатом тесного сотрудничества исследовательских лабораторий в разработке нового типа модели, оптимизированной в первую очередь для масштабирования и производительности в производственных условиях.

Почему создали Holotron-12B?:
Большинство современных мультимодальных моделей оптимизированы в первую очередь для статического зрения или выполнения инструкций. Однако у Holotron-12B, как и у модели Holo2, другая цель: служить в качестве модели принятия решений для компьютерных агентов, которые должны эффективно воспринимать, анализировать и действовать в интерактивных средах.

При разработке Holotron-12B стремились создать модель, которая могла бы эффективно масштабироваться в производственной среде, обрабатывая длинные контексты с несколькими изображениями, и при этом показывать хорошие результаты в тестах.

Realtime Interpreter — это полностью локальный инструмент для синхронного перевода с использованием искусственного интеллекта. Он может прослушивать системный звук или микрофонный ввод в режиме реального времени, использовать Whisper для распознавания речи, а затем задействовать локальную большую языковую модель (например, Qwen) для потокового перевода и, наконец, отображать двуязычные субтитры в независимом плавающем окне, которое всегда находится поверх других окон.

Ключевые особенности:
🏠 Полностью локальное приложение: не требует подключения к интернету, что обеспечивает конфиденциальность и исключает утечку данных.
⚡️ Перевод в режиме реального времени с низкой задержкой: от распознавания речи до перевода обычно проходит 2–4 секунды.
🪟 Независимое плавающее окно Always-On-Top: Субтитры с переводом отображаются поверх всех остальных окон, не мешая вашей работе (иногда оно может вести себя нестабильно, но просто перезапустите его, если оно исчезнет 🫠).
🌍 Поддержка 29 языков: от китайского до венгерского, включая большинство основных языков мира.
🎭 Оптимизация для конкретных сценариев: вводите подсказки для конкретных областей (например, «Нейронаука Массачусетского технологического института», «Корейские дорамы», «Непринужденный чат») для оптимизации качества перевода.
🔄 Горячая перезагрузка во время работы: переключайте языки, сценарии и источники аудиовхода на лету, без перезапуска.

Характеристики:
- Автономная транскрипция: использует модели глубокого обучения (Parakeet TDT) для полной расшифровки речи на устройстве.
- Поддерживаемые языки: болгарский, хорватский, чешский, датский, нидерландский, английский, эстонский, финский, французский, немецкий, греческий, венгерский, итальянский, латышский, литовский, мальтийский, польский, португальский, румынский, словацкий, словенский, испанский, шведский, русский, украинский
- Клавиатура с голосовым вводом Используйте свой голос для ввода текста.
- Субтитры в реальном времени: субтитры для любого аудио/видео, воспроизводимого на вашем устройстве.
- Конфиденциальность превыше всего: аудиоданные не покидают ваше устройство.

👉 Режим разговора
Режим «Разговор» — главная функция RTranslator. В этом режиме вы можете подключиться к другому телефону, на котором установлено это приложение. Если пользователь примет ваш запрос на подключение:

- Когда вы говорите, ваш телефон (или Bluetooth-гарнитура, если она подключена) записывает звук.
- Записанный звук преобразуется в текст и отправляется на телефон собеседника.
- Телефон собеседника переводит полученный текст на его язык.
- Телефон собеседника преобразует переведенный текст в аудио и воспроизводит его через динамик (или через Bluetooth-гарнитуру собеседника, если она подключена к его телефону).

Все это работает в обоих направлениях.

У каждого пользователя может быть несколько подключенных телефонов, что позволяет переводить разговоры между более чем двумя людьми в любой комбинации.

👉 Режим рации
Если режим разговора удобен для длительных бесед, то этот режим предназначен для коротких разговоров, например для того, чтобы узнать что-то на улице или поговорить с продавцом в магазине.

Этот режим переводит только разговоры между двумя людьми, он не работает с Bluetooth-гарнитурами, и вам придется говорить по очереди. Это не настоящий синхронный перевод, но он может работать с только одним телефоном.

В этом режиме микрофон смартфона будет одновременно прослушивать два языка (их можно выбрать на том же экране, что и режим рации).
Приложение определит, на каком языке говорит собеседник, переведет аудио на другой язык, преобразует текст в аудио и воспроизведет его через динамик телефона. После завершения преобразования текста в речь прослушивание возобновится автоматически.

👉 Режим перевода текста
Этот режим — обычный текстовый переводчик, но он всегда пригодится.

Поддерживаются следующие языки:
Арабский, болгарский, каталанский, китайский, хорватский, чешский, датский, нидерландский, английский, финский, французский, галисийский, немецкий, греческий, итальянский, японский, корейский, македонский, польский, португальский, румынский, русский, словацкий, испанский, шведский, тамильский, тайский, турецкий, украинский, урду, вьетнамский.

Во всех победах или матчах Qwen:

OlmOCR (извлечение текста из беспорядочных сканирований, плотных PDF-файлов, макетов с несколькими столбцами):

Qwen3.5-9B: 78.1
Qwen3.5-4B: 77.2
Gemini 3.1 Pro: 74.6
Клод Сонет 4.6: 74.4
Qwen3.5-2B: 73.7
GPT-5.4: 73.4

9B и 4B опережают все модели frontier по извлечению необработанного текста. Модель 2B соответствует GPT-5.4.

VQA (ответы на вопросы о содержании документов, диаграммах, таблицах):

Gemini 3.1 Pro: 85,0
Qwen3.5-9B: 79,5
GPT-5.4: 78,2
Qwen3.5-4B: 72,4
Claude Sonnet 4.6: 65,2
GPT-5.2: 63,5
Gemini 3 Flash: 63,5

Это больше всего удивило. По результатам VQA 9B уступает только Gemini 3.1 Pro. Она опережает GPT-5.4. Она на 14 баллов опережает Claude Sonnet и на 16 баллов опережает Gemini Flash. Такой результат VQA для открытой модели 9B сложно объяснить.

KIE (извлечение номеров счетов, дат, сумм):

Gemini 3 Flash: 91,1
Claude Opus 4.6: 89,8
Claude Sonnet 4.6: 89,5
GPT-5.2: 87,5
Gemini 3.1 Pro: 86,8
Qwen3.5-9B: 86,5
Qwen3.5-4B: 86,0
GPT-5.4: 85,7

Qwen-9B соответствует уровню Gemini 3.1 Pro.
Qwen-4B соответствует уровню GPT-5.4.
Оба опережают GPT-5-Mini (85,7), Claude Haiku (85,6) и Ministral-8B (85,7).

Там, где передовые модели явно лучше.

Извлечение данных из таблиц (GrITS):

Gemini 3.1 Pro: 96,4
Claude Sonnet: 96,3
GPT-5.4: 94,8
Gemini 3 Pro: 95,8
GPT-5.2: 86,0
Gemini 3 Flash: 85,6
Qwen3.5-4B: 76,7
Qwen3.5-9B: 76,6

Модели Frontier имеют от 85 до 96 баллов по шкале Qwen. Независимо от размера, Qwen у моделей 4B и 9B составляет от 76 до 77 баллов. По сути, эти модели идентичны. Похоже, это ограничение связано с архитектурой, а не с масштабом.

Распознавание рукописного текста:

Gemini 3.1 Pro: 82,8
Gemini 3 Flash: 81,7
GPT-4.1: 75,6
Claude Opus: 74,0
Claude Sonnet: 73,7
GPT-5.4: 69,1
Ministral-8B: 67,8
Qwen3.5-9B: 65,5
Qwen3.5-4B: 64,7

Gemini лучше распознает рукописный текст. Qwen отстает, но не сильно, от GPT-5.4 (69,1 против 65,5).

Масштабирование в рамках семейства Qwen:

В целом: 0,8B 58,0, 2B 63,2, 4B 73,1, 9B 77,0

Резюме:
Извлечение с помощью оптического распознавания символов: Qwen 4B/9B опережает все передовые модели
Рассуждения с помощью VQA: Qwen-9B занимает второе место, уступая только Gemini 3.1 Pro. Опережает GPT-5.4.
Извлечение полей KIE: Qwen 4B/9B не уступает передовым моделям
Извлечение таблиц: передовые модели опережают на 10–20 баллов

Текстовые, графические и видеосервисы работают отдельно, так что вы можете комбинировать их по своему усмотрению. Подойдет любая API, совместимая с OpenAI, так что вы можете подключить свою систему Ollama/vLLM/LM Studio. Кроме того, есть модели MLX для полностью автономного чата. Qwen 3.5 на iPhone работает на удивление хорошо!

Другие локальные фишки:
- Встроенная память RAG — персонажи все запоминают, ничего не пропадает с вашего телефона
- Локальный ComfyUI для создания изображений и видео
- Встроенная система преобразования текста в речь Kokoro — интернет не нужен!
- Полный доступ к системным подсказкам, импорт TavernAI/SillyTavern, разветвленные диалоги!

Это бесплатно, никаких платных функций.

(Забавная штука: подключите свою локальную модель, выберите или создайте персонажа, включите автопилот и просто наблюдайте за развитием диалога.

Обратите внимание: генерация персонажей лучше всего работает с более мощной моделью. Вы можете использовать встроенные облачные кредиты (500 бесплатных, работают на Opus) или собственный ключ API для подключения подходящей модели. Более слабые локальные модели, скорее всего, не справятся с анализом выходного формата.)