Познакомьтесь с Keye-VL-2.0-30B-A3B — новейшей флагманской базовой моделью класса 30B в серии Keye, специально разработанной для решения задач, связанных с распознаванием длинных видео, и реализации возможностей первого поколения агентов семейства Keye.

Основные моменты:
Превосходное понимание видео и временная локализация: по пяти видеотестам Keye-VL-2.0-30B-A3B опережает конкурентов с открытым исходным кодом и не уступает или даже превосходит Gemini-3-Flash по временной локализации.

Архитектура с поддержкой длинных контекстов на основе DSA: разреженное внимание и целенаправленная агрегация признаков обеспечивают точное понимание видео продолжительностью в час при сохранении эффективности вычислений.

Высокоэффективный стек для логического вывода и обучения: DSA (DeepSeek Sparse Attention), ExtraIO, гетерогенный параллелизм ViT-LM, оптимизация активации и пользовательские ядра снижают затраты на предварительное заполнение длинных последовательностей и повышают производительность обучения.

Мультимодальное предварительное обучение с ориентацией на данные: тщательно отобранный набор данных, визуальный кодировщик Keye-VL-1.5 и синтетические данные CoT улучшают восприятие, распознавание текста, понимание диаграмм и таблиц, а также логическую последовательность.

Надежная пост-обработка для достоверного логического вывода: MOPD, масштабирование с учетом преимуществ сегментирования, Context-RL и фильтрация данных с высоким соотношением сигнал/шум улучшают межмодальное объединение экспертных знаний, уменьшают количество ложных срабатываний и стабилизируют принятие решений с учетом контекста.

Мультимодальные возможности для агентов: встроенные функции агента для работы с кодом, инструментами и поиском поддерживают задачи, связанные с репозиториями, использование инструментов в стиле API, веб-поиск и визуальные рабочие процессы самокоррекции.

Keye-VL-2.0-30B-A3B — первая мультимодальная модель, в которой технология DSA внедрена в производственный процесс. Она обеспечивает практически безошибочное распознавание сверхдлинного контекста длиной до 256 тысяч символов. Она превосходит другие модели по скорости обработки видео и не уступает — а то и превосходит — топовые модели с закрытым исходным кодом в области детализированного восприятия временных последовательностей. Что еще важнее, это первая базовая модель Keye со встроенным механизмом взаимодействия агентов, демонстрирующая надежную системную оркестровку в сценариях поиска, инструментов и кода.

Edit Mind позволяет индексировать ваши видео (включая расшифровку, анализ кадров и мультимодельное встраивание), а также искать видео (или отдельные сцены) с помощью естественного языка.

Разработчик выпустил Edit Mind — опенсорс-инструмент, который индексирует видео и позволяет искать нужные кадры через текстовый запрос.

Как работает: загружаешь ролики, ИИ автоматически описывает каждую сцену. После этого можно найти момент по запросу вроде «человек едет на велосипеде по лесу» и сразу перенести его в монтаж.

Всё работает локально — автор прогнал 628 GoPro-роликов (669 ГБ) на MacBook M1 Max. Индексация заняла время, но результат того стоил.

Самое интересное: это не стандартная модель для чата или инструкций и не полноценный автономный агент. Это языковая модель, обученная предсказывать, что произойдет в среде после того, как агент выполнит какое-либо действие.

Он охватывает семь областей взаимодействия агентов:
- Вызов MCP / инструмента
- Поиск
- Терминал
- Разработка программного обеспечения
- Android
- Web
- Взаимодействие с графическим интерфейсом операционной системы

Судя по всему, это предназначено для имитации взаимодействия агента с окружением: на основе истории действий и нового инструмента/действия в графическом интерфейсе предсказывается следующее наблюдение/состояние. Это может быть полезно для обучения агентов, автономной оценки, создания синтетических траекторий, тестирования рабочих процессов с использованием инструментов или создания изолированных сред без постоянного использования реальных инструментов.