Bolt создана с помощью сжатия более крупной Nemotron 3.5 Super VL. Для дистилляции NVIDIA использовала фреймворк Star Elastic для автоматического подбора архитектуры под заданный бюджет памяти. После сжатия модель дообучили для работы с изображениями, а затем обучили выполнять агентные задачи в симулированных средах, улучшив рассуждения и использование инструментов.

За ускорение генерации отвечает LiLiCorr — технология спекулятивного декодирования с черновой моделью на 1,13 млрд параметров. При прогнозировании семи токенов система в среднем принимает 4,68 токена при жадном декодировании и 4,25 при вероятностной выборке. Это сокращает число последовательных вычислений, необходимых для генерации ответа.

В тесте AA-AgentPerf Local Bolt справилась с задачами за 601 секунду. Для сравнения, Qwen3.6 потребовалось 454 секунды, Gemma 4 — 481 секунд, а Qwen3.8 27B — 1043 секунд. Bolt не самая быстрая модель в этом сравнении, но заметно опережает более плотную Qwen3.8 27B и, по оценкам NVIDIA, обеспечивает лучший баланс между точностью и требованиями к памяти.

Именно его и решили закрыть в OCP. Логика такая: инференс и языковые модели малого и среднего размера станут следующей большой волной железа для корпоративного и периферийного ИИ, а значит, нужно решение между классическими PCIe-картами и стоечными системами мегаваттного масштаба, которое одинаково хорошо подойдет и для старых, и для новых ЦОД, для 19- и 21-дюймовых стоек.
opencompute

Самое впечатляющее в OAC — запас по энергопотреблению. ИИ-ускоритель с жидкостным охлаждением сможет потреблять до 5000 Вт, то есть почти в 8,5 раза больше, чем стандартная PCIe-карта на 600 Вт. Для сравнения, даже полноценный NVIDIA Rubin SXM потребляет около 2300 Вт.