ServerFlow | Новости и Железо 💾
🤔 Новый GPU ZEUS на CES 2026 — неужели не скам? Стартап Bolt Graphics привез на CES 2026 прототип видеокарты ZEUS с 2,5x большей производительностью трассировки лучей по сравнению с GeForce RTX 5090 при энергопотреблении около 225 Вт. Компания также говорит…
Bolt Graphics успешно запустила первый тестовый чип Zeus, подтвердив работоспособность собственной архитектуры для высокопроизводительных вычислений и сложного физического моделирования.Полноценные видеокарты Zeus планируют выпустить в 2028 году.
Первый тестовый чип изготовлен по 12-нм техпроцессу TSMC и занимает всего 6 мм². По данным Bolt Graphics, его удалось включить и проверить за 24 часа после начала испытаний: кристалл ревизии A0 прошел функциональные тесты без выявленных проблем в диапазоне температур от −40 до +85 °C. При энергопотреблении всего 1,4 Вт он превзошел внутренние ожидания компании по производительности и эффективности. Для сравнения, использовавшаяся при разработке FPGA-платформа потребляла 35 Вт.
Ключевая особенность Zeus — специализированные аппаратные блоки для электромагнитного моделирования. Они позволяют выполнять сложные физические алгоритмы непосредственно на кремнии, а не полагаться исключительно на программные вычисления CPU и GPU. Технология может пригодиться при разработке кремниевой фотоники, оптических систем и новых материалов, а также при исследовании сложных конструкций. При этом компания пока не опубликовала независимые тесты, которые позволили бы сравнить Zeus с современными CPU и GPU в конкретных задачах.
Параллельно Bolt открыла офис в Taipei Nanshan Plaza на Тайване, чтобы координировать работу с производственными партнерами и подготовку к выпуску серийных чипов.
😅 Канал Serverflow в MAX: Подписаться
Первый тестовый чип изготовлен по 12-нм техпроцессу TSMC и занимает всего 6 мм². По данным Bolt Graphics, его удалось включить и проверить за 24 часа после начала испытаний: кристалл ревизии A0 прошел функциональные тесты без выявленных проблем в диапазоне температур от −40 до +85 °C. При энергопотреблении всего 1,4 Вт он превзошел внутренние ожидания компании по производительности и эффективности. Для сравнения, использовавшаяся при разработке FPGA-платформа потребляла 35 Вт.
Ключевая особенность Zeus — специализированные аппаратные блоки для электромагнитного моделирования. Они позволяют выполнять сложные физические алгоритмы непосредственно на кремнии, а не полагаться исключительно на программные вычисления CPU и GPU. Технология может пригодиться при разработке кремниевой фотоники, оптических систем и новых материалов, а также при исследовании сложных конструкций. При этом компания пока не опубликовала независимые тесты, которые позволили бы сравнить Zeus с современными CPU и GPU в конкретных задачах.
Параллельно Bolt открыла офис в Taipei Nanshan Plaza на Тайване, чтобы координировать работу с производственными партнерами и подготовку к выпуску серийных чипов.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍16🤯2🌭1
Китайская компания Axera на выставке CIIF 2026 представила AX8860 — ИИ-чип для локального запуска больших языковых моделей и агентных систем, который, по заявлениям разработчиков, способен обойти NVIDIA DGX Spark на 25-30%.
AX8860 производится по 6-нм техпроцессу TSMC и объединяет 16 процессорных ядер Arm Cortex-A55 с NPU. Память подключается через 256-битный контроллер LPDDR5/5X, обеспечивающий пропускную способность до 273 ГБ/с. Для подключения к другим компонентам предусмотрен PCIe 5.0.
Axera делает ставку и на масштабирование: несколько устройств можно объединять через сетевое соединение с пропускной способностью до 256 Гбит/с. По данным компании, два чипа обеспечивают суммарно 512 TOPS, а четыре — до 1024 TOPS. Заявленная эффективность масштабирования четырех типовой конфигурации составляет около 80%.
Чип планируют использовать в нескольких форматах. Помимо отдельного модуля с энергопотреблением 40 Вт, предусмотрены однослотовая PCIe-карта с интерфейсом PCIe 5.0 x4, сетевыми возможностями и видеовыходом, а также однослотовая плата с четырьмя чипами и четырьмя вентиляторами. Кроме того, на базе AX8860 разрабатываются мини-ПК и компактные портативные системы.
Программная платформа заявлена совместимой с инструментами для работы с LLM, включая vLLM, SGLang и PyTorch. Компания рассчитывает начать продажи до конца 2026 года. У Axera уже есть планы на следующее поколение: AX8950 должен обеспечить до 500 TOPS, а AX8970 — более 700 TOPS.
😅 Канал Serverflow в MAX: Подписаться
Решение рассчитано на энергопотребление всего 40 Вт, поддерживает до 128 ГБ LPDDR5X и предлагает вычислительную мощность до 256 TOPS в FP4. Представитель компании также заявляет, что AX8860 будут стоить почти вдвое дешевле DGX Spark.
AX8860 производится по 6-нм техпроцессу TSMC и объединяет 16 процессорных ядер Arm Cortex-A55 с NPU. Память подключается через 256-битный контроллер LPDDR5/5X, обеспечивающий пропускную способность до 273 ГБ/с. Для подключения к другим компонентам предусмотрен PCIe 5.0.
Axera делает ставку и на масштабирование: несколько устройств можно объединять через сетевое соединение с пропускной способностью до 256 Гбит/с. По данным компании, два чипа обеспечивают суммарно 512 TOPS, а четыре — до 1024 TOPS. Заявленная эффективность масштабирования четырех типовой конфигурации составляет около 80%.
По заявлениям компании, AX8860 на 25% быстрее NVIDIA DGX Spark на этапе предварительной обработки входных данных (prefill) и на 30% — при генерации токенов (decode).
Чип планируют использовать в нескольких форматах. Помимо отдельного модуля с энергопотреблением 40 Вт, предусмотрены однослотовая PCIe-карта с интерфейсом PCIe 5.0 x4, сетевыми возможностями и видеовыходом, а также однослотовая плата с четырьмя чипами и четырьмя вентиляторами. Кроме того, на базе AX8860 разрабатываются мини-ПК и компактные портативные системы.
Программная платформа заявлена совместимой с инструментами для работы с LLM, включая vLLM, SGLang и PyTorch. Компания рассчитывает начать продажи до конца 2026 года. У Axera уже есть планы на следующее поколение: AX8950 должен обеспечить до 500 TOPS, а AX8970 — более 700 TOPS.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍17🍾7🤯5💩3
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7🤯2
Please open Telegram to view this post
VIEW IN TELEGRAM
🌭26👍10🍾4🤯2💩1
Кажется, RTX 5090 реально сняли с производства — сеть магазинов Micro Center теперь отмечает видюху статусом “не продается” вместо “нет в наличии”. Похожая ситуация наблюдается и в других магазинах США, Европы и Азии, а там, где запасы GPU еще остались, продавцы завышают прайсы вплоть до 20%. Nvidia пока никак не прокомментировала.
😅 Канал Serverflow в MAX: Подписаться
Please open Telegram to view this post
VIEW IN TELEGRAM
🤯33🍾2💅1
ServerFlow | Новости и Железо 💾
Photo
Пока Intel потихоньку раскрывает подробности о Xeon 7 Diamond Rapids, мы решили вскрыть всю подноготную этих чипов, разобрав их архитектуру по винтикам.
Начнем с того, что можно разглядеть на фотографиях материнки. Плата ASRock Rack DMRD16-2L+ выполнена в формате EEB (12 x 13 дюймов) и рассчитана на один процессор. Вокруг сокета 16 слотов DDR5, по одному модулю на канал. Плата поддерживает RDIMM до 128 ГБ на частоте до 8000 MT/s, MRDIMM до 128 ГБ на 12 800 MT/s и высокие MRDIMM формата 2U до 256 ГБ, тоже на 12 800 MT/s. То есть на одном процессоре можно собрать до 4 ТБ оперативной памяти 🤯
А еще на плате нет ни одного привычного слота PCIe. Вместо них стоят до 16 разъемов MCIO, каждый из которых дает 8 линий PCIe 6.0 или CXL 3.0. Вместе это 128 линий, ровно столько, сколько выдает процессор. Остальное скромно и по делу: M.2 с PCIe 5.0 x4, два гигабитных порта на Intel i350, BMC ASPEED AST2700 и выделенный порт IPMI.
Главное изменение касается компоновки. Раньше в Granite Rapids контроллеры памяти жили на одних тайлах с ядрами, а сами ядра занимали центр подложки. Теперь Intel собрала всю память, PCIe и аппаратные ускорители в двух центральных хабах, а ядра вынесла на периферию. Получилась схема, которую Intel называет Fan-out Fabric, и по духу она очень напоминает EPYC с его центральным IOD. Заодно самые горячие элементы оказались по краям корпуса, откуда тепло отводить проще.
Ядра при этом сгруппированы в 4 вычислительных блока, и каждый из них собран как бутерброд. На нижнем слое лежит базовый тайл с общим кэшем, а сверху к нему напрямую, через гибридное соединение медь-медь, прикреплены 4 чиплета по 16 ядер Panther Cove. Именно из таких блоков, как из конструктора, Intel будет собирать всю линейку, от младших моделей до флагмана.
Если собрать все блоки, выходит, что флагманский Xeon 7 получится таким:
😎 256 производительных ядер Panther Cove на техпроцессе Intel 18A-P
😎 1,28 ГБ кэша последнего уровня, или 5 МБ на ядро против 3,9 МБ у Xeon 6980P
😎 16 каналов DDR5 с пропускной способностью до 1 ТБ/с на DDR5-8000 и до 1,64 ТБ/с на MRDIMM-12800
😎 128 линий PCIe 6.0 / CXL 3 / UPI 3 плюс 8 служебных линий PCIe 4.0
😎 22 кристалла в одном корпусе, произведенных по трем разным техпроцессам
Но у универсальных портов есть и обратная сторона. Межпроцессорная шина UPI раньше шла по отдельным линиям и не отнимала PCIe, что выгодно отличало Xeon от EPYC в двухсокетных серверах. В Diamond Rapids UPI переехал на общие порты x16, поэтому во втором сокете за связь между процессорами придется расплачиваться линиями PCIe, как это давно происходит у AMD.
Компенсировать это Intel пытается новыми инструкциями. Diamond Rapids станет первым Xeon с расширением APX, которое удваивает число регистров общего назначения до 32. Компилятору реже приходится гонять промежуточные данные через память, и, по данным Intel, после перекомпиляции загрузок становится на 10% меньше, а записей на 20%. А блок AMX научился работать с FP8, поэтому в связке с 1,6 ТБ/с памяти процессор выглядит неплохим вариантом для инференса небольших моделей без видеокарты.
Впрочем, сама Intel показала далеко не все. От Hyper-Threading, как оказалось, в этом поколении чипов отказались полностью ❌ и 256 ядер дадут только 256 потоков, тогда как у AMD EPYC Venice на те же 256 ядер приходится 512 потоков. Частот, TDP и бенчмарков тоже пока нет.
С подробным разборрм архитектуры intel Xeon 7 можете ознакомиться в нашей новой статье.
😅 Канал Serverflow в MAX: Подписаться
Начнем с того, что можно разглядеть на фотографиях материнки. Плата ASRock Rack DMRD16-2L+ выполнена в формате EEB (12 x 13 дюймов) и рассчитана на один процессор. Вокруг сокета 16 слотов DDR5, по одному модулю на канал. Плата поддерживает RDIMM до 128 ГБ на частоте до 8000 MT/s, MRDIMM до 128 ГБ на 12 800 MT/s и высокие MRDIMM формата 2U до 256 ГБ, тоже на 12 800 MT/s. То есть на одном процессоре можно собрать до 4 ТБ оперативной памяти 🤯
А еще на плате нет ни одного привычного слота PCIe. Вместо них стоят до 16 разъемов MCIO, каждый из которых дает 8 линий PCIe 6.0 или CXL 3.0. Вместе это 128 линий, ровно столько, сколько выдает процессор. Остальное скромно и по делу: M.2 с PCIe 5.0 x4, два гигабитных порта на Intel i350, BMC ASPEED AST2700 и выделенный порт IPMI.
Теперь давайте разберемся, откуда взялись эти цифры.
Главное изменение касается компоновки. Раньше в Granite Rapids контроллеры памяти жили на одних тайлах с ядрами, а сами ядра занимали центр подложки. Теперь Intel собрала всю память, PCIe и аппаратные ускорители в двух центральных хабах, а ядра вынесла на периферию. Получилась схема, которую Intel называет Fan-out Fabric, и по духу она очень напоминает EPYC с его центральным IOD. Заодно самые горячие элементы оказались по краям корпуса, откуда тепло отводить проще.
Ядра при этом сгруппированы в 4 вычислительных блока, и каждый из них собран как бутерброд. На нижнем слое лежит базовый тайл с общим кэшем, а сверху к нему напрямую, через гибридное соединение медь-медь, прикреплены 4 чиплета по 16 ядер Panther Cove. Именно из таких блоков, как из конструктора, Intel будет собирать всю линейку, от младших моделей до флагмана.
Если собрать все блоки, выходит, что флагманский Xeon 7 получится таким:
Именно эти цифры и объясняют плату ASRock: 16 слотов памяти соответствуют 16 каналам, а 16 разъемов MCIO по 8 линий дают ровно 128 линий PCIe 6.0. Этого хватает, чтобы посадить на один процессор 8 ускорителей по x16 без всяких PCIe-свитчей.
Но у универсальных портов есть и обратная сторона. Межпроцессорная шина UPI раньше шла по отдельным линиям и не отнимала PCIe, что выгодно отличало Xeon от EPYC в двухсокетных серверах. В Diamond Rapids UPI переехал на общие порты x16, поэтому во втором сокете за связь между процессорами придется расплачиваться линиями PCIe, как это давно происходит у AMD.
Компенсировать это Intel пытается новыми инструкциями. Diamond Rapids станет первым Xeon с расширением APX, которое удваивает число регистров общего назначения до 32. Компилятору реже приходится гонять промежуточные данные через память, и, по данным Intel, после перекомпиляции загрузок становится на 10% меньше, а записей на 20%. А блок AMX научился работать с FP8, поэтому в связке с 1,6 ТБ/с памяти процессор выглядит неплохим вариантом для инференса небольших моделей без видеокарты.
Впрочем, сама Intel показала далеко не все. От Hyper-Threading, как оказалось, в этом поколении чипов отказались полностью ❌ и 256 ядер дадут только 256 потоков, тогда как у AMD EPYC Venice на те же 256 ядер приходится 512 потоков. Частот, TDP и бенчмарков тоже пока нет.
Но больше всего Intel мешают сроки. Diamond Rapids появится только в 2027 году, а EPYC Venice 9006 к тому моменту уже успеют обжиться в дата-центрах. Так что по характеристикам синие наконец выходят на паритет с красными, а вот рынок им придется отвоевывать заново.
С подробным разборрм архитектуры intel Xeon 7 можете ознакомиться в нашей новой статье.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍13🌭2🍾2
This media is not supported in your browser
VIEW IN TELEGRAM
NVIDIA представила Nemotron 3.5 Super VL — открытую мультимодальную модель для ИИ-агентов, способных анализировать документы, изображения и видео, писать код и работать с внешними инструментами. Nemotron 3.5 Super VL построена на архитектуре MoE с 120 млрд параметров, из которых активны 12 млрд на каждый токен.
Super VL рассчитана на сложные многоэтапные задачи: от поиска и проверки информации в интернете до анализа финансовых документов и обнаружения уязвимостей. Модель может извлекать данные из таблиц и графиков, учитывать структуру многостраничных документов и связывать сведения из разных источников.
По данным NVIDIA, на бенчмарке CharXiv для анализа графиков модель набрала 80,8% против 63% у Nemotron 3 Nano Omni. В задачах интерпретации Python-кода результат составил 84%. В оценках Hermes Bench и LangChain Evals она также опередила Nemotron 3 Ultra: 63,44% против 56,33% и 87,05% против 84,3% соответственно.
Отдельный акцент сделан на скорости работы агентов. NVIDIA заявляет о 4-кратном ускорении выполнения задач относительно других открытых моделей своего класса в определенных тестовых сценариях. Для локального запуска на DGX Spark предусмотрена технология спекулятивного декодирования LiLiCorr, которая, по данным компании, повышает скорость генерации токенов в 2,3 раза. Эти показатели зависят от конкретной нагрузки и конфигурации.
Модель можно дообучать на собственных данных с помощью NVIDIA NeMo. Для этого доступны SFT, LoRA и обучение с подкреплением RL. NVIDIA также публикует обучающие наборы данных, включая материалы для финансовых задач, использования инструментов и визуального анализа.
Веса доступны на Hugging Face.
😅 Канал Serverflow в MAX: Подписаться
Super VL рассчитана на сложные многоэтапные задачи: от поиска и проверки информации в интернете до анализа финансовых документов и обнаружения уязвимостей. Модель может извлекать данные из таблиц и графиков, учитывать структуру многостраничных документов и связывать сведения из разных источников.
По данным NVIDIA, на бенчмарке CharXiv для анализа графиков модель набрала 80,8% против 63% у Nemotron 3 Nano Omni. В задачах интерпретации Python-кода результат составил 84%. В оценках Hermes Bench и LangChain Evals она также опередила Nemotron 3 Ultra: 63,44% против 56,33% и 87,05% против 84,3% соответственно.
Отдельный акцент сделан на скорости работы агентов. NVIDIA заявляет о 4-кратном ускорении выполнения задач относительно других открытых моделей своего класса в определенных тестовых сценариях. Для локального запуска на DGX Spark предусмотрена технология спекулятивного декодирования LiLiCorr, которая, по данным компании, повышает скорость генерации токенов в 2,3 раза. Эти показатели зависят от конкретной нагрузки и конфигурации.
Модель можно дообучать на собственных данных с помощью NVIDIA NeMo. Для этого доступны SFT, LoRA и обучение с подкреплением RL. NVIDIA также публикует обучающие наборы данных, включая материалы для финансовых задач, использования инструментов и визуального анализа.
Веса доступны на Hugging Face.
Please open Telegram to view this post
VIEW IN TELEGRAM
🌭9👍3🍾3
This media is not supported in your browser
VIEW IN TELEGRAM
Black Forest Labs выпустила FLUX 3 Image Klein Base — открытую модель на 5,6 млрд параметров для генерации изображений и их редактирования, которую можно запустить даже на потребительской видеокарте 8 ГБ VRAM. Она умеет создавать картинку по текстовому запросу, изменять изображение по одному референсу и объединять до 10 исходных изображений в единую композицию.
За генерацию отвечает трансформер изображений на 5,6 млрд параметров, а за обработку текста — отдельный энкодер Qwen3-VL-4B-Instruct. Модель также поддерживает отрисовку текста внутри изображений и управление композицией через ограничивающие рамки (bounding boxes). Для размещения объектов можно задавать координаты на сетке от 0 до 1000, а затем текстовыми инструкциями перемещать, заменять, перекрашивать или удалять элементы. Рамки задают примерное положение и масштаб объектов, но не ограничивают область редактирования жесткой маской. Генерация контента происходит в 50 шагов.
Доступна Base-версия для дообучения и создания LoRA-адаптеров в формате BF16, FP8 и NVFP4, а также дистиллированная версия с идентичным количеством параметров, но ускоренным инференсом с генерацией за 16 шагов.
Веса лежат на Hugging Face.
😅 Канал Serverflow в MAX: Подписаться
За генерацию отвечает трансформер изображений на 5,6 млрд параметров, а за обработку текста — отдельный энкодер Qwen3-VL-4B-Instruct. Модель также поддерживает отрисовку текста внутри изображений и управление композицией через ограничивающие рамки (bounding boxes). Для размещения объектов можно задавать координаты на сетке от 0 до 1000, а затем текстовыми инструкциями перемещать, заменять, перекрашивать или удалять элементы. Рамки задают примерное положение и масштаб объектов, но не ограничивают область редактирования жесткой маской. Генерация контента происходит в 50 шагов.
Доступна Base-версия для дообучения и создания LoRA-адаптеров в формате BF16, FP8 и NVFP4, а также дистиллированная версия с идентичным количеством параметров, но ускоренным инференсом с генерацией за 16 шагов.
Веса лежат на Hugging Face.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍15🍾3
Meta* выпустила Muse Spark Open — мультимодальную модель с открытыми весами, ориентированную на программирование, сложные агентные сценарии и многошаговое рассуждение. Она умеет работать с длинными задачами, использовать инструменты и поддерживает контекстное окно в 1 048 576 токенов.
В основе модели — архитектура Mixture of Experts (MoE). Всего Muse Spark Open содержит 816 млрд параметров, но на обработку каждого токена приходится около 42 млрд активных параметров.
Muse Spark Open набрала 89,2 балла в MCP-Atlas против 84,5 у Qwen3.8 и 84,2 у GLM 5.3; 76,4 в Terminal-Bench 2.1 против 85,0 у Kimi K3, 83,9 у GLM 5.3 и 82,0 у Qwen3.8; 58,5 в SciCode против 59,5 у Kimi K3 и 59,0 у GLM 5.3. В тесте профессиональных задач GDPval-AA v2 модель получила 1401 балл, уступив GLM 5.3 (1653), Qwen3.8 (1613) и Kimi K3 (1537), зато в сложных задачах на знания HLE-Diamond без инструментов набрала 26,1 против 22,2 у Kimi K3, 17,3 у Qwen3.8 и 16,4 у GLM 5.3.
Muse Spark Open поддерживается в MLX, SGLang, vLLM, TensorRT-LLM, Hugging Face Transformers, MLX, llama.cpp и Unsloth.
Веса доступны на Hugging Face.
*Деятельность Meta Platforms Inc. в России признана экстремистской и запрещена
😅 Канал Serverflow в MAX: Подписаться
В основе модели — архитектура Mixture of Experts (MoE). Всего Muse Spark Open содержит 816 млрд параметров, но на обработку каждого токена приходится около 42 млрд активных параметров.
Muse Spark Open набрала 89,2 балла в MCP-Atlas против 84,5 у Qwen3.8 и 84,2 у GLM 5.3; 76,4 в Terminal-Bench 2.1 против 85,0 у Kimi K3, 83,9 у GLM 5.3 и 82,0 у Qwen3.8; 58,5 в SciCode против 59,5 у Kimi K3 и 59,0 у GLM 5.3. В тесте профессиональных задач GDPval-AA v2 модель получила 1401 балл, уступив GLM 5.3 (1653), Qwen3.8 (1613) и Kimi K3 (1537), зато в сложных задачах на знания HLE-Diamond без инструментов набрала 26,1 против 22,2 у Kimi K3, 17,3 у Qwen3.8 и 16,4 у GLM 5.3.
Muse Spark Open поддерживается в MLX, SGLang, vLLM, TensorRT-LLM, Hugging Face Transformers, MLX, llama.cpp и Unsloth.
Веса доступны на Hugging Face.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8🌭2💩1
Nvidia совместно с ChipAgents разработала собственный ИИ-бенчмарк Build-A-Chip-Bench, который позволяет тестировать модели на возможности в проектировании процессоров. Пока в тесте лидирует Fable 5.1
😅 Канал Serverflow в MAX: Подписаться
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12🍾1
ServerFlow | Новости и Железо 💾
Кажется, RTX 5090 реально сняли с производства — сеть магазинов Micro Center теперь отмечает видюху статусом “не продается” вместо “нет в наличии”. Похожая ситуация наблюдается и в других магазинах США, Европы и Азии, а там, где запасы GPU еще остались, продавцы…
Please open Telegram to view this post
VIEW IN TELEGRAM
🤯25👍7💩6🌭1
NVIDIA представила Nemotron 3.5 Bolt 74B-A9B — открытую модель для локальных ИИ-агентов, которая при объеме в 74 млрд параметров умещается в 24 ГБ видеопамяти. Благодаря архитектуре MoE на каждый токен активируются только 9 млрд параметров, а агрессивная 2-битная квантизация позволяет запускать модель на потребительских видеокартах RTX и компактных системах DGX Spark и RTX Spark. Заявленная скорость генерации составляет около 84 токенов/с.
У Bolt необычная схема квантизации. Большая часть весов, относящихся к экспертам MoE, использует формат IQ2_XXS с эффективной разрядностью 2,0625 бита на параметр. Линейные слои Mamba переведены в NVFP4, а эмбеддинги, attention и выходной слой — в Q8_0. Чтобы компенсировать потерю точности при сжатии, NVIDIA применила дистилляцию с учётом квантизации (QAD): компактная версия учится воспроизводить ответы исходной модели.
В тестах NVIDIA Bolt превосходит Qwen3.6 35B-A3B и Gemma 4 26B-A4B по ряду показателей агентных навыков, веб-навигации и работы в терминале. Среди моделей с сопоставимыми требованиями к памяти она занимает первое место в PinchBench и второе в WebArena и BrowseComp. Однако по скорости генерации она уступает некоторым менее требовательным конкурентам: в AIPerf SPEED-Bench-Coding Bolt показывает 84 токена/с, тогда как Qwen3.6 35B-A3B выдаёт 96,6, а Gemma 4 26B-A4B — 100,6 токена/с. При этом плотная Qwen3.8 27B генерирует лишь 28,3 токена/с.
NVIDIA опубликовала версию на 24 ГБ в формате NVFP4 и GGUF, отдельную черновую модель LiLiCorr, а также неквантизованный чекпойнт BF16 для дообучения. Основная версия оптимизирована для llama.cpp на RTX Spark и vLLM на DGX Spark.
Веса модели лежат на Hughing Face.
😅 Канал Serverflow в MAX: Подписаться
Bolt создана с помощью сжатия более крупной Nemotron 3.5 Super VL. Для дистилляции NVIDIA использовала фреймворк Star Elastic для автоматического подбора архитектуры под заданный бюджет памяти. После сжатия модель дообучили для работы с изображениями, а затем обучили выполнять агентные задачи в симулированных средах, улучшив рассуждения и использование инструментов.
У Bolt необычная схема квантизации. Большая часть весов, относящихся к экспертам MoE, использует формат IQ2_XXS с эффективной разрядностью 2,0625 бита на параметр. Линейные слои Mamba переведены в NVFP4, а эмбеддинги, attention и выходной слой — в Q8_0. Чтобы компенсировать потерю точности при сжатии, NVIDIA применила дистилляцию с учётом квантизации (QAD): компактная версия учится воспроизводить ответы исходной модели.
За ускорение генерации отвечает LiLiCorr — технология спекулятивного декодирования с черновой моделью на 1,13 млрд параметров. При прогнозировании семи токенов система в среднем принимает 4,68 токена при жадном декодировании и 4,25 при вероятностной выборке. Это сокращает число последовательных вычислений, необходимых для генерации ответа.
В тестах NVIDIA Bolt превосходит Qwen3.6 35B-A3B и Gemma 4 26B-A4B по ряду показателей агентных навыков, веб-навигации и работы в терминале. Среди моделей с сопоставимыми требованиями к памяти она занимает первое место в PinchBench и второе в WebArena и BrowseComp. Однако по скорости генерации она уступает некоторым менее требовательным конкурентам: в AIPerf SPEED-Bench-Coding Bolt показывает 84 токена/с, тогда как Qwen3.6 35B-A3B выдаёт 96,6, а Gemma 4 26B-A4B — 100,6 токена/с. При этом плотная Qwen3.8 27B генерирует лишь 28,3 токена/с.
В тесте AA-AgentPerf Local Bolt справилась с задачами за 601 секунду. Для сравнения, Qwen3.6 потребовалось 454 секунды, Gemma 4 — 481 секунд, а Qwen3.8 27B — 1043 секунд. Bolt не самая быстрая модель в этом сравнении, но заметно опережает более плотную Qwen3.8 27B и, по оценкам NVIDIA, обеспечивает лучший баланс между точностью и требованиями к памяти.
NVIDIA опубликовала версию на 24 ГБ в формате NVFP4 и GGUF, отдельную черновую модель LiLiCorr, а также неквантизованный чекпойнт BF16 для дообучения. Основная версия оптимизирована для llama.cpp на RTX Spark и vLLM на DGX Spark.
Веса модели лежат на Hughing Face.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7🌭2🍾2💩1