🚀 NVIDIA обещает ускорить LLM в 53 раза (звучит слишком хорошо, чтобы быть правдой)

NVIDIA представила PostNAS - метод, который якобы ускоряет инференс в 53 раза при снижении бюджета на 98%. Разбираемся, что к чему 🤖

Как это работает

Метод называется Post Neural Architecture Search (PostNAS) - подход к «апгрейду» уже обученных моделей без полного переобучения.

Три ключевых шага:

• Freeze the Knowledge - берут мощную модель (например, Qwen2.5) и «замораживают» MLP-слои, сохраняя накопленный интеллект.
• Surgical Replacement - заменяют большую часть медленных O(n²) attention-слоёв на новый дизайн JetBlock с линейным вниманием.
• Hybrid Power - оставляют несколько full-attention слоёв в критичных точках, чтобы не потерять способность к сложным рассуждениям.

Результат — Jet-Nemotron

Заявленные характеристики впечатляют: • 2 885 токенов/секунду
• В 47 раз меньше KV-кеша (всего 154 MB)
• Топовая точность при космической скорости

Мои мысли

Звучит революционно, но я бы не спешил с выводами. Во-первых, цифры из пресс-релизов NVIDIA часто оказываются... оптимистичными в реальных условиях.
Во-вторых, «топовая точность» - понятие растяжимое. На каких задачах тестировали? В каких условиях? Как ведет себя модель на edge cases?

Почему это может быть важно

Если все работает как заявлено:
• Для бизнеса: 53× ускорение действительно меняет экономику ИИ-проектов кардинально
• Для инженеров: SOTA-уровень станет доступен на устройствах с ограниченной памятью
• For исследователей: вместо миллионов на пре-тренинг можно создавать эффективные модели через архитектурные модификации

Но есть нюансы

Линейное внимание - не новая идея, и у него есть свои ограничения. Потеря части способностей к long-range dependencies почти неизбежна, как бы ни старались это компенсировать.
Также интересно, насколько стабильно работает гибридный подход в продакшене, а не в лабораторных условиях.

Ждем независимых тестов
Пока это выглядит как очень многообещающее направление, но хочется увидеть независимые бенчмарки и реальные кейсы использования.

Ресурсы:
• GitHub
• Arxiv

А что думаете вы? Реальный прорыв или очередной маркетинг от NVIDIA? 💭

#nvidia #llm #архитектура

Курсор сделали свой аналог копки YouTube, хочу, но не получу 🥹(отписался)

Источник

#cursor