🌟 CUDA-L2: ИИ научился писать CUDA-ядра эффективнее инженеров NVIDIA.

Исследовательская группа DeepReinforce разработала систему полностью автоматического написания GPU-кода для матричного умножения под названием CUDA-L2.
Этот код работает на 10–30% быстрее, чем cuBLAS и cuBLASLt, а это, на минуточку, уже оптимизированные библиотеки от самой NVIDIA.

Обычно такие библиотеки создаются вручную людьми, которые используют готовые шаблоны ядер. А автотюнеры лишь подкручивают параметры, например, размер тайлов.

Но DeepReinforce считают, что даже критически важные и глубоко оптимизированные задачи, как HGEMM, могут быть улучшены с помощью LLM, работающей в связке с RL.

В системе CUDA-L2 языковая модель буквально пишет исходный код CUDA с нуля для каждого размера матрицы. Она не просто меняет параметры, она может менять структуру кода, циклы, стратегию тайлинга, паддинг и даже свизл-паттерны. А еще, она сама выбирает стиль программирования - будь то сырой CUDA, CuTe, CUTLASS или inline PTX.

Процесс выглядит так: цикл RL запускает сгенерированные ядра на реальном железе, измеряет скорость и корректность, а затем обновляет LLM. Со временем модель выводит свои собственные правила производительности, вместо того чтобы полагаться на знания, заложенные людьми.

В качестве генератора использовалась модель DeepSeek 671B. Ее дополнительно доучили на смеси массива CUDA-ядер и качественном коде из библиотек PyTorch, ATen, CUTLASS и примеров от NVIDIA.

🟡Что это дает на практике

Для претрейна и файнтюна LLM большая часть времени GPU тратится именно на операции матричного умножения HGEMM. Если ускорить эти ядра на те самые 10–30%, которые обещает CUDA-L2, то весь процесс обучения становится заметно дешевле и быстрее.

Поскольку CUDA-L2 обрабатывает около 1000 реальных размеров матриц, а не пару вручную настроенных, ускорение работает для самых разных архитектур. Это значит, что в тот же бюджет на GPU можно вместить больше токенов обучения, больше прогонов SFT или RLHF и т.д.

🟡Тесты

HGEMM-ядра, созданные CUDA-L2, стабильно быстрее стандартных библиотек.

В так называемом "оффлайн-сценарии" CUDA-L2 работает примерно на 17–22% быстрее, чем torch.matmul, cuBLAS и cuBLASLt. Она даже на 11% обгоняет cuBLASLt AutoTuning, который сам по себе уже использует поиск ядра.

А в "серверном", сценарии, который имитирует реальный инференс с паузами между вызовами - разница еще больше: буст в 24–29% по сравнению с torch.matmul и cuBLAS.


Простым рисёрчем проект не ограничен, в репозитории на Github авторы выложили оптимизированные ядра HGEMM A100 для 1000 конфигураций.

В планах: расширение на архитектуры Ada Lovelace, Hopper, Blackwell, поддержка более плотных конфигураций и 32-битный HGEMM.


🟡Arxiv
🖥GitHub


#AI #ML #CUDA #DeepReinforce

😎Отлично, провели стрим. Спасибо всем что пришли, поговорили за ИИ, новые тренды и новости. Посмотрели куда все движется и как сейчас мультиагенты внедряются в жизнь. Сделал анонс на написание статей и те кому интересно приходите.

👍Если у вас есть идеи по написанию статей, будем рады видеть всех. Пока статьи пишем на безвозмездной основе, в дальнейшем переведем на коммерческие рельсы.

⚠️Следующий стрим по расписанию в 18.00 в следующее воскресенье 14.12. Анонс также будет.
Сегодня было 7 человек. Супер, растем !!!

🧠 Учёные из Penn State обнаружили нечто дикое: грубость делает ChatGPT умнее.

Они протестировали ChatGPT-4o на 250 вопросах с 5 уровнями вежливости:

• Очень вежливо → 80.8% точности 
• Вежливо → 81.4% 
• Нейтрально → 82.2% 
• Грубо → 82.8% 
• Очень грубо → 84.8%

Статистический анализ подтвердил: это не случайность — жёсткие запросы стабильно дают лучший результат.

Ещё интереснее: старые модели вроде GPT-3.5 реагировали *наоборот*. 
А вот GPT-4 и новее становятся точнее, когда с ними разговаривают резче.

Источник: https://arxiv.org/abs/2510.04950

😂Идеальная кружка для аналитика найдена.