[Перевод] Загруженность GPU — не самая репрезентативная метрика

В командах ML-инженеров часто пользуются метрикой «GPU Utilization» (Загруженность процессора), чтобы понять, насколько активно задействуется в работе процессор. Чтобы узнать эту информацию, обычно достаточно выполнить команду nvidia-smi в строке терминала. Во многих интегрированных наблюдательных инструментах загруженность процессора также отслеживается как основная характеристика производительности. Но иногда, как ни удивительно, эта метрика даёт не слишком точное представление о производительности GPU. На самом деле, GPU можно загрузить на 100%, выполняя лишь операции чтения и записи (в памяти), но при этом 0 вычислений. Эта статья – не о том, как мы это выяснили, а о том, что нам удалось узнать по ходу дела.

Читать далее

#gpu #nvidia #процессоры #производительность #cuda_toolkit_ | @habr_ai

Практика: мой опыт интеграции более 50 нейронных сетей в один проект

Статья основана на полутора годах работы по внедрению нейронных сетей в веб-приложение с открытым исходным кодом. В ней собраны практические лайфхаки для решения реальных задач и преодоления сложностей, с которыми сталкиваются разработчики. Преодолеть открытие

#опыт #лайфхаки #torch #onnxruntime #нейронные_сети #cuda #python #github #lifehack #исскуственный_интеллект | @habr_ai

Intel oneAPI: обзор амбизициозной платформы для ИИ и научных вычислений от Intel для всех архитектур и производителей

Представьте, что вы можете запустить одну и ту же программу на любом компьютере, будь то ваш домашний ПК, игровая консоль или даже суперкомпьютер. Звучит фантастично? Intel с 2020 года работает над тем, чтобы сделать это реальностью с помощью платформы oneAPI. Эта инновация обещает не только изменить то, как мы используем искусственный интеллект, но и упростить процесс разработки программного обеспечения. Вместо того чтобы адаптировать код под каждую платформу, разработчики смогут писать универсальные приложения, которые будут эффективно работать на самых различных устройствах, обеспечивая при этом высокую производительность. Более того, уже сейчас на платформу портируют код CUDA, вроде проектов как интерфейс Stable Diffusion 1111.

Но что это значит для обычного пользователя?.. Читать дальше →

#intel #oneapi #oneapi_toolkit #искусственный_интеллект #cuda #gpu_вычисления #портирование_приложений #гетерогенные_вычисления #платформа_для_разработчиков | @habr_ai

Как просто добавить ИИ в приложения на Rust: универсальный опенсорсный инструмент

Системный разработчик ИТ-компании «Криптонит» написал статью про новый инструмент на Rust, который облегчает запуск моделей машинного обучения и их внедрение в приложения. Дальше публикуем текст от первого лица.

Статья написана по материалам выступления Михаила на RustCon 2024. Посмотреть видеозапись доклада можно в VK Видео.

Читать далее

#rust #библиотека #машинное_обучение #ml #модели #triton #deepstream #tensorrt #cuda #ии | @habr_ai

[Перевод] «Я ненавижу C++, но восхищаюсь его мастерами»: Дженсен Хуанг (Nvidia) о том, как ИИ вернулся домой

Nvidia давно вышла за пределы игровых миров — сегодня её технологии формируют будущее ИИ, научных исследований, связи и многого другого. Но как компания, начавшая с графики, стала флагманом искусственного интеллекта? В интервью для Computerphile (25.03.2025) Хуанг рассказывает, как закон Амдала уживается с тензорными ядрами, а CUDA из инструмента разработчика превратилась в основу для преобразования индустрий. Это интервью о процессе, в котором технологии развиваются, пересекаются и возвращаются туда, с чего начинали.

Читать далее

#ai #ии #дженсен_хуанг #nvidia #cuda #transformer #закон_амдала #5g | @habr_ai

Ведущий разработчик ChatGPT и его новый проект — Безопасный Сверхинтеллект



Многие знают об Илье Суцкевере только то, что он выдающийся учёный и программист, родился в СССР, соосновал OpenAI и входит в число тех, кто в 2023 году изгнал из компании менеджера Сэма Альтмана. А когда того вернули, Суцкевер уволился по собственному желанию в новый стартап Safe Superintelligence («Безопасный Сверхинтеллект»).

Илья Суцкевер действительно организовал OpenAI вместе с Маском, Брокманом, Альтманом и другими единомышленниками, причём был главным техническим гением в компании. Ведущий учёный OpenAI сыграл ключевую роль в разработке ChatGPT и других продуктов. Сейчас Илье всего 38 лет — совсем немного для звезды мировой величины. Читать дальше →

#илья_суцкевер #ilya_sutskever #openai #10x_engineer #alexnet #safe_superintelligence #imagenet #неокогнитрон #gpu #gpgpu #cuda #компьютерное_зрение #lenet #nvidia_gtx 580 #dnnresearch #google_brain #алекс_крижевски #джеффри_хинтон #seq2seq #tensorflow #alphago #томаш_миколов #word2vec #few_shot_learning #машина_больцмана #сверхинтеллект #gpt #chatgpt #ruvds_статьи | @habr_ai

Три икса: новый уровень работы с большими свертками в PyTorch для обучения моделей

Привет, Хабр! Продолжим разговор про свертки в ML-обучении на C++. Мы уже обсудили, какие есть подходы к реализации сверток, — ссылку на первую часть ищите в конце статьи. 

Теперь поговорим, как в одном моем проекте нужно было расширить функциональность PyTorch для работы со свертками размерностью больше трех, а потом использовать их в обучении моделей. Сначала рассмотрим, какие ограничения на выбор алгоритма накладывает возможность обучения моделей, а затем изучим два подхода к реализации свертки и адаптируем их к нашей задаче.  Читать далее

#машинное_обучение #cuda #convolution #сверточные_нейронные_сети | @habr_ai

[Перевод] Объяснение графических процессоров для тех, кто привык работать с ЦП

За годы работы я подробно изучил, как центральные процессоры (CPU) выполняют код и как они устроены внутри. Дело в том, что я участвовал в разработке ядра Linux и ScyllaDB, а этот код очень близок к металлу. Я даже немного баловался с Verilog, безрезультатно попытавшись собрать моё собственное ядро RISC-V.

Графические процессоры (GPU) в отличие от обычных в основном оставались для меня чёрным ящиком, несмотря на то, что поработать с ними всё-таки довелось. Помню, что экспериментировал с NVIDIA RIVA 128 или чем-то подобным, проверяя, как там работает DirectX. Тогда такие процессоры ещё не выделялись на фоне ускорителей 3D-графики. Я также пытался идти в ногу со временем и немного упражнялся в программировании элементарных шейдеров на современных GPU. Но я никогда глубоко не вдавался в работу с GPU, и мои взгляды можно назвать CPU-центричными.

Однако, поскольку сегодня наблюдается всплеск рабочих нагрузок, связанных с ИИ, и, в частности, приходится работать с большими языковыми моделями (БЯМ), графические процессоры становятся незаменимыми для современных вычислений. К задачам, решаемым с применением ИИ, относятся масштабные прикладные тензорные операции, в том числе — сложение и перемножение матриц. А это уже работа для GPU. Но как современный GPU выполняет их, и насколько при этом возрастает эффективность по сравнению с выполнением таких же рабочих нагрузок на CPU? Читать далее

#timeweb_статьи_перевод #gpu #linux #scylladb #nvidia #cpu #процессор #искусственный_интеллект #cuda #simd | @habr_ai

Как приручить NVIDIA в Alma Linux

Совсем недавно, исправляя уязвимости в ядре, я столкнулся с тем, что у меня слетели драйвера NVIDIA. Вот прям совсем, даже nvidia-smi не отрабатывала. На тот момент я еще не подозревал, что впереди меня ждет приключение на несколько часов.

В этой статье я хочу поделиться опытом решения данной проблемы, но ни в коем случае не настаиваю, что мой способ/мнение - единственно верное. И буду очень рад, если вы поделитесь своим опытом выхода из подобной ситуации! Читать далее

#almalinux #nvidia #cuda_toolkit #видеокарты #мануалы | @habr_ai

Шпаргалка по установке драйверов NVIDIA на ML сервер

Данный материал предназначен для быстрой и последовательной установки драйверов NVIDIA, в том числе для видеокарт 50xx серии, а также настройки NVIDIA Container Toolkit. Эта инструкция актуальна для Linux-систем на базе Ubuntu и других Debian-совместимых дистрибутивов. Читать далее

#nvidia #docker #ubuntu #драйвер #установка #gpu #cuda #nvidia_smi #container #linux | @habr_ai