Шпаргалка по установке драйверов NVIDIA на ML сервер

Данный материал предназначен для быстрой и последовательной установки драйверов NVIDIA, в том числе для видеокарт 50xx серии, а также настройки NVIDIA Container Toolkit. Эта инструкция актуальна для Linux-систем на базе Ubuntu и других Debian-совместимых дистрибутивов. Читать далее

#nvidia #docker #ubuntu #драйвер #установка #gpu #cuda #nvidia_smi #container #linux | @habr_ai

Почём ИИ для народа: протестировали платформу YADRO G4208P с восемью H100 NVL и RTX 4090 на десятке ИИ-моделей

Привет, Хабр! Меня зовут Артём Маклаев, вместе с командой я занимаюсь оценкой производительности серверных платформ для задач искусственного интеллекта в YADRO. Сегодня поговорим о готовящемся к выпуску сервере YADRO G4208P G3, к раннему образцу которого мы получили полный доступ, чтобы оценить его эффективность работы с нейросетями.

Мы провели масштабное тестирование разных ИИ-моделей на платформах с восемью H100 NVL и RTX 4090, адаптированных для установки в сервер. Когда выгоднее взять RTX 4090, а в каких случаях не обойтись без серверных карт? Давайте вместе разберемся. Читать далее

#gpu #сервер #производительность #бенчмарки #сравнение #mlcommons | @habr_ai

[Перевод] Ищем игры для Atari в случайных данных

В рамках этого проекта я сгенерировал около 30 миллиардов файлов случайных данных по 4 КБ. Из этих файлов на основании эвристик из полной коллекции файлов ROM Atari было выбрано примерно 10 тысяч. Затем система классификатора просканировала их при помощи эмулятора Atari 2600, чтобы проверить, окажется ли какой-то из этих случайных файлов игрой для Atari. Этот проект отвечает на вопросы, которые никто не задавал, он никому не нужен и представляет собой огромную пустую трату ресурсов. Что, если засунуть в GPU миллиард обезьян и заставить их написать игру для Atari 2600?

Благодаря прогрессу GPU, ИИ и машинного обучения сегодня мы можем (очень быстро) написать на Python скрипт, который дампит мусор в ROM по 4 КБ и спрашивает: «похоже ли это на игру?». Проект был создан не из ностальгии, моей первой консолью была NES. Я вознамерился исследовать нечто невообразимо обширное и посмотреть, найдётся ли там что-нибудь странное. Читать далее

#atari #atari_2600 #параллельное_программирование #gpu | @habr_ai

GPU Server and AI Infrastructure: тренды архитектуры 2030

Мы в OpenYard внимательно следим за тем, как развивается инфраструктура для искусственного интеллекта — от железа до сетей и архитектуры дата-центров. Причём это не просто рабочая необходимость, а и то, что нам самим по-настоящему интересно. В эту статью попали материалы, которые мы собираем и анализируем в процессе исследований для наших новых продуктов. Здесь собраны ключевые тренды, которые уже начинают влиять на то, как мы будем строить свою инфраструктуру и запускать модели ИИ в ближайшие 5–7 лет.

Материал подойдет тем, кто работает с железом, инфраструктурой, занимается высокопроизводительными вычислениями или просто интересуется, как будут выглядеть дата-центры завтрашнего дня. Читать далее

#openyard #gpu #искусственный_интеллект #ai #nvidia #intel #amd #ocp | @habr_ai

Карты Tenstorrent для DIY-сервера с локальной LLM

В апреле 2025 года компания Tenstorrent начала принимать заказы на PCIe-карты Blackhole и Wormhole (на фото). Ускорители TPU на открытой архитектуре RISC-V с 28−32 ГБ видеопамяти предназначены непосредственно для разработчиков, которые желают запускать LLM на домашнем ПК или небольшом DIY-сервере. Это реальная альтернатива в сегменте, где пока доминирует Nvidia.

Во главе Tenstorrent стоит легендарный инженер Джим Келлер, ветеран Intel и AMD, создатель микроархитектуры AMD Zen и соавтор x86-64.

Благодаря радикальной открытости своих решений Tenstorrent уже привлекла небольшую армию фанатов среди LLM-энтузиастов. Читать далее

#gpu #tenstorrent #tpu #llm #ruvds_статьи | @habr_ai

4 бесплатных часа GPU в день: JupyterLab на PrimeWay за пару кликов

Небольшая инструкция, как открыть полноценный JupyterLab-сервер на выделенной A100 / A40 и получить до 4 бесплатных часов в день. Читать далее

#gpu #jupyter #mistral #ai #ml #mlops | @habr_ai

Роль облачной инфраструктуры в развитии искусственного интеллекта

Активное внедрение решений на базе ИИ влияет на трансформацию различных областей. С одной стороны, бизнес получает новые возможности для развития и масштабирования. Но, вместе с тем, появляются определенные вызовы. Читать далее

#облачная_инфраструктура #gpu #искусственный_интеллект #облачные_технологии #технологии #облачная_архитектура #масштабирование | @habr_ai

Интервью с ИИ: как бы LLM спроектировала ЦОД

Истина рождается в споре, а инсайты приходят во время общения. Помня об этом, я решил провести интервью с искусственным интеллектом и спросил у модели о том, как бы она спроектировала ЦОД и что нам ждать в ближайшем будущем. Вопросы сформулировал я, а ответы писал ChatGPT–4о. В некоторых местах текст дополнен моими ремарками и обоснованием от чат-бота. Если интересно, приглашаю под кат, а промпт в конце текста.  Узнать мнение ИИ

#цод #ии #дата_центр #облака #серверы #gpu #инфраструктура #ruvds_статьи #it_инфраструктура #интервью | @habr_ai

Китайские GPU против NVIDIA

В октябре 2023 года Вашингтон добавил тринадцать китайских компаний в Entity List, включая Biren Technology и Moore Threads — две компании, которые считались лучшими надеждами Китая в создании конкурентов NVIDIA. Санкции перекрыли доступ к передовым фабрикам и американскому программному обеспечению для проектирования чипов, но не остановили амбиции Поднебесной в создании собственных GPU.

Сегодня, когда геополитические риски становятся определяющим фактором в технологическом развитии, а санкции США на экспорт чипов в Китай достигли беспрецедентного масштаба, китайские компании активно наращивают разработку собственных решений для искусственного интеллекта и высокопроизводительных вычислений. Читать далее

#gpu #nvidia #ии #китайские_производители #инфраструктура #видеокарты | @habr_ai

NVIDIA RTX PRO 6000 Blackwell Server Edition — как запутать всех с новым поколением своих профессиональных GPU

Разбираем RTX 6000 Blackwell Server Edition: чем она отличается от Workstation и Max-Q, как работает пассивное охлаждение в серверах, результаты тестов в инференсе LLM и генерации видео, а также сравнение с RTX 5090, A5000 и H100. Читать далее

#rtx_6000_pro #gpu #тестирование #nvidia #llm #нейросети #генерация_изображений #генерация_видео #хостинг | @habr_ai

Как приручить LLM: подбор инфраструктуры для инференса. Часть 1

Привет, Хабр! Меня зовут Антон, и сейчас я активно занимаюсь вопросами инфраструктуры для ML и AI. Когда клиент приходит с запросом в духе «Разверните мне Qwen», невольно задаешься вопросом: «А какая инфраструктура нужна для такой задачи?» Но если запрос становится более конкретным, например, «Разверните Qwen так, чтобы держать 10 RPS с задержкой до пяти секунд», то можно и вовсе растеряться. Как подобрать конфигурацию под такие требования?

В серии статей разберемся, как отвечать на такие вопросы. Рассмотрим, какие инструменты помогают быстро подобрать оптимальную инфраструктуру, как тестировать производительность инференса и автоматизировать процесс. Посмотрим, как пройти путь от ручных запусков примеров моделей до автоматизированного анализа работы фреймворков на GPU с подбором оптимальной конфигурации.

А еще в последнее время мне нравится тематика викингов и драконов (особенно та часть, которая связана с медовухой). Вместе мы напишем книгу по приручению самых разнообразных драконов или, как в простонародье, open source LLM. В ней рассмотрим разные типы драконов, какие «GPU-седла» подходят под каждого и какие инструменты использовать для приручения. Садитесь поудобнее, заваривайте что-нибудь крепкое и айда в уникальное путешествие на дракаре в волшебную долину драконов! Читать далее

#selectel #ml #llm #инференс #it_инфраструктура #gpu | @habr_ai

MLOps без мам, пап и GPT: как поднять сервер для AI за вечер

Self-hosted в работе с ML — это база. Для работы с данными, особенно если они чувствительные, нужно собственное хранилище, а также ресурсы, на которых можно быстро и без очереди развернуть пайплайн. Часто в «джентльменский набор» ML-инженера входит: Jupyter Notebook, фреймворки Tensorflow и Keras, а также ускорители вроде XGBoost и LightGBM.

Самостоятельная установка компонентов и настройка рабочего окружения — нетривиальная задача. Нужно разбираться в Docker и принципах контейнеризации, а также следить за конфликтами версий и разбирать dependency hell. И, конечно, нужно настроить хранилище и соединение с сервером, а это задача не одного дня.

В этой инструкции делимся способом, как за несколько кликов поднять рабочее пространство на базе готового образа для ML и Data. Подробности под катом! Читать далее

#selectel #mlops #ai #сервер #data #gpu #хранилище_данных #конфигурация #выделенный_сервер | @habr_ai

[Перевод] Обзор текущих китайских производителей ИИ-чипов и сравнение их с моделями Nvidia и AMD

Статья - частичный перевод поста на Rest Of World: China’s chip startups are racing to replace Nvidia и собственного дополнения и небольшого ресерча по конкретным чипам компаний и их характеристикам (было неинтересно просто читать статью без циферок).

Из-за экспортных ограничений США, китайские производители AI-чипов переманивают бывших сотрудников Nvidia и активно развивают свое железо.

В обзоре взглянем на самые известные стартапы в области разработки ИИ-железа (Cambricon, Baidu, Huawei, Moore Threads, Enflame, MetaX) разберем самые известные чипы этих компаний и сравним их с чипами от Nvidia и AMD. Читать далее

#чипы #видеокарты #gpu #ии #huawei #nvidia #alibaba #китай #стартап | @habr_ai

[Перевод] Архитектура LPU и будущее AI без задержек

Команда AI for Devs подготовила перевод статьи о том, как Groq пытается устранить главное «бутылочное горлышко» современного ИИ — задержку. Их специализированный процессор LPU обещает скорость в реальном времени и открывает путь к новым приложениям: от финансовых систем до Coding AI-ботов. Но за пределами маркетинга остаются вопросы: что с большими контекстами, какова конкуренция с Cerebras и GPU, и выдержит ли бизнес-модель такие вызовы? Читать далее

#groq #lpu #инференс #задержка #ai #gpu | @habr_ai