Робот ONE SN от Nvidia и Agile Robots с конференции GTC Berlin.

😅 Канал Serverflow в MAX: Подписаться

Теперь DGX Spark официально можно объединять в кластеры из 8 штук, это мы поняли. Но интересно, каким же коммутатором объединяется все это чудо? На корпусе лого Nvidia, но в ассортименте компании нет ничего визуально похожего. Давайте разбираться.

Сзади кластеры расположены толстые breakout DAC-кабели, каждый из которых подключается к одному из портов ConnectX-7 на задней панели Spark и непосредственно к портам коммутатора. Причем порты необычные — это QSFP-DD с пропускной способностью 400 Гбит/с, поэтому с помощью 4 портов и breakout-кабелей можно объединить сразу 8 устройств. Также на коммутаторе виден разъем RJ-45 для управления и разъем питания.

Итого:

💻️ 4 порта QSFP-DD по 400G

💻️ Каждый делится на 2 x 200G

💻️ Получаем ровно 8 подключений, по одному на каждый Spark

🤔 Так что это за коммутатор?

По набору портов идеально подходит MikroTik CRS804 DDQ: компактный 400-гигабитный коммутатор с четырьмя портами QSFP56-DD и двумя портами 10GbE. Энтузиасты уже давно используют его для домашних кластеров на Spark, а ServeTheHome еще при анонсе советовал MikroTik продвигать его именно для систем на GB10.

Но MikroTik выглядит совершенно иначе, а здесь корпус явно выполнен в стиле NVIDIA. При этом в официальных материалах с GTC Berlin никакого фирменного коммутатора нет: там сказано лишь, что системы соединяются через встроенный ConnectX-7, а кластер из восьми узлов настраивается вручную. Так что вариантов остается два:

1️⃣ Прототип собственного коммутатора NVIDIA.

2️⃣ Сторонний коммутатор в выставочном кожухе.

Какой бы из вариантов ни оказался верным, Nvidia наконец-то позволила объединять DGX Spark в 8-узловой кластер без костылей, а чем их лучше подключать друг к другу — энтузиасты быстро разберутся.

😅 Канал Serverflow в MAX: Подписаться

Разгон CPU Ryzen будет доступен на Linux — AMD наконец-то внедрила в ядро ОС патчи с драйвером AMD Overclocking Driver. В системах под управлением открытой операционки теперь можно менять лимиты энергопотребления, ток и включать/отключать многопоточность — настройки доступны через sysfs. Скорее всего, вслед за этим AMD выпустит ПО Ryzen Master для Linux-систем, но официальных заявлений пока не было.

😅 Канал Serverflow в MAX: Подписаться

Продолжаем расширять кругозор — теперь мы на конференции TimeWeb Cloud, узнаем о переменах в облачной инфраструктуре, изменении пользовательского опыта, способах защитить ЦОД от внешних воздействий и, конечно же, о железе, которое крутится в современных дата-центрах.

😅 Канал Serverflow в MAX: Подписаться

Google представила TorchTPU — программный стек с открытым исходным кодом, который позволяет обучать и запускать ИИ-модели на тензорных ускорителях Google TPU через PyTorch. TorchTPU поддерживает выполнение операций в обычном режиме PyTorch и компиляцию через torch.compile для оптимизации производительности. Интеграция с Hugging Face Transformers v5 и Diffusers позволяет запускать открытые языковые и генеративные модели на TPU без полной переработки кода.

Для инференса Google добавила поддержку двух популярных движков. vLLM-TorchTPU обеспечивает пакетную обработку запросов, квантизацию моделей и распределение вычислений между несколькими TPU. SGLang-TorchTPU ориентирован на сложную генерацию и ИИ-агентов: он повторно использует KV-кеш и общие префиксы запросов, сокращая ненужные вычисления при повторных обращениях.

Для развертывания моделей в больших кластерах появился llm-d 1.0, разработанный при участии Red Hat, IBM и сообщества. Его маршрутизатор направляет запросы к экземплярам модели, где уже сохранен нужный контекст, а также разделяет обработку входного запроса и генерацию ответа между вычислительными ресурсами. В Google Kubernetes Engine можно использовать общий механизм развертывания для GPU и TPU.

TorchTPU также интегрировали с TorchTitan для распределенного обучения крупных моделей, включая Llama 3 и Qwen 3, и с VeRL для обучения с подкреплением. Поддержка в Ray позволяет объединять обработку данных, обучение и инференс в одном процессе, распределяя задачи между CPU, GPU и TPU. Отдельное направление — LiteRT-Torch, который переносит модели из PyTorch на устройства и платформы, включая Android, iOS, Windows и Linux.

😅 Канал Serverflow в MAX: Подписаться