Робот ONE SN от Nvidia и Agile Robots с конференции GTC Berlin.

😅 Канал Serverflow в MAX: Подписаться

Теперь DGX Spark официально можно объединять в кластеры из 8 штук, это мы поняли. Но интересно, каким же коммутатором объединяется все это чудо? На корпусе лого Nvidia, но в ассортименте компании нет ничего визуально похожего. Давайте разбираться.

Сзади кластеры расположены толстые breakout DAC-кабели, каждый из которых подключается к одному из портов ConnectX-7 на задней панели Spark и непосредственно к портам коммутатора. Причем порты необычные — это QSFP-DD с пропускной способностью 400 Гбит/с, поэтому с помощью 4 портов и breakout-кабелей можно объединить сразу 8 устройств. Также на коммутаторе виден разъем RJ-45 для управления и разъем питания.

Итого:

💻️ 4 порта QSFP-DD по 400G

💻️ Каждый делится на 2 x 200G

💻️ Получаем ровно 8 подключений, по одному на каждый Spark

🤔 Так что это за коммутатор?

По набору портов идеально подходит MikroTik CRS804 DDQ: компактный 400-гигабитный коммутатор с четырьмя портами QSFP56-DD и двумя портами 10GbE. Энтузиасты уже давно используют его для домашних кластеров на Spark, а ServeTheHome еще при анонсе советовал MikroTik продвигать его именно для систем на GB10.

Но MikroTik выглядит совершенно иначе, а здесь корпус явно выполнен в стиле NVIDIA. При этом в официальных материалах с GTC Berlin никакого фирменного коммутатора нет: там сказано лишь, что системы соединяются через встроенный ConnectX-7, а кластер из восьми узлов настраивается вручную. Так что вариантов остается два:

1️⃣ Прототип собственного коммутатора NVIDIA.

2️⃣ Сторонний коммутатор в выставочном кожухе.

Какой бы из вариантов ни оказался верным, Nvidia наконец-то позволила объединять DGX Spark в 8-узловой кластер без костылей, а чем их лучше подключать друг к другу — энтузиасты быстро разберутся.

😅 Канал Serverflow в MAX: Подписаться

Разгон CPU Ryzen будет доступен на Linux — AMD наконец-то внедрила в ядро ОС патчи с драйвером AMD Overclocking Driver. В системах под управлением открытой операционки теперь можно менять лимиты энергопотребления, ток и включать/отключать многопоточность — настройки доступны через sysfs. Скорее всего, вслед за этим AMD выпустит ПО Ryzen Master для Linux-систем, но официальных заявлений пока не было.

😅 Канал Serverflow в MAX: Подписаться

Продолжаем расширять кругозор — теперь мы на конференции TimeWeb Cloud, узнаем о переменах в облачной инфраструктуре, изменении пользовательского опыта, способах защитить ЦОД от внешних воздействий и, конечно же, о железе, которое крутится в современных дата-центрах.

😅 Канал Serverflow в MAX: Подписаться

Google представила TorchTPU — программный стек с открытым исходным кодом, который позволяет обучать и запускать ИИ-модели на тензорных ускорителях Google TPU через PyTorch. TorchTPU поддерживает выполнение операций в обычном режиме PyTorch и компиляцию через torch.compile для оптимизации производительности. Интеграция с Hugging Face Transformers v5 и Diffusers позволяет запускать открытые языковые и генеративные модели на TPU без полной переработки кода.

Для инференса Google добавила поддержку двух популярных движков. vLLM-TorchTPU обеспечивает пакетную обработку запросов, квантизацию моделей и распределение вычислений между несколькими TPU. SGLang-TorchTPU ориентирован на сложную генерацию и ИИ-агентов: он повторно использует KV-кеш и общие префиксы запросов, сокращая ненужные вычисления при повторных обращениях.

Для развертывания моделей в больших кластерах появился llm-d 1.0, разработанный при участии Red Hat, IBM и сообщества. Его маршрутизатор направляет запросы к экземплярам модели, где уже сохранен нужный контекст, а также разделяет обработку входного запроса и генерацию ответа между вычислительными ресурсами. В Google Kubernetes Engine можно использовать общий механизм развертывания для GPU и TPU.

TorchTPU также интегрировали с TorchTitan для распределенного обучения крупных моделей, включая Llama 3 и Qwen 3, и с VeRL для обучения с подкреплением. Поддержка в Ray позволяет объединять обработку данных, обучение и инференс в одном процессе, распределяя задачи между CPU, GPU и TPU. Отдельное направление — LiteRT-Torch, который переносит модели из PyTorch на устройства и платформы, включая Android, iOS, Windows и Linux.

😅 Канал Serverflow в MAX: Подписаться

Кто-нибудь помнит такой дизайн коробок от Intel Core i9-9900K?

😅 Канал Serverflow в MAX: Подписаться

Открылся предзаказ Microduck с GTC Berlin — за робоуток просят $399, причем заказов уже настолько много, что срок доставки увеличили до 4-6 месяцев. Нам стало интересно, что же находится внутри этих игрушек для ИИ-вкатунов.

Если верить сайту Pollen Robotics, мозг утенка устроен так:

🦆 Rockchip RK3566 с NPU и GPU

🦆 1 ГБ оперативной памяти

🦆 32 ГБ встроенной памяти

Звучит солидно, пока не начинаешь разбираться, что это за процессор. RK3566 родом из мира бюджетных Android-устройств начала 2020-х. Внутри у него:

⚙️ 4 ядра ARM Cortex-A55 до 1,8 ГГц

🎮 Графика Mali-G52

🎬 Аппаратное декодирование видео 4K в H.265, H.264 и VP9, 1080p при 60 fps

🤖 NPU 0,8 TOPS в INT8 (маркетологи округляют до 1 TOPS)

Cortex-A55 — это энергоэффективные ядра ARM, представленные еще в 2017 году. Обычно их ставили младшими ядрами в смартфоны и основными в недорогую периферию/бытовую технику. Например, они работали в таких “флагманах”, как:

📱 Samsung Galaxy A03 Core (2021) на Unisoc SC9863A с 8 x A55
📱 Nokia C31 (2022) на том же Unisoc SC9863A
📱 POCO C65 (2023) на Helio G85 с 2 x A75 и 6 x A55

Сходство со смартфонами лишь в ядрах, но есть ли техника, где используется тот же чип RK3566? Есть, и это…(🥁🥁🥁) ТВ-приставки! Например, H96 Max V56 и X96 X6, копеечные Android TV-боксы, базируются на RK3566 с той же Mali-G52 и тем же NPU. Отсюда и блок видеокодеков в характеристиках чипа: его создавали, чтобы смотреть YouTube в 4K на телевизоре, а не управлять роботами.

Получается, что на главной сцене GTC показывают робота, у которого внутри чип от китайской ТВ-приставки.

Но этого, на самом деле, хватает и для простых роботов. MicroDuck не учится ходить сам. Его движения обучают методом Reinforcement Learning в симуляторе MuJoCo на гораздо более мощном внешнем железе с CUDA-видеокартами. А на робота уже загружается готовая легкая нейросеть в формате ONNX, которая выдает команды приводам каждые 20 мс.

Давайте прикинем, сколько же весит эта нейронка, раз ее можно легко запустить на проце с NPU в 0,8 TOPS. Из 1 ГБ LPDDR4 с пропускной способностью порядка 12,8 ГБ/с часть сразу забирает операционная система и сервисы робота, так что под модели реально остается примерно 300-500 МБ. В INT8 каждый параметр весит 1 байт, значит, теоретический потолок — несколько сотен млн параметров. При этом память крайне медленная, так что даже такая крохотная нейронка будет работать крайне неспешно.

😅 Канал Serverflow в MAX: Подписаться