Google представила TorchTPU — программный стек с открытым исходным кодом, который позволяет обучать и запускать ИИ-модели на тензорных ускорителях Google TPU через PyTorch. TorchTPU поддерживает выполнение операций в обычном режиме PyTorch и компиляцию через torch.compile для оптимизации производительности. Интеграция с Hugging Face Transformers v5 и Diffusers позволяет запускать открытые языковые и генеративные модели на TPU без полной переработки кода.

Для инференса Google добавила поддержку двух популярных движков. vLLM-TorchTPU обеспечивает пакетную обработку запросов, квантизацию моделей и распределение вычислений между несколькими TPU. SGLang-TorchTPU ориентирован на сложную генерацию и ИИ-агентов: он повторно использует KV-кеш и общие префиксы запросов, сокращая ненужные вычисления при повторных обращениях.

Для развертывания моделей в больших кластерах появился llm-d 1.0, разработанный при участии Red Hat, IBM и сообщества. Его маршрутизатор направляет запросы к экземплярам модели, где уже сохранен нужный контекст, а также разделяет обработку входного запроса и генерацию ответа между вычислительными ресурсами. В Google Kubernetes Engine можно использовать общий механизм развертывания для GPU и TPU.

TorchTPU также интегрировали с TorchTitan для распределенного обучения крупных моделей, включая Llama 3 и Qwen 3, и с VeRL для обучения с подкреплением. Поддержка в Ray позволяет объединять обработку данных, обучение и инференс в одном процессе, распределяя задачи между CPU, GPU и TPU. Отдельное направление — LiteRT-Torch, который переносит модели из PyTorch на устройства и платформы, включая Android, iOS, Windows и Linux.

😅 Канал Serverflow в MAX: Подписаться

Кто-нибудь помнит такой дизайн коробок от Intel Core i9-9900K?

😅 Канал Serverflow в MAX: Подписаться

Открылся предзаказ Microduck с GTC Berlin — за робоуток просят $399, причем заказов уже настолько много, что срок доставки увеличили до 4-6 месяцев. Нам стало интересно, что же находится внутри этих игрушек для ИИ-вкатунов.

Если верить сайту Pollen Robotics, мозг утенка устроен так:

🦆 Rockchip RK3566 с NPU и GPU

🦆 1 ГБ оперативной памяти

🦆 32 ГБ встроенной памяти

Звучит солидно, пока не начинаешь разбираться, что это за процессор. RK3566 родом из мира бюджетных Android-устройств начала 2020-х. Внутри у него:

⚙️ 4 ядра ARM Cortex-A55 до 1,8 ГГц

🎮 Графика Mali-G52

🎬 Аппаратное декодирование видео 4K в H.265, H.264 и VP9, 1080p при 60 fps

🤖 NPU 0,8 TOPS в INT8 (маркетологи округляют до 1 TOPS)

Cortex-A55 — это энергоэффективные ядра ARM, представленные еще в 2017 году. Обычно их ставили младшими ядрами в смартфоны и основными в недорогую периферию/бытовую технику. Например, они работали в таких “флагманах”, как:

📱 Samsung Galaxy A03 Core (2021) на Unisoc SC9863A с 8 x A55
📱 Nokia C31 (2022) на том же Unisoc SC9863A
📱 POCO C65 (2023) на Helio G85 с 2 x A75 и 6 x A55

Сходство со смартфонами лишь в ядрах, но есть ли техника, где используется тот же чип RK3566? Есть, и это…(🥁🥁🥁) ТВ-приставки! Например, H96 Max V56 и X96 X6, копеечные Android TV-боксы, базируются на RK3566 с той же Mali-G52 и тем же NPU. Отсюда и блок видеокодеков в характеристиках чипа: его создавали, чтобы смотреть YouTube в 4K на телевизоре, а не управлять роботами.

Получается, что на главной сцене GTC показывают робота, у которого внутри чип от китайской ТВ-приставки.

Но этого, на самом деле, хватает и для простых роботов. MicroDuck не учится ходить сам. Его движения обучают методом Reinforcement Learning в симуляторе MuJoCo на гораздо более мощном внешнем железе с CUDA-видеокартами. А на робота уже загружается готовая легкая нейросеть в формате ONNX, которая выдает команды приводам каждые 20 мс.

Давайте прикинем, сколько же весит эта нейронка, раз ее можно легко запустить на проце с NPU в 0,8 TOPS. Из 1 ГБ LPDDR4 с пропускной способностью порядка 12,8 ГБ/с часть сразу забирает операционная система и сервисы робота, так что под модели реально остается примерно 300-500 МБ. В INT8 каждый параметр весит 1 байт, значит, теоретический потолок — несколько сотен млн параметров. При этом память крайне медленная, так что даже такая крохотная нейронка будет работать крайне неспешно.

😅 Канал Serverflow в MAX: Подписаться

Совсем забыли рассказать — 15 октября вышла Ubuntu 26.10 под кодовым названием Stonking Stingray. Это промежуточный релиз, поэтому поддерживаться он будет всего 9 месяцев, но именно в таких выпусках Canonical обкатывает то, что потом попадет в следующую LTS. И на этот раз нововведений набралось немало 👇

🎙 Myna: первый шаг к ИИ в Ubuntu

Главная новинка — Myna, агент для преобразования речи в текст, который работает на локальных ИИ-моделях прямо на устройстве. Пока это опциональная функция, но к выходу Ubuntu 28.04 LTS ее планируют включить по умолчанию. Canonical видит в Myna первый шаг к рабочему столу, где пользователь будет говорить, что хочет сделать, а не искать нужные настройки и приложения.

🔐 Безопасность на будущее

Помимо ИИ, много внимания уделили безопасности, причем с прицелом на постквантовую защиту:

🛠 Для проверки подписей репозиториев APT вместо GnuPG теперь используется Sequoia PGP, написанный на Rust и поддерживающий постквантовую подпись пакетов.

🛠 Через openCryptoki появилась поддержка квантово-устойчивых токенов со стандартом PKCS #11 v3.2 и алгоритмами ML-DSA и ML-KEM.

🛠 Завершен переход на coreutils на Rust: базовые утилиты вроде ls, cp и cat теперь написаны на языке, безопасном для памяти.

🛠 Шифрование диска с помощью TPM, появившееся в 26.04 LTS, теперь работает и на устройствах без аппаратного корня доверия, с защитой PIN-кодом или парольной фразой.

🛠 Улучшена интеграция с Microsoft Entra ID, включая вход с MFA и беспарольную аутентификацию, так что Ubuntu может жить в одной корпоративной инфраструктуре с Windows-машинами.

🖥 Рабочий стол стал стабильнее

В Ubuntu 26.10 используется GNOME 51 с более плавной работой, лучшей поддержкой мониторов и доступности. А вместо старой реализации D-Bus по умолчанию теперь работает dbus-broker, который строго учитывает сообщения от каждого приложения. Благодаря этому одна зависшая программа больше не сможет подвесить весь рабочий стол. Заодно доработали защиту от нехватки памяти.

⚙️ Ядро Linux 7.3 и новое железо

Под капотом стоит свежее ядро Linux 7.3 с поддержкой новейших платформ:

💻 Intel Xe3P (Nova Lake), AMD Zen 6 и NVIDIA 615

🗄 Встроенная поддержка Lustre, параллельной файловой системы для кластеров из тысяч узлов

🚀 Отдельный установщик для современных процессоров amd64v3 с оптимизированной сборкой

🧩 Образы для настольных компьютеров на RISC-V, включая первую плату с поддержкой профиля RVA23 — SpacemiT K3

🤖 Для ИИ и разработчиков

Для тех, кто работает с ИИ на железе AMD, в системе обновили стек ROCm до версии 10.0, в которой появилась поддержка новых видеокарт, а также фреймворков vLLM и SGLang. А разработчики получат свежие инструменты: LLVM 22.1.6, GCC 15.2.0, Python 3.14.7, Rust 1.97.1, Zig 0.16 и Go 1.27.

Для рабочих станций и экспериментов релиз выглядит очень интересно, а вот на серверах, особенно в продакшене, разумнее оставаться на 26.04 LTS.

😅 Канал Serverflow в MAX: Подписаться

AMD возобновила выпуск Ryzen 7 5800X3D не из-за дефицита DDR5. Как рассказал старший директор AMD по управлению клиентскими продуктами Трэвис Кирш в интервью японскому изданию My Navi, идею вернуть процессор предложила сама Лиза Су. Она хотела сделать его "последним подарком" пользователям, которые почти десять лет остаются на платформе AM4.

😅 Канал Serverflow в MAX: Подписаться