Возможности:
— информативный и эффектный вывод: отображает больше информации, чем nvidia-smi, с помощью цветной графики в виде рамок.
— режим мониторинга: может работать как монитор ресурсов, а не выводить результаты только один раз
— интерактивный: реагирует на ввод данных пользователем (с клавиатуры и/или мыши) в режиме монитора.
— портативный: работает как на Linux, так и на Windows
— интегрируемость: легко интегрируется с другими приложениями, превосходит функции мониторинга. (по сравнению с nvidia-htop и nvtop)

Применение на стороне сервера важно, так как объекты Kubernetes представляют собой общее состояние: оно переносит право владения полями на API-сервер, что позволяет инструментам в стиле apply выявлять конфликты, а не скрывать их в виде тихих перезаписей.

В AI-проектах уже недостаточно знать только версии контейнеров и пакетов. Важно понимать, какие AI-модели, фреймворки и компоненты реально используются в кластере, где они запущены и от чего зависят. Что и как он идентифицирует можно почитать тут.

Команда Google Cloud представила k8s-aibom — инструмент с открытым исходным кодом, который помогает автоматически собирать AIBOM.
Что инструмент дает:
- инвентаризацию AI-компонентов в кластере;
- понимание, какие модели и ML-фреймворки используются;
- повышение прозрачности AI-нагрузок;
- помощь в анализе рисков, уязвимостей и соответствия требованиям безопасности;
- более удобный контроль AI-софта в production-средах.

Со временем окружение быстро усложняется, а ручной учет компонентов становится практически невозможным. По сути, k8s-aibom — это попытка сделать для AI-компонентов то же, что SBOM (только в формате OWASP CycloneDX 1.6 Machine Learning Bill of Materials (ML-BOM)) делает для обычного программного обеспечения: дать структурированное представление о составе системы, чтобы защитить цепочку поставки (supply chain), борьба с shadow AI.