Твой контейнер вообще не содержит GPU-драйверов
Тогда как PyTorch внутри него вообще использует GPU хоста?

Сначала нужно понимать, что происходит на стороне хоста
NVIDIA-драйвер в ядре отдает GPU через device-файлы: /dev/nvidia0, /dev/nvidiactl и так далее

Любое приложение общается с GPU именно через эти device-файлы

PyTorch не лезет напрямую в драйвер
Он работает через CUDA Runtime (libcudart.so) это высокоуровневый API, который берет на себя аллокации, запуск kernel-ов и синхронизации

Эта runtime-библиотека лежит внутри твоего контейнера

Весь стек выглядит так:
PyTorch → CUDA Runtime → CUDA Driver → /dev/nvidia0 → ядро → GPU

Runtime живет в контейнере
Драйвер живет на хосте

Как они связываются?

Смотрим на запуск контейнера:
Containerd → containerd-shim → OCI-runtime (runc) → контейнер

Но если драйвер на хосте, а runtime в контейнере, как приложение получает доступ ко всему сразу?

Ответ: OCI-хуки

Спека OCI определяет хуки — код, который запускается на разных этапах жизненного цикла контейнера:

prestart/createRuntime
createContainer
startContainer
poststart
poststop

NVIDIA использует эти хуки, чтобы подмешивать поддержку GPU

Перед стартом контейнера хук делает следующее:

1. Монтирует GPU-девайсы (/dev/nvidia*)
2. Подкладывает в контейнер драйверные библиотеки с хоста
3. Проставляет нужные переменные окружения
4. Настраивает device-cgroups

Твое приложение ещё даже не запустилось

Всем этим занимается NVIDIA Container Toolkit

Он перехватывает создание контейнера и аккуратно встраивает всё, что нужно для работы с GPU

Твой образ остается обычным.
GPU-возможности появляются в рантайме
Вот такой фокус 😔

👉 @DataSciencegx