Получил сегодня важный компонент для потенциального проекта Drim Dev. Это мини-компьютер Nvidia Jetson Orin Nano. Это полноценный компьютер на архитектуре ARM64, на который можно установить Linux (определённые его варианты). К нему можно подключить монитор, мышь, клавиатуру. Таких мини-компьютеров много, но Jetson отличает то, что у него есть CUDA-ядра и тензорные ядра. То есть на борту, по сути, GPU от Nvidia.

Главная идея подобных устройств — edge AI, или вычисления на самом устройстве, а не в облаке. Это особенно актуально для робототехники. Не нужно вызывать облачную ИИ-модель. В случае с edge AI модель работает прямо там, где собираются данные — на роботе, дроне, камере. Никакого интернета, никаких сетевых задержек, никаких подписок.

Чтобы понять, насколько мощное это устройство, есть стандартная метрика — TOPS (Tera Operations Per Second, триллион операций в секунду). Она показывает, сколько арифметических операций чип успевает сделать за одну секунду на задачах машинного обучения. Чем больше TOPS — тем сложнее модели можно запускать и тем быстрее они работают. (Это некоторое упрощение, потому что важно ещё количество памяти и пропускная способность. Но тем не менее.)

Несколько цифр для масштаба:

* Raspberry Pi 5 — ~0.5 TOPS
* Apple M1 Neural Engine — 11 TOPS
* Apple M4 Neural Engine — 38 TOPS
* Jetson Orin Nano Super — 67 TOPS
* RTX 4060 — ~120 TOPS
* RTX 5090 — ~840 TOPS
* NVIDIA H100 (ускоритель из дата-центров) — ~1500 TOPS

То есть Jetson Orin Nano по AI-производительности — это примерно как слабая современная игровая видеокарта, упакованная в формат 10×10 см с потреблением до 25 Вт вместо 500 Вт. И всё это за 249 долларов.

Теперь к главному — для чего это устройство нужно. Главные сценарии — там, где нужно "видеть, понимать и решать" в реальном времени:

* Computer Vision — распознавание объектов, людей, препятствий через YOLO и подобные модели. 30+ кадров в секунду на видео в HD. Камера на устройстве, обработка тут же.
* Автономная навигация — обработка данных с лидара и камер, построение карты окружения (SLAM), планирование маршрута. ROS2 + Nav2 работают на борту, без связи с внешними серверами.
* Локальные LLM — небольшие языковые модели (Llama 3.2, Qwen 2.5, Phi-3) запускаются прямо на устройстве. Голосовой ассистент, который работает без интернета.
* Распознавание речи — Whisper в реальном времени, без отправки аудио наружу.
* Sensor fusion — одновременная обработка данных с лидара, камер, IMU, GPS для роботов и автономных систем.

То есть Nvidia Jetson — это железо для физического ИИ — роботов, дронов, умных камер, автономных систем. Всё, что должно работать самостоятельно, без постоянной связи с серверами.

Отдельно стоит выделить сценарий Reinforcement Learning. Это когда робот что-то делает миллионы раз в симуляции, модель обучается, а потом уже работает на роботе в реальном мире.

Зачем так? Учить робота сразу в реальности — долго, дорого и опасно. В симуляторе вроде NVIDIA Isaac Sim можно создать виртуальную копию робота со всей физикой и прогнать миллионы эпизодов параллельно на мощной видеокарте. Готовую модель потом заливают на Jetson — там она уже не учится, только применяет выученное поведение.

Так сейчас тренируют практически всё: походку четвероногих роботов (Boston Dynamics, Unitree), манипуляцию предметами, полёт дронов, автономную навигацию по сложной местности. В этой схеме Jetson — среда выполнения: тяжёлая тренировка идёт на десктопе с RTX 4090/5090, а на робота ставится готовая модель. Orin Nano для этого хорошо подходит. У него тот же CUDA-стек, что и на десктопе, только в компактном и экономичном формате.

Меня привлекает идея переноса ИИ в реальный мир. Это очень актуальный и быстро растущий рынок. Я хочу со временем включить это направление в Drim Dev. Нашим разработчикам пора выйти за пределы информационных систем в вебе и начать трансформировать индустрии физического мира.

#robotics #nvidia #jetson #edgeai