FPV управление в VR.

Как дела?
Сейчас занимаюсь реализацией управления через VR-шлем. Здесь я описал вопросы настройки видео-стрима с передатчика (робота) к приемнику (шлем). И текущий статус.

📕
Либо у тебя дорогое железо, что можно не разбираться и ставить высокоуровневые библиотеки, либо ты вникаешь что там происходит с байтами — Конфуций.

✅ libcamera (библиотека для RPi4 камеры) + Gstreamer (библиотека для работы с видео)
Сначала протестировал передачу по UDP не кодированных jpeg со стороны робота, т.е с RPi4. Чтобы убедиться что стрим доходит до VR шлема в локальной сети.
Но не сжатые изображения сильно ограничены по разрешению и fps. В пакет влезали кадры не больше 640х360. Жить можно, но маловато. Для увеличение нужно кодировать видео поток.

✅ кодируем h264, и декодируем. Сложно было настроить процесс именно декодирования. До этого вообще не был знаком с тем что там происходит. Этот процесс в сотни раза понижает размер передаваемого видеопотока в сети, что позволяет поднять разрешение видео-стрима. Для начала в Unity редакторе на windows через скрипты C#. Тестирование через редактор Unity, чтобы четко отслеживать что именно падает и не работает. Шаг за шагом...
Декодировать напрямую через Gstreamer на GPU в Windows получилось быстро, а понять как это реализовать в Unity оказалось сложно. Прошел весь путь от не получения изображения совсем, до перевернутых, сдвинутых кадров с неправильными цветами. По итогу получилось правильно все декодировать. 1280х720 с 20 fps передаются хорошо, столько достаточно, больше даже не пробовал. Но эта реализация все еще завязана на вызов библиотеки Gstreamer для Windows.

🔘
Только VR шлем это — Android. А теперь надо реализовать это все на его библиотеках. Нужно научиться декодировать на VR шлеме. Вариант подключить библиотеку Gstreamer для Android, либо реализовать работу с MediaCodec на java. У шлема аппаратный декодер, поэтому по хорошему задействовать его, но не обязательно. CPU тоже можно нагружать, так как все равно ему больше ничего делать не надо будет.

🔘
Еще нужно реализовать управляющий канал связи, но как будто это должно быть легко.

PS. Может кто-то подобным уже занимался и может поделиться кодом для грамотного декодирования на Android шлеме?

Ах да. WebRTC так и не был реализован.
Сложно очень сложно 🫡
Не стоит оно того.

Оказалось очень сложным написать плагин на .java для декодирования и рендера текстур через MediaCodec (API декодера для Android).
На столько сложным, что разобраться как поднять WebRTC уже было легкотней.
MediaMTX - оказалось решением.

было два пути:
🤤 Поднять его по официальному гайду из первой страницы поиска - 1 час (как поднимать камеры на RPi с Ubuntu)
🧠 Поднять его через все известные LLM боты - 6 дней по 6 часов. Стать сведущим в этом и с багажом знаний выполнить первый пункт.

P.S. Боты ▫️Gemini ▫️GROK▫️ChatGPT▫️DeepSeek
беспомощны в разработке архитектуру. Инженеры, которые выстраивают системы могут спать спокойно.
P.P.S. WebRTC поднят, очень удобно, хотя это open-source. Дальше пробую принять его в текстуры.

🛜 Роутер для робота

Приобрел взрослый роутер для выстраивания сетей на улице. Питается от повербанка.

Идея в том что VR-шлем с аккумом, робот тоже. Значит можно использовать на улице. Робот большой, в квартире ему мало пространства.

Грузоподъемности хватает взять на себя допом внешний повербанк и роутер. Вес все равно не влияет на дальность хода хе-хе 🚂

#устройства #гаджеты

Отличное предположение.
Именно так он и выглядит с другого ракурса.