😎 Удалённое управление беспилотными авиационными системами (БАС), при котором внешний пилот получает видеопоток с камеры БАС и отправляет команды управления через станцию внешнего пилота (СВП), называется управлением от первого лица (First Person View, FPV). На текущий момент для FPV-управления через пакетные сети широко используются мобильные сети, однако их область покрытия ограничена.

➰ Для уменьшения сетевых задержек и потерь пакетов при FPV-управлении БАС через пакетные сети передачи данных необходимо обеспечивать высокую степень сжатия кадров видеопотока. Для этого активно применяется подход, в основе которого лежит использование вариационных автокодировщиков и последующее квантование и сжатие кадров видеопотока во внутреннем латентном пространстве признаков нейронной сети. В работе А.А. Березкина, А.А. Ченского, Р.В. Киричека «Маскирование кодированного FPV видеопотока при управлении БПЛА. Часть I. Модели и методика» представляется развитие данного подхода, которое заключается в маскировании бинарной последовательности, полученной из значений латентного пространства признаков нейросетевого автокодировщика.

Существующие методы маскирования и демаскирования используют нейросетевые модели вида трансформер. Это приводит к существенному увеличению времени их выполнения и потреблению вычислительных ресурсов. В этой связи они не могут использоваться в нейросетевом кодеке при потоковой передаче видеопотока в реальном времени. В статье представляются новые модели маскирования, предназначенные для исполнения в составе нейросетевого кодека для обработки видеопотока FPV-управления БАС: нейронные сети НСВБП, ПНСВБП-М и ПНСВБП-П и регрессионные модели ЛгРПМ-М и ЛнРПМ.

💻 Маскирующий нейросетевой кодек состоит из маскирующего нейросетевого кодера и маскирующего нейросетевого декодера. Маскирующий нейросетевой кодер преобразует кадры видеопотока в маскированную бинарную последовательность для передачи по линии связи с землёй от БАС к СВП. Маскирующий нейросетевой декодер восстанавливает кадры видеопотока из бинарной последовательности на стороне СВП.

В первой части статьи описывается методика маскирования значений латентного пространства признаков, представляются способы восстановления маскированных значений, основанные на нейронных сетях прямого распространения и регрессионных моделях, и описывается методика экспериментов.

МЕТОДИКА ЭКСПЕРИМЕНТОВ
В ходе каждого эксперимента все кадры малого набора данных последовательно кодируются маскирующим нейросетевым кодером и декодируются маскирующим нейросетевым декодером.
Число экспериментов равно количеству вариаций моделей маскирования: 133 эксперимента. Малый набор данных состоит из 1000 кадров разрешения 1280x720 и основан на видео с камеры БАС.
В результате экспериментов рассчитываются средние значения признаков: MSEmask, Pmask, MSE, PSNR, SSIM. Также рассчитывается признак black_rate, показывающий процент кадров, которые нейросетевому декодеру не удаётся восстановить.

🖊 Во второй части статьи будут исследованы качество обучения моделей и результаты проведённых экспериментов в соответствии с представленной методикой.

Полный текст статьи опубликован в № 12.2 2024 журнала "Электросвязь".