Привет! Меня зовут Иван Кононов — ментор AI Talent Hub, CEO в HubLab.ai и эксперт по Computer Vision.

В этой колонке расскажу, как мы вдвоём собрали полноценную CV-систему с нуля — без размеченных данных и за минимальное время.

🤑 Исходные условия: мы — команда из двух Data Science-джедаев в HubLab.ai. Задача — сделать CV-систему с дедлайном «вчера».

Особенности задачи:

▫️Камера под углом "сбоку-снизу-задом-вперёд", готовых датасетов — 0.
▫️Fisheye + разные линзы: искажений столько, что квадрат превращается в эллипс.
▫️Низкий FPS и задача action recognition: важно поймать событие, а не просто объект.
▫️Огромный архив (сотни ГБ) без единой метки. Только мы и FFmpeg.

🤗 Шаг 1. Быстрый Bootstrap

1. Берём YOLOv8n-oiv7 — модель с Open Images V7 (600+ классов).
2. Запускаем предикт с confidence = 0.01→ собираем ~4 000 кадров (скрипт ffmpeg + Ultralytics).
3. Загружаем «грязную» автолейбл-разметку в CVAT.
4. Сидим вдвоём: подтверждаем «хиты», вычищаем «мимо».

🎉 Шаг 2. Первый цикл обучения

▫️Обучаем YOLO11n (4.8M params), 50 эпох, получаем mAP50 ≈ 0.37.
▫️Прогоняем ею оставшийся видео-массив → +2 000 автолейблов.
▫️Чистим, дописываем пропуски – разметка ускоряется на ~25 %

💡 Лайфхак: держите conf_thres низким (0.01–0.1) — лучше удалить лишнее, чем не поймать объект.

👁 Шаг 3. Боремся с «рыбьим глазом»

▫️Кидаем ChArUco на каждую камеру → храним коэффициенты K и D.
▫️В проде undistort на CPU занимает всего 2 мс.
▫️На ровных кадрах даже YOLO11n поднимается до mAP50 ≈ 0.82.

🗜 Шаг 4. Жмём из CPU максимум

GPU не дали, поэтому…

▫️Экспорт ONNX → OpenVINO INT8: yolo export format = onnx → pot quantization.
▫️На i7-1360P получаем 35 FPS вместо 12 FPS (×2.9).
▫️Бонус: –20% к весу модели, и кэш L3 — доволен.

🥰 Шаг 5. Доразмечиваем датасет, пока не надоест...

Выводы:

1. Полуавтомат рулит: чередование «модель → человек» экономит > 25 % времени небольшой команде.

2. Обучать “малых” NN выгодно: они быстро переобучаются и хороши как автолейблеры.

3. Физика важна: исправление оптики приносит +0.1-0.2 mAP почти бесплатно.

4. CPU — не приговор: OpenVINO даёт ×2-×3 ускорение, а quantization почти не бьёт по точности.

5. Датасет всегда важнее: чистые 10тыс. кадров с правильными bbox ценнее, чем сверхмодель без разметки.

Ставь ⚡️— и в следующей колонке я расскажу, как мы прикрутили action recognition, разнесли пайплайн на две модели и вынесли heavy-часть on-prem

Подписывайся на мой канал @ivanknnv — там без флуда и репостов: только важные тесты, наблюдения и немного иронии про мир нейросетей.

#КолонкаМентора
#AITalentHub #ITMO #NapoleonIT

Привет! Это снова Иван Кононов — ментор AI Talent Hub, CEO в HubLab.ai и человек, у которого болят глаза от разбора скелетов... 💀 В CV-датасетах, конечно 😅

В прошлой колонке я обещал рассказать, как мы прикрутили action recognition, разнесли пайплайн на две модели и вынесли тяжёлую часть на on-prem. Держу обещание — рассказываю, как бы вы это сделали, если бы у вас было немного времени, немного железа и много мотивации.

🚬 Почему не хватило одной модели

Обычные object detection и даже трекинг — это про кадры.
А поведение человека — это про время.

Списывание, подглядывания, манипуляции под столом — всё это действия, а не картинки.
Значит, нужно учить модель понимать движение, последовательность. То есть action recognition.

🕺 С чего начали — поза

1. Решили, что весь RGB-поток не нужен. Лучше извлечь скелет человека (keypoints) и уже по ним предсказывать действия.
2. Пробовали MediaPipe BlazePose — легко стартует, ставится без плясок, работает быстро. Но на сложных ракурсах и освещении теряется.
3. Перешли на MMPose с моделью RTMPose — заметно стабильнее. Особенно если настроить undistortion, сделать кроп по AOI (Area of Interest) через ArUco-маркеры и передавать только нужный регион кадра.
4. Из on-prem наружу отдаём только координаты keypoints. Это безопаснее, быстрее и легче для канала.

🤓 Модель №2 — распознавание действия

⚫️На вход короткий клип из keypoints (обычно 2–4 секунды, с overlap).
⚫️Пробовали ST-GCN, потом перешли на CTR-GCN из MMAction2 — он чуть умнее собирает контекст, особенно в мелкой моторике.
⚫️Также тестили PoseC3D — вместо графа использует heatmap-представление. Устойчив к шуму, особенно когда точки прыгают или исчезают.

💃 Почему мы разнесли пайплайн

⚫️На on-prem — извлекаем позу. Это самая тяжёлая часть, и важно держать её рядом с железом (иначе latency и сеть умирает).
⚫️На edge/cloud — получаем координаты keypoints и решаем, что это за действие. Классификатор лёгкий, идёт в real-time даже на Raspberry Pi с охлаждением от стиралки 😄

😐 Что по метрикам

⚫️RTMPose-m — 90–100 FPS на обычном CPU (Intel i7-11700), а на RTX 3060 — 300–400 FPS.
⚫️BlazePose (Full) — 18 FPS на CPU и 40 FPS на GPU — норм для базового прототипа.
⚫️CTR-GCN — обрабатывает клипы со скоростью 50+ FPS, если скелеты поданы заранее.

🎻 Рабочие настройки

⚫️Длина клипа: 48–60 кадров
⚫️Частота: 15–25 FPS
⚫️Скользящее окно: шаг 1 секунда
⚫️Аугментации: random temporal crop, dropout точек (моделируем реальность), иногда jitter
⚫️Постобработка: сглаживание, фильтрация событий короче 1.5 сек., подавление «дребезга»

🗒 Советы для тех, кто будет повторять

1. Не лезьте сразу в RGB-видео. Скелеты — дешевле, хоть и не всегда точнее, особенно при нестандартных ракурсах.

2. Если keypoints пропадают — считайте это отдельным фичером. Иногда исчезновение рук важнее, чем наличие часов.

3. PoseC3D рулит, когда поза шумная: учится «в среднем» и не сходит с ума, если точка на кадре улетела в потолок.

4. Используйте ArUco-калибровку заранее: если выровняете ракурс и кропните до ROI — модель будет в 2 раза стабильнее!

🙂 Полезные ссылки

⚫️MMPose (RTMPose): https://github.com/open-mmlab/mmpose
⚫️MMAction2 (CTR-GCN, ST-GCN, PoseC3D): https://github.com/open-mmlab/mmaction2
⚫️MediaPipe BlazePose: https://google.github.io/mediapipe/solutions/pose.html
⚫️Пост о CTR-GCN и FPS: https://github.com/open-mmlab/mmaction2/issues/1889

Ставь 🔥, если хочешь узнать, как мы сделали детекцию по рукам и запястьям, собрали кастомный датасет и научили модель видеть действия даже сквозь pixel-кашу на 640×360.

Подписывайся на мой канал @ivanknnv — там без флуда, зато много полезных мелочей, которые не влезают в документацию, но решают продакшен.

#КолонкаМентора
#AITalentHub #ITMO #NapoleonIT