Привет! Меня зовут Иван Кононов — ментор AI Talent Hub, CEO в HubLab.ai и эксперт по Computer Vision.

В этой колонке расскажу, как мы вдвоём собрали полноценную CV-систему с нуля — без размеченных данных и за минимальное время.

🤑 Исходные условия: мы — команда из двух Data Science-джедаев в HubLab.ai. Задача — сделать CV-систему с дедлайном «вчера».

Особенности задачи:

▫️Камера под углом "сбоку-снизу-задом-вперёд", готовых датасетов — 0.
▫️Fisheye + разные линзы: искажений столько, что квадрат превращается в эллипс.
▫️Низкий FPS и задача action recognition: важно поймать событие, а не просто объект.
▫️Огромный архив (сотни ГБ) без единой метки. Только мы и FFmpeg.

🤗 Шаг 1. Быстрый Bootstrap

1. Берём YOLOv8n-oiv7 — модель с Open Images V7 (600+ классов).
2. Запускаем предикт с confidence = 0.01→ собираем ~4 000 кадров (скрипт ffmpeg + Ultralytics).
3. Загружаем «грязную» автолейбл-разметку в CVAT.
4. Сидим вдвоём: подтверждаем «хиты», вычищаем «мимо».

🎉 Шаг 2. Первый цикл обучения

▫️Обучаем YOLO11n (4.8M params), 50 эпох, получаем mAP50 ≈ 0.37.
▫️Прогоняем ею оставшийся видео-массив → +2 000 автолейблов.
▫️Чистим, дописываем пропуски – разметка ускоряется на ~25 %

💡 Лайфхак: держите conf_thres низким (0.01–0.1) — лучше удалить лишнее, чем не поймать объект.

👁 Шаг 3. Боремся с «рыбьим глазом»

▫️Кидаем ChArUco на каждую камеру → храним коэффициенты K и D.
▫️В проде undistort на CPU занимает всего 2 мс.
▫️На ровных кадрах даже YOLO11n поднимается до mAP50 ≈ 0.82.

🗜 Шаг 4. Жмём из CPU максимум

GPU не дали, поэтому…

▫️Экспорт ONNX → OpenVINO INT8: yolo export format = onnx → pot quantization.
▫️На i7-1360P получаем 35 FPS вместо 12 FPS (×2.9).
▫️Бонус: –20% к весу модели, и кэш L3 — доволен.

🥰 Шаг 5. Доразмечиваем датасет, пока не надоест...

Выводы:

1. Полуавтомат рулит: чередование «модель → человек» экономит > 25 % времени небольшой команде.

2. Обучать “малых” NN выгодно: они быстро переобучаются и хороши как автолейблеры.

3. Физика важна: исправление оптики приносит +0.1-0.2 mAP почти бесплатно.

4. CPU — не приговор: OpenVINO даёт ×2-×3 ускорение, а quantization почти не бьёт по точности.

5. Датасет всегда важнее: чистые 10тыс. кадров с правильными bbox ценнее, чем сверхмодель без разметки.

Ставь ⚡️— и в следующей колонке я расскажу, как мы прикрутили action recognition, разнесли пайплайн на две модели и вынесли heavy-часть on-prem

Подписывайся на мой канал @ivanknnv — там без флуда и репостов: только важные тесты, наблюдения и немного иронии про мир нейросетей.

#КолонкаМентора
#AITalentHub #ITMO #NapoleonIT