История YOLO. Часть 4

Начнем 2024 год с 4 версии YOLO. Символичное напоминание в начале года от исходной аббревиатуры: You Only Live Once!💫

Надеемся, вы уже успели отдохнуть и готовы читать технические статьи, потому что сегодня расскажем про важную архитектуру.

В предыдущих сериях мы рассмотрели три версии YOLO: YOLOv1, YOLOv2 и YOLOv3. А сегодня познакомимся с YOLOv4 — архитектурой, которая сильно отличается от остальных.
Во-первых, ее создали новые авторы.
Во-вторых, они добавили много изменений.
Как им удалось сохранить скорость инференса и выдвинуть семейство YOLO на первое место в COCO среди real-time моделей? Давайте разбираться вместе 🙂

Из статьи вы узнаете:
- какие трюки позволили улучшить качество модели
- как при этом авторы сохранили легкость и скорость архитектуры
- какую проблему в предсказании ббоксов нашли у двух предыдущих версий YOLO и как ее решили

Читайте новую статью по ссылке: https://www.notion.so/deepschool-pro/YOLO-history-Part-4-d8b6053c3f314768a5474dac9f11e708?pvs=4

Почему в 52% вакансий упоминают ускорение или конвертацию сетей

Раньше, чтобы комфортно чувствовать себя на рынке DS, было достаточно уметь обучать нейросети и знать теорему байеса.
Теперь же и навыком выката моделей в прод никого не удивишь. Но вот уметь делать этот “прод” быстрым — до сих пор редкий и востребованный навык.

И вот 3 причины, почему в вакансиях его упоминают все чаще

1️⃣Экономия на железе

С каждым 1% ускорения/облегчения модели, вы экономите 1% стоимости вычислительных ресурсов. Логика простая: чем быстрее сеть, тем раньше GPU возьмется за новый батч, а чем меньше весов, тем больше изображений в этот батч поместится.

За счет ускорения модели, даже 1 сервис может начать экономить компании сотни долларов в день. Кстати, зачастую можно ускорить уже имеющуюся модель без потерь в точности. Например, за счет фьюзинга и конвертации или смены бэкенда.

2️⃣Realtime обработка видео

В задачах AR/VR, нейрорендеринга, автономных роботах, контроле качества на производствах, безопасности на дорогах и других задачах анализа/синтеза видео важно принимать решения за миллисекунды.

Автопилот должен управлять машиной на скорости выше 35 метров в секунду, конвейерная лента за это время уже переместит более 100 объектов, а глаз человека будет видеть плавную картинку в VR очках или в смартфоне только при 120 fps и выше.

Все это накладывает очевидные ограничения на скорость инференса. Ведь помимо анализа изображения, системе еще и необходимо выполнить действие: сменить полосу, отбросить с ленты брак или отрисовать в очках объект — за очень короткий промежуток времени.

3️⃣Безопасность и скорость локального использования

Если вы не слышали про GDPR, вы счастливый датасайентист. В СНГ пространстве нет столь жесткого контроля за персональными данными, как в западных странах. Но за хранение информации без разрешения или ее утечку, даже наши компании могут получить если не исполинский штраф, то общественное порицание и потерю репутации.

Чтобы не рисковать, не смущать пользователей отправкой фото на сервер, и уменьшить время ожидания, модели помещают на мобильные устройства. А перед этим их необходимо облегчить и конвертировать в нужный формат (CoreML, TFLite, NNApi, etc), стараясь не потерять точность.

А так как DL сервисов становится больше, сети встречаются на устройствах чаще, а про безопасность пользователей в последние годы все больше споров — навыки ускорения моделей становятся более востребованными.

Ставьте реакции 🔥, если вам интересна эта тема и мы познакомим вас ближе с методами ускорения сетей!
#заметки_deepschool

Как разобраться в ускорении нейросетей⚡️

Мы создали отдельный канал, посвященный теме ускорения нейросетей.

В нем мы будем:
— рассказывать про методы ускорения
— приводить примеры из практики
— делиться ошибками
— проводить лекции и эфиры с экспертами в области

Многие сталкивались с квантованием, дистилляцией, прунингом, конвертировали в ONNX, TRT, OpenVino, но мало кто понимает, как совмещать эти алгоритмы и инструменты.

Структурированной информации в этом направлении мало: меняются архитектуры вычислителей, обновляются фреймворки и бэкенды — приходится экспериментировать самостоятельно, перебирая разные варианты.

Мы решили помочь вам разобраться в ускорении моделей, в целевых вычислителях (CPU, GPU, NPU), в различных бэкендах (OpenVino, NNApi, TRT, etc), в запуске инференса на смартфонах и микрокомпьютерах.

Поэтому мы создаем образовательную программу по ускорению CV-моделей. И создали канал, где погрузим вас в эту тему. Там вас уже ждёт пост с 3 советами для ускорения нейросетей👇

Канал про ускорение нейросетей

Сколько 💵 ускорение сетей экономит компаниям, надо ли в это погружаться инженеру и как выглядит инференс будущего

Это и не только мы обсудим сегодня на прямом эфире в нашем канале по теме ускорения нейросетей

Кто же расскажет об этом лучше Саши Гончаренко:
- CTO стартапа по ускорению моделей enot.ai
- автор статей, в том числе про low-power/precision вычисления
- спикер конференций (NAS, трансформеры, инференс на смартфоне)
- хэдлайнер нашего курса по ускорению

🗓 Сегодня в 15.30 по Мск мы проведём интервью с Александром Гончаренко, СТО ENOT.ai

Мы обсудим:
- сколько денег ускорение сетей экономит компаниям
- может ли навык ускорения повысить оклад инженеру
- где и почему важно ускорять сети
- как будет выглядеть инференс будущего
- что делать инженерам и командам: практические советы здесь и сейчас

И еще парочка интересных историй без спойлеров.

Переходите в канал ускорения и присоединяйтесь к нашему интервью!
До встречи на прямом эфире!🔥