Почему в 52% вакансий упоминают ускорение или конвертацию сетей

Раньше, чтобы комфортно чувствовать себя на рынке DS, было достаточно уметь обучать нейросети и знать теорему байеса.
Теперь же и навыком выката моделей в прод никого не удивишь. Но вот уметь делать этот “прод” быстрым — до сих пор редкий и востребованный навык.

И вот 3 причины, почему в вакансиях его упоминают все чаще

1️⃣Экономия на железе

С каждым 1% ускорения/облегчения модели, вы экономите 1% стоимости вычислительных ресурсов. Логика простая: чем быстрее сеть, тем раньше GPU возьмется за новый батч, а чем меньше весов, тем больше изображений в этот батч поместится.

За счет ускорения модели, даже 1 сервис может начать экономить компании сотни долларов в день. Кстати, зачастую можно ускорить уже имеющуюся модель без потерь в точности. Например, за счет фьюзинга и конвертации или смены бэкенда.

2️⃣Realtime обработка видео

В задачах AR/VR, нейрорендеринга, автономных роботах, контроле качества на производствах, безопасности на дорогах и других задачах анализа/синтеза видео важно принимать решения за миллисекунды.

Автопилот должен управлять машиной на скорости выше 35 метров в секунду, конвейерная лента за это время уже переместит более 100 объектов, а глаз человека будет видеть плавную картинку в VR очках или в смартфоне только при 120 fps и выше.

Все это накладывает очевидные ограничения на скорость инференса. Ведь помимо анализа изображения, системе еще и необходимо выполнить действие: сменить полосу, отбросить с ленты брак или отрисовать в очках объект — за очень короткий промежуток времени.

3️⃣Безопасность и скорость локального использования

Если вы не слышали про GDPR, вы счастливый датасайентист. В СНГ пространстве нет столь жесткого контроля за персональными данными, как в западных странах. Но за хранение информации без разрешения или ее утечку, даже наши компании могут получить если не исполинский штраф, то общественное порицание и потерю репутации.

Чтобы не рисковать, не смущать пользователей отправкой фото на сервер, и уменьшить время ожидания, модели помещают на мобильные устройства. А перед этим их необходимо облегчить и конвертировать в нужный формат (CoreML, TFLite, NNApi, etc), стараясь не потерять точность.

А так как DL сервисов становится больше, сети встречаются на устройствах чаще, а про безопасность пользователей в последние годы все больше споров — навыки ускорения моделей становятся более востребованными.

Ставьте реакции 🔥, если вам интересна эта тема и мы познакомим вас ближе с методами ускорения сетей!
#заметки_deepschool

Как разобраться в ускорении нейросетей⚡️

Мы создали отдельный канал, посвященный теме ускорения нейросетей.

В нем мы будем:
— рассказывать про методы ускорения
— приводить примеры из практики
— делиться ошибками
— проводить лекции и эфиры с экспертами в области

Многие сталкивались с квантованием, дистилляцией, прунингом, конвертировали в ONNX, TRT, OpenVino, но мало кто понимает, как совмещать эти алгоритмы и инструменты.

Структурированной информации в этом направлении мало: меняются архитектуры вычислителей, обновляются фреймворки и бэкенды — приходится экспериментировать самостоятельно, перебирая разные варианты.

Мы решили помочь вам разобраться в ускорении моделей, в целевых вычислителях (CPU, GPU, NPU), в различных бэкендах (OpenVino, NNApi, TRT, etc), в запуске инференса на смартфонах и микрокомпьютерах.

Поэтому мы создаем образовательную программу по ускорению CV-моделей. И создали канал, где погрузим вас в эту тему. Там вас уже ждёт пост с 3 советами для ускорения нейросетей👇

Канал про ускорение нейросетей

Сколько 💵 ускорение сетей экономит компаниям, надо ли в это погружаться инженеру и как выглядит инференс будущего

Это и не только мы обсудим сегодня на прямом эфире в нашем канале по теме ускорения нейросетей

Кто же расскажет об этом лучше Саши Гончаренко:
- CTO стартапа по ускорению моделей enot.ai
- автор статей, в том числе про low-power/precision вычисления
- спикер конференций (NAS, трансформеры, инференс на смартфоне)
- хэдлайнер нашего курса по ускорению

🗓 Сегодня в 15.30 по Мск мы проведём интервью с Александром Гончаренко, СТО ENOT.ai

Мы обсудим:
- сколько денег ускорение сетей экономит компаниям
- может ли навык ускорения повысить оклад инженеру
- где и почему важно ускорять сети
- как будет выглядеть инференс будущего
- что делать инженерам и командам: практические советы здесь и сейчас

И еще парочка интересных историй без спойлеров.

Переходите в канал ускорения и присоединяйтесь к нашему интервью!
До встречи на прямом эфире!🔥

Лекция по ускорению нейросетей во вторник в 18:00 МСК!

Ранее мы рассказывали, почему в индустрии все чаще поднимается тема ускорения нейросетей:
➡️ становится больше веб-сервисов и приложений на девайсах
➡️ для первых надо улучшать latency и throughput
➡️ вторые ограничены в ресурсах и могут работать только с легкими и быстрыми моделями

И чтобы помочь вам разобраться в этой теме, мы подготовили для вас лекцию-погружение в ускорение сетей.

В этот вторник 20 февраля Саша Гончаренко, СТО стартапа enot.ai проведет онлайн-лекцию, на которой:
— запрунит, квантанет и затюнит с дистилляцией MobileNet v2
— расскажет подробнее о каждом методе
— споткнётся о сложности и научит их решать
— объяснит, почему различается результат на разных вычислителях🤔
— и представит программу курса «Ускорение нейросетей»

Регистрируйтесь на лекцию по ссылке!

📚В канале ускорения Саша несколько раз упоминал, что ускорение надо начинать с фреймворка для инференса. Поэтому мы также подготовили туториал по использованию TensorRT и OpenVino. Он ждёт вас по ссылке!

И до встречи 20 февраля в 18:00 МСК!

Начинаем лекцию через 1,5 часа, успевайте зарегистрироваться!

Напомним, что для слушателей мы подготовили туториал по использованию фреймворков для инференса: ONNX Runtime, TensorRT и OpenVino.

📺До встречи сегодня в 18:00 МСК!

Это было круто!

Спасибо, что пришли вчера на лекцию! Вы молодцы! Потому что вечером рабочего дня образовывались, были включены и задавали интересные вопросы!🎓

Отдельное спасибо за доверие к нашей команде тем, кто уже присоединился к курсу “Ускорение нейросетей”, который мы представили вчера на встрече!

Если вы тоже хотите повысить свою экспертизу и ценность как DL-инженера, научиться ускорять нейросети, экономить компаниям ресурсы и создавать приложения для edge-девайсов и смартфонов — присоединяйтесь к курсу по ранним условиям!

⚡️Наша программа разделена на 2 блока:

1️⃣ Методы ускорения нейронных сетей
— Distillation
— Pruning
— Matrix Decomposition
— Low-Precision Computing
— Neural Architecture Search (NAS)

2️⃣ Инференс на железе
— CPU. x86 (Intel)
— CPU. Android (ARM)
— CPU. Микроконтроллеры
— GPU
— NPU

В первой части вы научитесь комбинировать методы для ускорения сверточных и трансформер-подобных архитектур.
А во второй использовать особенности железа и инференс-фреймворков (OpenVino, ONNX Runtime, TensorRT, NNApi) для оптимальной утилизации вычислителей.

10 недель
10 zoom-лекций
10 заданий
10 спикеров
∞ поддержки на встречах и в чате
+ возможность взять академ до следующего старта
+ доступ к новым лекциям 2-х следующих потоков 🔥 действует только сейчас!

23 февраля будет повышение цены, успевайте оплатить или внести предоплату, чтобы зафиксировать скидку!

Подробнее о программе, спикерах и скидках на сайте программы — присоединяйтесь к обучению!

Стартовал курс «Ускорение нейросетей»🎉

В понедельник была вводная встреча со студентами первого потока!
Мы проводим такие встречи в начале каждого курса, чтобы познакомиться, рассказать, как будет проходить курс, и зарядить ребят на обучение 🔥

Уже завтра пройдёт первая лекция “Distillation”
Разберём, что такое дистилляция и DarkKnowledge, функции потерь, дистилляцию для уменьшения архитектуры, дистилляцию в классических CV-задачах, также затронем и NLP.
В качестве практики в этой лекции студенты будут дистиллировать сеть для задачи сегментации человека.

Остаётся 24 часа, чтобы присоединиться к курсу «Ускорение нейросетей»!

За 10 недель вы ускорите нейросеть разными методами и запустите её на нескольких устройствах ⚡️

На программе вы научитесь:
- ускорять нейросети, понимая теорию каждого алгоритма
- комбинировать разные подходы и решать вытекающие трудности
- оптимизировать инференс, сохраненяя точность
- запускать сети на различных устройствах
- использовать особенности железа и фреймворков OpenVino, ONNX Runtime, TensorRT, NNApi

Это всё с поддержкой от опытных инженеров. Каждый спикер несколько лет занимается той темой, которую преподаёт на курсе.
Вступайте в наше сообщество и получите возможность перенимать опыт у действующий специалистов из области ускорения. 🎓

Переходите на сайт, изучайте подробности и присоединяйтесь к «Ускорению нейросетей»!
До встречи на обучении!