Ускорение нейросетей на практике

Ускорение — важный навык в DL-индустрии:
- растёт потребность инференса нейросетей на смартфонах и edge-устройствах
- DL-сервисов становится больше
- растёт и нагрузка на эти сервисы
- всё чаще приходится работать с LLM, которые довольно требовательны к ресурсам
- и в целом, чем быстрее ваши модели, тем лучше и вам, и вашим пользователям

Мы подготовили лекцию по ускорению сетей, чтобы вы узнали, какие методы ускорения существуют и смогли задать свои вопросы.

🗓 18 июля, четверг, 18:00 МСК.

Саша Гончаренко, СТО стартапа enot.ai, проведёт онлайн-лекцию, на которой:
— применит прунинг, квантование и дистилляцию для ускорения нейросети
— подробно объяснит каждый метод
— рассмотрит возникающие сложности и способы их решения
— объяснит, почему различается результат на разных вычислителях🤔
— расскажет о вызовах в ускорении LLM
— и представит обновлённую программу курса «Ускорение нейросетей»

Регистрируйтесь на лекцию по ссылке!

🎁После регистрации вы получите туториал по использованию TensorRT и OpenVino.

До встречи 18 июля в 18:00 МСК!⚡️

Квиз по ускорению нейросетей!

Нужно сопоставить левый и правый столбец друг с другом:

1️⃣0️⃣ 🔤 🔤🔤🔤
1️⃣ 🔤 🔤🔤🔤
1️⃣1️⃣ 🔤 ❓❓❓

Чтобы узнать ответ, смотрите наше новое видео на youtube!

⚡️Через 3 часа начинаем

Вы ещё успеваете зарегистрироваться!

1️⃣ применим прунинг, квантование и дистилляцию для ускорения нейросети
2️⃣ объясним каждый метод
3️⃣ рассмотрим возникающие сложности и способы их решения
4️⃣ объясним, почему различается результат на разных вычислителях
5️⃣ расскажем о вызовах в ускорении LLM

И представим обновлённую программу курса «Ускорение нейросетей»!

Присоединяйтесь к лекции!

Научитесь оптимизировать инференс нейросетей

Если вы сталкивались с задачей ускорения нейросетей, но всё не могли найти время разобраться поглубже во всех этих квантованиях, прунингах, дистилляции, TensorRT, OpenVINO и прочих баззвордах, приходите на наш курс «Ускорение нейросетей»!
Мы объясним, как устроены эти алгоритмы и фреймворки и научим использовать их в работе.

Программа курса разделена на 3 блока:
1️⃣ База — вы освоите подходы, которые являются общими для большинства задач. Это база! Разберетесь с алгоритмами: прунингом, дистилляцией, квантованием, матричными разложениями, архитектурным поиском — и устройством девайсов: CPU, GPU, NPU — и фреймворками для каждого.

2️⃣ NLP — блок для тех, кто работает с LLM. Вы изучите популярные и рабочие методы для ускорения небольших и крупных языковых моделей.

3️⃣Devices — научитесь запускать нейросети на Android, iOS и микрокомпьютерах с учетом их особенностей.

Вы можете изучить только Базу, а при желании можете углубиться в определенный домен — можно выбрать любой подходящий вариант🧩

🗓 Обучение начинается 24 июля и длится 19 недель.

Лекции ведут опытные инженеры, каждый из которых несколько лет занимается той темой, которую преподаёт на курсе.
Спикеры будут поддерживать вас на протяжении всего обучения, а также вы сможете прийти к ним с вопросами по вашей работы.

⚡️Присоединяйтесь к обучению со скидкой до 23 июля!

Подробнее о программе, спикерах, тарифах и скидках читайте на сайте программы.
Выбирайте подходящий тариф и присоединяйтесь к обучению!🎓

Если у вас возникают вопросы или трудности, то пишите нам в поддержку в Телеграм.

Почти на каждом собеседовании спрашивают про ускорение нейросетей

Этим делятся выпускники первого потока курса «Ускорение нейросетей».
Например, Иван рассказывает, что знания с курса помогают на интервью, где часто задают вопросы про библиотеки для инференса, потенциал методов ускорения и возможные проблемы в подобных задачах.

На эти вопросы как раз отвечает первый блок нашей программы, в котором вы освоите фундамент: алгоритмы ускорения, устройство CPU, GPU, NPU и фреймворки для них.

Знания из курса помогут не только ускорить модели в ваших проектах, но и поднять метрики. Например, Елизавета повысила качество модели, применив знания из лекции по дистилляции.

Также мы подготовили опциональные блоки лекций «NLP» и «Devices» — для тех, кто работает с LLM и тех, кто запускает модели на Android, iOS и микрокомпьютерах. Можно выбрать нужные вам блоки лекций.

Переходите на сайт, изучайте подробности, выбирайте тариф и записывайтесь на обучение!

Завтра пройдёт первая лекция по дистилляции, на которой Саша Гончаренко, хэдлайнер программы, расскажет про метод улучшения точности нейросети и как его использовать для ускорения.
А сегодня вы можете присоединиться со скидкой до 12%🔥

Оставляйте заявку на сайте, чтобы зафиксировать за собой скидку до старта программы.

До встречи на лекциях!⚡️

Всем привет✌️
Это канал школы DeepSchool. Мы преподаём курсы повышения квалификации DL-инженеров и ведём этот блог

В этом канале мы:
- делаем обзоры статей
- рассказываем, как решаются различные DL-задачи
- напоминаем теорию ML/DL
- и общаемся со специалистами из индустрии

Наши программы:
- LLM — как обучать, деплоить и ускорять LLM
- LLM Pro — как проектировать и запускать сложные NLP-системы
- Деплой DL-сервисов — как создавать и деплоить DL-сервисы
- CV Rocket — как решать сложные задачи в Computer Vision
- Ускорение нейросетей — как ускорять нейросети для различных устройств
- 3D CV — как решать 3D-задачи от SLAM до виртуальных аватаров
- Gen CV — как обучать генеративные модели

Все наши статьи можно найти в нашем блоге, а видео — на YouTube-канале. Также у нас есть канал, где инженеры из deepschool рассказывают о себе.

С нами можно связаться:
- задать любой вопрос
- присоединиться к нашей команде
- или предложить тему для поста

Рады знакомству ✌️
Ставьте реакции и пишите комментарии! 🔥

☝️Обновили пост «о нас», за два года многое изменилось🙂

Кстати, а в этом посте мы описали историю создания DeepSchool — загляните, если интересно.

Мы рассказали о себе, но также нам интересно узнать поближе и вас! Ответьте, пожалуйста, на опрос ниже👇 Он поможет нам узнать примерное распределение подписчиков по доменам около ML/DL.

А если поделитесь, какие решаете задачи — будет просто супер🤩 Постараемся помочь нашими статьями! Напишите в комментариях к этому посту! Вдруг в комментариях встретите коллег по теме — такие знакомства всегда полезны.

История YOLOv6

Продолжаем знакомиться с семейством архитектур YOLO. Уже в который раз совершается, казалось бы, невозможное — инженеры одновременно повысили и качество, и скорость модели! Давайте разбираться, как они это сделали.

В статье рассмотрим:
- интересную историю появления YOLOv6
- чем она отличается от YOLOv5
- а что у неё общего с VGG
- и главное: как же опять получилось повысить скорость без потери в качестве🤯

Читайте новую статью по ссылке: https://deepschool-pro.notion.site/YOLO-6-159877ef9a524d1fbdfd3ef32ca9be6f?pvs=4

Решаем LeetCode

Задачки на алгоритмы любят давать на собеседованиях. А многие инженеры их боятся. Часто можно услышать совет: «чтобы хорошо решать алгоритмы, сиди и нарешивай LeetCode». Но вместе — веселее 😉

В этом видео Игорь Ильин разбирает задачу на модульную арифметику уровня medium. Игорь — Sr. CV-инженер в Kudan SLAM и спикер курса 3D CV. Игорь часто ходит по собеседованиям и любит алгоритмы. Отличное комбо 📈

В выпуске прошли путь от наивного решения, которое работает за O(n^2) до оптимального, которое работает за линию по времени. Обсудили структуры данных и сложность операций над ними, чем плоха рекурсия и когда можно от неё избавиться.

Смотрите видео по ссылке: https://youtu.be/IHqh2JnGrcY