Новости по ускорению нейросетей

Наша команда готовит новый поток курса Ускорение нейросетей.
Мы обновили программу, и теперь вы сможете выбрать то, что вам наиболее актуально (даже NLP🤫).

Ещё у нас на подходе ряд статей, например, в конце недели расскажем про методы ускорения LLM✨

А сейчас можете прочесть статьи, которые мы писали ранее:

1. Основные подходы и методы ускорения — читать
2. Советы по ускорению, которые упростят ваше погружение в тему — читать
3. Как ускоряют сети для автономных устройств — читать
4. На что обратить внимание при оптимизации инференса — читать
5. Ускорение в задаче Speech2Text на примере Whisper от OpenAI — читать

⚡️Если хотите разобраться в теории и на практике научиться оптимизировать инференс, то приходите на наш курс.
До 12 июля вы можете присоединиться к обучению со скидкой 29%.
Для этого переходите на сайт и записывайтесь в лист ожидания. Мы свяжемся с вами, представим программу и подарим скидку на обучение.

Лекция по быстрым механизмам внимания в это воскресенье

Главное препятствие на пути к быстрым трансформерам — квадратичный attention. В базовом варианте трансформеры довольно прожорливые как по времени, так и по памяти. Поэтому инженеры ищут способы ускорить attention. О некоторых из них мы расскажем на лекции в воскресенье.

Обсудим быстрые механизмы внимания с точки зрения простых инженерных решений.
Без математики тоже не обойдётся, но объясним всё простым языком и ответим на все вопросы, которые возникнут.

Лекцию проведёт Саша Гончаренко:
- CTO стартапа по ускорению моделей enot.ai
- автор статей, в том числе про low-power/precision вычисления
- спикер конференций (NAS, трансформеры, инференс на смартфоне)
- хэдлайнер нашего курса по ускорению

Саша расскажет про:
- Group Query Attention — сделаем KV-кеш поменьше.
- Pattern Attention — простой способ сократить вычисления с помощью паттерна
- Linear Attention — ряд Тейлора is all you need

🗓Приходите 7 июля в 14:00 МСК!

Ссылку на трансляцию выложим в воскресенье.
Ставьте реакции, кто придёт 🔥

Пишите в комментариях свои вопросы — постараемся ответить на лекции!
До встречи в эфире!⚡️

Через 2 часа встречаемся на лекции по быстрым механизмам внимания

Саша Гончаренко расскажет про Group Query Attention, Pattern Attention и Linear Attention.

Начинаем в 14:00 МСК⚡️
Присоединяйтесь к трансляции на YouTube по ссылке

А пока переходите на наш канал и подписывайтесь🎞
Там мы разбираем темы из разных областей ML, выкладываем интервью с инженерами и другие рубрики от нашей школы!

В фрагменте лекции из прошлого потока CVRocket Андрей Шадриков рассказал про фишки ClearML для трекинга экспериментов.

А уже сегодня пройдёт первая лекция 8-го потока, где Андрей объяснит, как навести порядок в экспериментах, чтобы:
- конфигурировать эксперименты
- легко передавать репозиторий коллегам
- версионировать модели и данные
- быстро сравнивать эксперименты

Вы ещё успеваете присоединиться к этому потоку и освоить полный цикл решения CV-задач!
Переходите на сайт, запрыгивайте в последний вагон и становитесь частью комьюнити опытных инженеров🚀

Ускорение нейросетей на практике

Ускорение — важный навык в DL-индустрии:
- растёт потребность инференса нейросетей на смартфонах и edge-устройствах
- DL-сервисов становится больше
- растёт и нагрузка на эти сервисы
- всё чаще приходится работать с LLM, которые довольно требовательны к ресурсам
- и в целом, чем быстрее ваши модели, тем лучше и вам, и вашим пользователям

Мы подготовили лекцию по ускорению сетей, чтобы вы узнали, какие методы ускорения существуют и смогли задать свои вопросы.

🗓 18 июля, четверг, 18:00 МСК.

Саша Гончаренко, СТО стартапа enot.ai, проведёт онлайн-лекцию, на которой:
— применит прунинг, квантование и дистилляцию для ускорения нейросети
— подробно объяснит каждый метод
— рассмотрит возникающие сложности и способы их решения
— объяснит, почему различается результат на разных вычислителях🤔
— расскажет о вызовах в ускорении LLM
— и представит обновлённую программу курса «Ускорение нейросетей»

Регистрируйтесь на лекцию по ссылке!

🎁После регистрации вы получите туториал по использованию TensorRT и OpenVino.

До встречи 18 июля в 18:00 МСК!⚡️

Квиз по ускорению нейросетей!

Нужно сопоставить левый и правый столбец друг с другом:

1️⃣0️⃣ 🔤 🔤🔤🔤
1️⃣ 🔤 🔤🔤🔤
1️⃣1️⃣ 🔤 ❓❓❓

Чтобы узнать ответ, смотрите наше новое видео на youtube!

⚡️Через 3 часа начинаем

Вы ещё успеваете зарегистрироваться!

1️⃣ применим прунинг, квантование и дистилляцию для ускорения нейросети
2️⃣ объясним каждый метод
3️⃣ рассмотрим возникающие сложности и способы их решения
4️⃣ объясним, почему различается результат на разных вычислителях
5️⃣ расскажем о вызовах в ускорении LLM

И представим обновлённую программу курса «Ускорение нейросетей»!

Присоединяйтесь к лекции!

Научитесь оптимизировать инференс нейросетей

Если вы сталкивались с задачей ускорения нейросетей, но всё не могли найти время разобраться поглубже во всех этих квантованиях, прунингах, дистилляции, TensorRT, OpenVINO и прочих баззвордах, приходите на наш курс «Ускорение нейросетей»!
Мы объясним, как устроены эти алгоритмы и фреймворки и научим использовать их в работе.

Программа курса разделена на 3 блока:
1️⃣ База — вы освоите подходы, которые являются общими для большинства задач. Это база! Разберетесь с алгоритмами: прунингом, дистилляцией, квантованием, матричными разложениями, архитектурным поиском — и устройством девайсов: CPU, GPU, NPU — и фреймворками для каждого.

2️⃣ NLP — блок для тех, кто работает с LLM. Вы изучите популярные и рабочие методы для ускорения небольших и крупных языковых моделей.

3️⃣Devices — научитесь запускать нейросети на Android, iOS и микрокомпьютерах с учетом их особенностей.

Вы можете изучить только Базу, а при желании можете углубиться в определенный домен — можно выбрать любой подходящий вариант🧩

🗓 Обучение начинается 24 июля и длится 19 недель.

Лекции ведут опытные инженеры, каждый из которых несколько лет занимается той темой, которую преподаёт на курсе.
Спикеры будут поддерживать вас на протяжении всего обучения, а также вы сможете прийти к ним с вопросами по вашей работы.

⚡️Присоединяйтесь к обучению со скидкой до 23 июля!

Подробнее о программе, спикерах, тарифах и скидках читайте на сайте программы.
Выбирайте подходящий тариф и присоединяйтесь к обучению!🎓

Если у вас возникают вопросы или трудности, то пишите нам в поддержку в Телеграм.

Почти на каждом собеседовании спрашивают про ускорение нейросетей

Этим делятся выпускники первого потока курса «Ускорение нейросетей».
Например, Иван рассказывает, что знания с курса помогают на интервью, где часто задают вопросы про библиотеки для инференса, потенциал методов ускорения и возможные проблемы в подобных задачах.

На эти вопросы как раз отвечает первый блок нашей программы, в котором вы освоите фундамент: алгоритмы ускорения, устройство CPU, GPU, NPU и фреймворки для них.

Знания из курса помогут не только ускорить модели в ваших проектах, но и поднять метрики. Например, Елизавета повысила качество модели, применив знания из лекции по дистилляции.

Также мы подготовили опциональные блоки лекций «NLP» и «Devices» — для тех, кто работает с LLM и тех, кто запускает модели на Android, iOS и микрокомпьютерах. Можно выбрать нужные вам блоки лекций.

Переходите на сайт, изучайте подробности, выбирайте тариф и записывайтесь на обучение!

Завтра пройдёт первая лекция по дистилляции, на которой Саша Гончаренко, хэдлайнер программы, расскажет про метод улучшения точности нейросети и как его использовать для ускорения.
А сегодня вы можете присоединиться со скидкой до 12%🔥

Оставляйте заявку на сайте, чтобы зафиксировать за собой скидку до старта программы.

До встречи на лекциях!⚡️

Всем привет✌️
Это канал школы DeepSchool. Мы преподаём курсы повышения квалификации DL-инженеров и ведём этот блог

В этом канале мы:
- делаем обзоры статей
- рассказываем, как решаются различные DL-задачи
- напоминаем теорию ML/DL
- и общаемся со специалистами из индустрии

Наши программы:
- LLM — как обучать, деплоить и ускорять LLM
- LLM Pro — как проектировать и запускать сложные NLP-системы
- Деплой DL-сервисов — как создавать и деплоить DL-сервисы
- CV Rocket — как решать сложные задачи в Computer Vision
- Ускорение нейросетей — как ускорять нейросети для различных устройств
- 3D CV — как решать 3D-задачи от SLAM до виртуальных аватаров
- Gen CV — как обучать генеративные модели

Все наши статьи можно найти в нашем блоге, а видео — на YouTube-канале. Также у нас есть канал, где инженеры из deepschool рассказывают о себе.

С нами можно связаться:
- задать любой вопрос
- присоединиться к нашей команде
- или предложить тему для поста

Рады знакомству ✌️
Ставьте реакции и пишите комментарии! 🔥

☝️Обновили пост «о нас», за два года многое изменилось🙂

Кстати, а в этом посте мы описали историю создания DeepSchool — загляните, если интересно.

Мы рассказали о себе, но также нам интересно узнать поближе и вас! Ответьте, пожалуйста, на опрос ниже👇 Он поможет нам узнать примерное распределение подписчиков по доменам около ML/DL.

А если поделитесь, какие решаете задачи — будет просто супер🤩 Постараемся помочь нашими статьями! Напишите в комментариях к этому посту! Вдруг в комментариях встретите коллег по теме — такие знакомства всегда полезны.