#ФКН Сегодня пройдет лекция про сжатие моделей и другие несофтовые методы ускорения инференса, а на семинаре попробуем ужать трансформер

Кстати, пользуясь случаем, хочу поблагодарить тех, кто уже оставил фидбек по курсу в форме, а также попросить оставить его, если вы хотите что-то нам высказать и ещё этого не сделали. Мы всё читаем и учитываем!

#ШАД В LMS появилось домашнее задание по 5 неделе, дедлайн — 30 марта

#ШАД В LMS появилось домашнее задание по 6 неделе, дедлайн — 5 апреля. У задания особый формат сдачи, поэтому советуем ознакомиться с ним пораньше

#ФКН #ШАД 26 марта в 14:40 по Москве у нас будет гостевая лекция от Геннадия Пехименко — профессора University of Toronto и Vector Institute, обладающего огромной экспертизой в ML-системах и всём, что с ними связано. Ниже название доклада и аннотация:

Memory Footprint Reduction Techniques for DNN Training: An Overview

The recent popularity of deep neural networks (DNNs) has generated a lot of research interest in performing DNN-related computation efficiently. As prior work has observed, one of the major limiting factors of running DNNs efficiently is a limited main memory capacity available on modern accelerators such as GPUs and TPUs. In this talk, we will focus on several major techniques that aimed at reducing the DNN memory footprint.

First, I'll give a detailed background on DNNs and especially aspects related to memory allocations. Second, we discuss reasons why larger GPU/TPU memory is so desirable. We then talk on the taxonomy of prior works on memory footprint reduction, followed by two recent papers on feature map footprint reduction (Echo, ISCA'20 and Gist, ISCA'18). At the end, if time permits, I will also show the performance and visualization tools we built in my group to understand, visualize, and optimize DNN models, and even predict their performance on different hardware.

Ссылка будет та же, что для обычных занятий на ФКН, но мы скинем её сюда перед парой, чтобы студенты из ШАД тоже могли зайти при желании

#ФКН В Anytask появилось домашнее задание по 8 неделе, дедлайн — 30 марта

#ФКН #ШАД Подъехала долгожданная бонусная активность: на последних занятиях (26 марта 13:00 на ФКН и 11+18 апреля в ШАД) мы устроим блиц-демонстрации ряда open-source проектов с GitHub на тематику курса, за которые можно будет получить бонусные баллы (до 0.5 в итог на ФКН и до 3 «обычных» баллов в ШАД).

Список проектов находится по ссылке https://docs.google.com/document/d/1Qt1MnrVyEqVDjyG8hzeziLouLEjmdxroGLOqJ1VVm-o/edit?usp=sharing

Каждое выступление должно длиться до 6 минут, из которых две занимает рассказ о краткой сути проекта (что это и чем полезно), а четыре — демонстрация какого-то простого примера на основе этого проекта, который покажет нам, почему им нужно пользоваться. При проведении демонстрации обязательно нужно будет показывать свой экран с работающим примером остальным участникам семинара; сам код демонстрации должен быть выложен в открытый репозиторий до 23:59 дня перед семинаром вместе с инструкцией по запуску в README, а ссылка на него — отправлена в чат курса. Код может быть вдохновлён туториалами или примерами из той библиотеки, про которую вы будете рассказывать, но необходимо его осмыслить и упростить, чтобы ваша демонстрация умещалась в 4 минуты.

Всего за демку можно будет получить от 0 до 5 баллов, которые потом линейно отмасштабируются в бонусы. Система оценивания следующая:
2/5 — рассказ (штрафуется выход за временные рамки)
2/5 — демонстрация (штрафуются выход за временные рамки, несодержательность или использование готовых примеров вместо своего кода)
1/5 — наличие публичного репозитория с README и инструкциями по запуску в установленное время

Максимум на блиц сможет записаться 10 человек с ФКН и 20 человек из ШАД, попадут первые записавшиеся, запись двух людей на один проект не допускается. В связи с ограниченностью числа слотов крайне не рекомендуется записываться, если вы не уверены, что сможете подготовиться. Форма для записи откроется 21 марта в 12:00MSK

#ФКН #ШАД Мы тут решили, что вам пока хватит мучений, а коллектив преподавателей устал вместе с вами, поэтому домашних заданий по неделям 7, 9 и 10 не будет

Как это влияет на оценивание:
Для ФКН: веса трёх «больших» домашних заданий (week02–04, 05, 06–08) в формуле итоговой оценки умножаются на 5/4.
Для ШАД: для «отлично» теперь нужно заработать 50 баллов, для «хорошо» — 35, для «удовлетворительно» — 25.

Изменения уже отражены на страницах курса на вики ФКН и в LMS ШАД.

#ФКН #ШАД По поводу записи: она откроется по ссылке https://forms.gle/Ax3LGju2h4ZFHx459 в 12:00, помимо проекта и вашего имени потребуется ещё указать ссылку на профиль в Anytask или LMS, чтобы мы потом вас не потеряли. Чтобы не выбирать уже кем-то забитый репозиторий, ответы можно будет посмотреть тут https://docs.google.com/spreadsheets/d/1I34eTax_bSmBcsRH6VDWx32sGBaPMeiFPbtVUfy_Xvo/edit?usp=sharing

#ШАД С учётом того, что наш курс довольно большой по количеству тем и заданий, мы утвердили вместе с кураторами его полноценный семестровый статус. Таким образом, можно спокойно отписаться от чего-нибудь ещё семестрового, что вам нравится поменьше, и по-прежнему закрыть это полугодие

#ФКН Сегодня ночью убью multi-GPU-машину, просьба эвакуировать все нужные данные до этого момента

#ФКН #ШАД Запись открылась, не забывайте про требование о ссылке на репозиторий!

#ФКН На самом деле в объявлении косяк и ссылки на репо надо прислать до 23:59 дня перед семинаром, но из-за нашей ошибки штрафов за сдачу завтра не будет. Давайте только условимся, что вы пришлёте ссылки после семинара, поскольку демонстрации в любом случае должны опираться на код из ваших репозиториев

Сейчас проходит блиц-демонстрация от студентов #ФКН по ссылке https://zoom.us/j/94770955938?pwd=eDE1UHRzblJsSUVDOGJHVG93eTJrUT09
А после этого по той же ссылке будет приглашенная лекция от Геннадия Пехименко (https://t.me/efficientdl_22/40)

#ШАД В LMS появилось последнее домашнее задание, дедлайн — 15 апреля

#ФКН #ШАД Мы потихоньку начали проверять ваши домашние задания, и чтобы помочь себе и вам с народной забавой «подсчет накопа», сделали вот такую табличку, в которой будут высчитываться итоговые оценки:
https://docs.google.com/spreadsheets/d/1vOIlPFhtFIxETSoGd-mu43KfuEuOdjultqk4FEEMOf8/edit?usp=sharing

Зелёным заголовком помечены целиком проверенные домашки, по мере проверки таблица будет обновляться. Формула и табличка для ШАДа появятся чуть позже, как только мы очухаемся после проверки домашек у ФКН

#ШАД Ссылка на форму для фидбека также появилась в LMS

#ФКН Таблица с оценками финализирована, сегодня вечером ведомость уйдет в УО. Проверьте на всякий случай, что оценка не станет для вас сюрпризом

#ШАД Так как на демки записалось пока что всего три человека, сегодня занятие мы проводить не будем. Напомню, что есть возможность получить бонусы за демонстрацию того, что опенсорсный код не работает

Один из наших студентов Станислав Белясов написал хороший рекап материалов 4 (и кусочка 5) недели. Очень рады такому контенту, если кто зареган на медиуме, призываю полайкать!
https://bestasoff.medium.com/how-to-fine-tune-very-large-model-if-it-doesnt-fit-on-your-gpu-3561e50859af

#ШАД В понедельник (18 апреля) перед демками у нас состоится гостевая лекция, которую прочитает Иван Комаров — разработчик отдела NLP в Яндексе. Лекция будет сильно более глубоким и практическим погружением в архитектуру GPU и профайлинг, чем на week01/week05, поэтому всячески рекомендую послушать и помучать лектора вопросами, особенно если вам захотелось узнать больше после тех занятий.

Эффективное применение DL-моделей на (GP)GPU

Когда обученная DL-модель начинает использоваться в продакшене под нагрузкой, имеет смысл оптимизировать используемые в ней примитивы так, чтобы они эффективно использовали мощности видеокарты. Часто так можно ускорить применение модели на десятки процентов, а иногда и в разы.

На лекции я сначала в целом опишу вычислительную модель современных GPU и расскажу, какие ресурсы мы хотим эффективно использовать. Затем на примере примитивов из современных нейросетей покажу, как работать с профайлерами и определять, что именно имеет смысл оптимизировать. И наконец, разберу CUDA-реализацию конкретного примитива из одного из существующих DL-фреймворков и продемонстрирую, какие трюки в ней используются.

Время обычное, ссылку на трансляцию скину в канал