#ШАД В LMS появилось домашнее задание по 2 неделе (aka по текущему семинару). Дедлайн — 1 марта

#ФКН Записавшимся в форму для доступа к Датасфере и multi-GPU-серверу пришло письмо на корпоративную почту со всей информацией. В целом мы проверили, что доступы рабочие, но пишите в чат, если что-то сломалось

#ФКН В Anytask и на гитхабе появилось домашнее задание по 5-ой неделе. Дедлайн — 5 марта.

#ФКН Сейчас проходит лекция про основы деплоя и вывода в продакшн моделей на Python, не пропустите!

#ФКН Залил материалы лекции и дополнительные ссылки по 5 неделе в репозиторий: суммарно вышло сильно за 20 ссылок, поэтому если вам не хватило подробностей про профайлинг или тензорные ядра, советую ознакомиться

#ШАД В LMS появилось домашнее задание по 3 неделе, дедлайн — 9 марта. Обратите внимание на то, что часть формулировок была уточнена, чтобы у вас было меньше вопросов насчёт проверки корректности разных реализаций.

#ФКН В Anytask появилось домашнее задание по 6 неделе, дедлайн — 9 марта. У задания особый формат сдачи, поэтому советуем ознакомиться с ним пораньше

#ФКН Начинаем лекцию про инструменты для быстрого инференса нейросетей. Ключевые слова: Triton (который NVIDIA), ONNX, TorchScript, в конце даже немножко JavaScript

#ФКН #ШАД Все активные дедлайны сдвинуты на неделю вперёд

#ФКН Завтрашняя лекция (про сжатие моделей и другие несофтовые методы ускорения инференса) переносится с этой недели на следующую

#ШАД Сегодня пройдёт занятие про mixed precision, эффективную работу с обучающими данными и профайлинг моделей; и лекция, и семинар будут по Zoom. Домашку по предыдущей неделе тоже скоро выложим

#ШАД В LMS появилось домашнее задание по 4 неделе, дедлайн — 29 марта

#ШАД #ФКН в домашке по пятой неделе, в первой части, действительно вышло некорректно с тем, что на конце сетки стоит релу, а мы там ожидаем логиты. Для того, чтобы словить эффекты от отсутствия loss scaling нужны модели, которые доучиваются с довольно длинным пологим хвостом лосса, чтобы маленькие значения в градиентах и правда умирали.

Давайте считать это упражнением и оставим модель как есть. В таком сеттинге отсутствие скейлинга будет заметно.

Согласен, что вышел не real world example, но для правильно примера, возможно, всё училось бы сильно дольше. Учтём на некст итерации этот косяк.ю.

#ФКН На гитхабе появились материалы по 7 неделе. Пока без домашки, но мы над этим работаем

#ФКН Сегодня пройдет лекция про сжатие моделей и другие несофтовые методы ускорения инференса, а на семинаре попробуем ужать трансформер

Кстати, пользуясь случаем, хочу поблагодарить тех, кто уже оставил фидбек по курсу в форме, а также попросить оставить его, если вы хотите что-то нам высказать и ещё этого не сделали. Мы всё читаем и учитываем!

#ШАД В LMS появилось домашнее задание по 5 неделе, дедлайн — 30 марта

#ШАД В LMS появилось домашнее задание по 6 неделе, дедлайн — 5 апреля. У задания особый формат сдачи, поэтому советуем ознакомиться с ним пораньше

#ФКН #ШАД 26 марта в 14:40 по Москве у нас будет гостевая лекция от Геннадия Пехименко — профессора University of Toronto и Vector Institute, обладающего огромной экспертизой в ML-системах и всём, что с ними связано. Ниже название доклада и аннотация:

Memory Footprint Reduction Techniques for DNN Training: An Overview

The recent popularity of deep neural networks (DNNs) has generated a lot of research interest in performing DNN-related computation efficiently. As prior work has observed, one of the major limiting factors of running DNNs efficiently is a limited main memory capacity available on modern accelerators such as GPUs and TPUs. In this talk, we will focus on several major techniques that aimed at reducing the DNN memory footprint.

First, I'll give a detailed background on DNNs and especially aspects related to memory allocations. Second, we discuss reasons why larger GPU/TPU memory is so desirable. We then talk on the taxonomy of prior works on memory footprint reduction, followed by two recent papers on feature map footprint reduction (Echo, ISCA'20 and Gist, ISCA'18). At the end, if time permits, I will also show the performance and visualization tools we built in my group to understand, visualize, and optimize DNN models, and even predict their performance on different hardware.

Ссылка будет та же, что для обычных занятий на ФКН, но мы скинем её сюда перед парой, чтобы студенты из ШАД тоже могли зайти при желании

#ФКН В Anytask появилось домашнее задание по 8 неделе, дедлайн — 30 марта

#ФКН #ШАД Подъехала долгожданная бонусная активность: на последних занятиях (26 марта 13:00 на ФКН и 11+18 апреля в ШАД) мы устроим блиц-демонстрации ряда open-source проектов с GitHub на тематику курса, за которые можно будет получить бонусные баллы (до 0.5 в итог на ФКН и до 3 «обычных» баллов в ШАД).

Список проектов находится по ссылке https://docs.google.com/document/d/1Qt1MnrVyEqVDjyG8hzeziLouLEjmdxroGLOqJ1VVm-o/edit?usp=sharing

Каждое выступление должно длиться до 6 минут, из которых две занимает рассказ о краткой сути проекта (что это и чем полезно), а четыре — демонстрация какого-то простого примера на основе этого проекта, который покажет нам, почему им нужно пользоваться. При проведении демонстрации обязательно нужно будет показывать свой экран с работающим примером остальным участникам семинара; сам код демонстрации должен быть выложен в открытый репозиторий до 23:59 дня перед семинаром вместе с инструкцией по запуску в README, а ссылка на него — отправлена в чат курса. Код может быть вдохновлён туториалами или примерами из той библиотеки, про которую вы будете рассказывать, но необходимо его осмыслить и упростить, чтобы ваша демонстрация умещалась в 4 минуты.

Всего за демку можно будет получить от 0 до 5 баллов, которые потом линейно отмасштабируются в бонусы. Система оценивания следующая:
2/5 — рассказ (штрафуется выход за временные рамки)
2/5 — демонстрация (штрафуются выход за временные рамки, несодержательность или использование готовых примеров вместо своего кода)
1/5 — наличие публичного репозитория с README и инструкциями по запуску в установленное время

Максимум на блиц сможет записаться 10 человек с ФКН и 20 человек из ШАД, попадут первые записавшиеся, запись двух людей на один проект не допускается. В связи с ограниченностью числа слотов крайне не рекомендуется записываться, если вы не уверены, что сможете подготовиться. Форма для записи откроется 21 марта в 12:00MSK