Всем привет! В этом канале будут публиковаться объявления по нашему курсу. Так как курс читается параллельно на ФКН и в ШАД, часть объявлений будет релевантна не всем студентам, поэтому мы будем сопровождать важные новости тегами #ФКН и #ШАД.

Сегодня в 18:00 начнется первое занятие, подключайтесь по ссылке https://yandex.zoom.us/j/91929814480. Поговорим про сам курс, про подходы к измерению и оптимизации производительности в целом, а также узнаем немного об архитектуре GPU (и в целом ускорителей для нейронок). На семинаре посмотрим чуть ближе на модель памяти в PyTorch и способы правильно измерять скорость вашего кода на GPU

#ФКН #ШАД На гитхабе курса появились материалы лекции и семинара с первой недели. В README есть куча полезных ссылок про CUDA, если вам не хватило лекции; в целом после каждого занятия в его папке можно будет найти дополнительные материалы.

Отдельно отмечу GPU Glossary, All About Rooflines и GPU Mode Resource Stream: первый полезен для верхнеуровневого понимания основных терминов, вторая ссылка является главной очень хорошей онлайн-книги от DeepMind по DL-системам, а в третьем репозитории материалов наберется на отдельный курс

#ФКН В этом году сдача домашних заданий будет происходить через LMS ШАДа. Чтобы мы смогли добавить вас на курс, а также выдать доступ к Яндекс.Облаку для выполнения домашних заданий, пожалуйста, заполните эту форму: https://forms.gle/3VwAriNMJZS8VM5z8

Дедлайн заполнения: 27 января 12:00MSK

файл эффективности 19

#ФКН #ШАД На гитхабе курса появились материалы этой недели, а также домашнее задание по эффективному обучению и профайлингу кода. За задание можно получить больше 10 баллов, чтобы увеличить свою оценку за блок по пайплайнам обучения. Дедлайн — 09.02 08:00MSK, страница для сдачи появится в ближайшее время

файл эффективности 20

#ФКН #ШАД На гитхабе курса появились материалы прошлой недели, а также домашнее задание по data-parallel training. В задании есть бонус, решив который, можно получить до 3 бонусных баллов в блоке по распределенному обучению.

Дедлайн — 16.02 08:00MSK, страница в LMS появится в ближайшее время

#ФКН Всем студентам, записанным на курс от ФКН и заполнившим форму, в 12:00 ушло письмо на почту @edu.hse.ru с инструкциями для доступа к LMS. Если вы не получили письмо, напишите Вале @vbroner

Доступ к серверу и DataSphere предоставим в ближайшее время, stay tuned!

#ФКН Мы создали GPU-сервер и отправили тем, кто запрашивал к нему доступ, на корпоративную почту письмо с адресом и инструкциями по подключению.

Также в течение сегодняшнего дня вам придёт инвайт в организацию в Яндекс.Облаке. Чтобы вас смогли добавить в сообществе в DataSphere, пожалуйста, примите этот инвайт до завтра

#ФКН #ШАД Обновили формулировку задачи 2 домашнего задания в week02:
• Требуется прогнать одну полную эпоху по обучающим данным, но без backward pass
• Во всех пунктах по умолчанию можно исключать последовательности длиннее 640 токенов. Если вы уже сделали пункты 1–3 через truncation, можно оставить их как есть, если вы честно сравните скорость работы методов с учетом разного количества данных

файл эффективности 21

#ФКН #ШАД На гитхабе курса появились материалы недели 4 и домашнее задание (часть 1, часть 2) по обучению больших нейросетей

Дедлайн — 27.02 08:00MSK, страница для сдачи в LMS появится в ближайшее время

файл эффективности 22

#ФКН #ШАД На гитхабе курса появились материалы недели по FSDP, а также домашнее задание по этой теме. В задании есть бонус, за который можно получить до 3 бонусных баллов в блоке по large-scale обучению.

Дедлайн — 06.03 08:00MSK, страница в LMS появится в ближайшее время

#ФКН #ШАД Обновили условие домашнего задания по FSDP: задания остались теми же, но теперь в README есть ссылка на данные и необходимый токенайзер

#ФКН Перезапустили сервер с GPU, его новый IP-адрес 84.201.136.206

#ФКН #ШАД На гитхабе курса появились материалы недели по разработке веб-сервисов, а также домашнее задание по этой теме. В задании есть бонус в 1 балл, который увеличит вашу оценку в блоке по инференсу.

Дедлайн — 14.03 08:00MSK, страница в LMS появится в ближайшее время

#ФКН #ШАД Обратите внимание на особый формат сдачи ДЗ, подробно описанный в репозитории.

Помимо сдачи задания в LMS, вас ожидает устная защита решения. Мы выберем не менее 40 случайных студентов для защиты, которая будет представлять из себя устное собеседование на 10-15 минут в Zoom с вопросами о вашем коде и возможными дополнительными вопросами по материалам недели. Конкретные даты защит и список студентов будет опубликован позднее.