Всем привет! Мы начинаем через ~5 минут, ссылка на лекцию+семинар тут
https://zoom.us/j/94770955938?pwd=eDE1UHRzblJsSUVDOGJHVG93eTJrUT09

Гитхаб курса вышел в паблик: https://github.com/mryab/efficient-dl-systems
Уже выложены первая лекция, remastered-семинар и куча дополнительных ссылок по первому занятию

Забыл ещё включить в материалы к занятию пару ссылок про TorchScript и torch.jit: в частности, там приводятся оптимизации помимо operator fusion, которые могут быть применимы к модели с сохранением дифференцируемости.

https://lernapparat.de/jit-optimization-intro (наверное, наиболее подробный материал)
https://pytorch.org/blog/optimizing-cuda-rnn-with-torchscript/
https://blog.christianperone.com/2019/02/pydata-montreal-slides-for-the-talk-pytorch-under-the-hood/ (в целом прикольная презентация про устройство pytorch и немного продакшна)

Впрочем, размах у этих оптимизаций не такой большой, поэтому существенное ускорение для произвольных моделей вы вряд ли получите. Гораздо полезнее TorchScript оказывается, если вам нужно сериализовать модель для использования в другом коде, но об этом мы с вами ещё поговорим

Сегодня в 13-00 (через полчаса) грядёт пара про распределённое обучение,
из которой вы узнаете

— как заставить много серверов обучать ваш один xgboost или ResNet
— кто такие процессы и на каком языке они разговаривают друг с другом
— каким алгоритмом гугл обучает свои нейросети на ваших персональных данных
— и как к этому подступиться на питоне

https://zoom.us/j/94770955938?pwd=eDE1UHRzblJsSUVDOGJHVG93eTJrUT09

В домашке по неделе 2 пофиксили косяк с неправильной формулой лосса GloVe (спасибо https://github.com/MaratSaidov за пулл). Просьба чекнуть актуальный вариант в репозитории, если у вас были проблемы с этим пунктом

Сегодня была самая-самая жесть, дальше будет легче

Из следующей лекции вы узнаете полезного
- как обучать большие модели на маленьких GPU с использованием распределённости, оперативки и какой-то матери
- научимся обучать с нуля миллиард или файнтюнить самую большую публично-доступную GPT на колабе
- как сэкономить 2-3x денег на распределённом обучении с помощью spot instances
- как обучали самые большие на данный момент нейросети
- как эффективно обучать нейросети через интернет

И на этом мы закончим с распределённостью и начнётся эффективное fp16, пайплайны для препроцессинга и всё-всё-всё

Напоминайка - через что-то типа 5 минут начнётся лекция

Как и обещали, залили в репозиторий семинар и домашку по 3 неделе. Она состоит из трёх обязательных частей и одной бонусной
https://github.com/mryab/efficient-dl-systems/tree/main/week03_data_parallel

#ФКН Также на вики курса появился инвайт в Anytask, а это значит, что пора фиксировать дедлайны: по неделям 2 и 3 это 20 февраля 08:00MSK (чуть больше 2 недель), по неделе 4 — 2 недели после её выдачи + eps

#ФКН Сегодняшнее занятие будет посвящено эффективным пайплайнам обучения:
— FP16, Mixed Precision Training и всё вокруг этого
— Оптимальное чтение и подготовка данных
— Профайлинг кода в целом и DL-кода в частности

Стартуем где-то через 5-7 минут, не пропустите!

zxc лектор vs deadinside семинарист играют на проверку домашек и отвечают на ваши вопросы в перерыве (продлится минут 20-30):
https://www.twitch.tv/average_teaching_enjoyer

Про то, как включить (или выключить) tf32 на Ampere-картах: https://pytorch.org/docs/stable/notes/cuda.html#tensorfloat-32-tf32-on-ampere-devices

#ФКН Студентам Вышки: если вы хотите получить доступ к ресурсам на Яндекс.Облаке для домашних заданий, заполните форму ниже
https://forms.gle/bspQ4nw9dRZjBWFfA

Дедлайн заполнения: 14 февраля, 23:59

Вот ещё видос про профайлинг GPU-кода, там есть побольше деталей насчет Nsight Systems/DLProf/Nsight Compute. Даже про инференс немного рассказывается
https://www.youtube.com/watch?v=ySGIaOb_RDY

#ФКН Выложил на гитхаб чуть более причёсанную версию ноутбука и скриптов с семинара пятой недели, плюс добавил туда текстовые описания происходящего для тех, кого не было.

https://github.com/mryab/efficient-dl-systems/tree/main/week05_fast_pipelines