#ФКН Также на вики курса появился инвайт в Anytask, а это значит, что пора фиксировать дедлайны: по неделям 2 и 3 это 20 февраля 08:00MSK (чуть больше 2 недель), по неделе 4 — 2 недели после её выдачи + eps

#ФКН Сегодняшнее занятие будет посвящено эффективным пайплайнам обучения:
— FP16, Mixed Precision Training и всё вокруг этого
— Оптимальное чтение и подготовка данных
— Профайлинг кода в целом и DL-кода в частности

Стартуем где-то через 5-7 минут, не пропустите!

zxc лектор vs deadinside семинарист играют на проверку домашек и отвечают на ваши вопросы в перерыве (продлится минут 20-30):
https://www.twitch.tv/average_teaching_enjoyer

Про то, как включить (или выключить) tf32 на Ampere-картах: https://pytorch.org/docs/stable/notes/cuda.html#tensorfloat-32-tf32-on-ampere-devices

#ФКН Студентам Вышки: если вы хотите получить доступ к ресурсам на Яндекс.Облаке для домашних заданий, заполните форму ниже
https://forms.gle/bspQ4nw9dRZjBWFfA

Дедлайн заполнения: 14 февраля, 23:59

Вот ещё видос про профайлинг GPU-кода, там есть побольше деталей насчет Nsight Systems/DLProf/Nsight Compute. Даже про инференс немного рассказывается
https://www.youtube.com/watch?v=ySGIaOb_RDY

#ФКН Выложил на гитхаб чуть более причёсанную версию ноутбука и скриптов с семинара пятой недели, плюс добавил туда текстовые описания происходящего для тех, кого не было.

https://github.com/mryab/efficient-dl-systems/tree/main/week05_fast_pipelines

#ФКН В Anytask и на гитхабе появилось домашнее задание по 4 неделе. Дедлайн — 1 марта; есть много бонусов для любителей больших моделей.

#ШАД В LMS появилось домашнее задание по 2 неделе (aka по текущему семинару). Дедлайн — 1 марта

#ФКН Записавшимся в форму для доступа к Датасфере и multi-GPU-серверу пришло письмо на корпоративную почту со всей информацией. В целом мы проверили, что доступы рабочие, но пишите в чат, если что-то сломалось

#ФКН В Anytask и на гитхабе появилось домашнее задание по 5-ой неделе. Дедлайн — 5 марта.

#ФКН Сейчас проходит лекция про основы деплоя и вывода в продакшн моделей на Python, не пропустите!

#ФКН Залил материалы лекции и дополнительные ссылки по 5 неделе в репозиторий: суммарно вышло сильно за 20 ссылок, поэтому если вам не хватило подробностей про профайлинг или тензорные ядра, советую ознакомиться

#ШАД В LMS появилось домашнее задание по 3 неделе, дедлайн — 9 марта. Обратите внимание на то, что часть формулировок была уточнена, чтобы у вас было меньше вопросов насчёт проверки корректности разных реализаций.

#ФКН В Anytask появилось домашнее задание по 6 неделе, дедлайн — 9 марта. У задания особый формат сдачи, поэтому советуем ознакомиться с ним пораньше

#ФКН Начинаем лекцию про инструменты для быстрого инференса нейросетей. Ключевые слова: Triton (который NVIDIA), ONNX, TorchScript, в конце даже немножко JavaScript

#ФКН #ШАД Все активные дедлайны сдвинуты на неделю вперёд

#ФКН Завтрашняя лекция (про сжатие моделей и другие несофтовые методы ускорения инференса) переносится с этой недели на следующую

#ШАД Сегодня пройдёт занятие про mixed precision, эффективную работу с обучающими данными и профайлинг моделей; и лекция, и семинар будут по Zoom. Домашку по предыдущей неделе тоже скоро выложим

#ШАД В LMS появилось домашнее задание по 4 неделе, дедлайн — 29 марта

#ШАД #ФКН в домашке по пятой неделе, в первой части, действительно вышло некорректно с тем, что на конце сетки стоит релу, а мы там ожидаем логиты. Для того, чтобы словить эффекты от отсутствия loss scaling нужны модели, которые доучиваются с довольно длинным пологим хвостом лосса, чтобы маленькие значения в градиентах и правда умирали.

Давайте считать это упражнением и оставим модель как есть. В таком сеттинге отсутствие скейлинга будет заметно.

Согласен, что вышел не real world example, но для правильно примера, возможно, всё училось бы сильно дольше. Учтём на некст итерации этот косяк.ю.