Сегодня была самая-самая жесть, дальше будет легче

Из следующей лекции вы узнаете полезного
- как обучать большие модели на маленьких GPU с использованием распределённости, оперативки и какой-то матери
- научимся обучать с нуля миллиард или файнтюнить самую большую публично-доступную GPT на колабе
- как сэкономить 2-3x денег на распределённом обучении с помощью spot instances
- как обучали самые большие на данный момент нейросети
- как эффективно обучать нейросети через интернет

И на этом мы закончим с распределённостью и начнётся эффективное fp16, пайплайны для препроцессинга и всё-всё-всё

Напоминайка - через что-то типа 5 минут начнётся лекция

Как и обещали, залили в репозиторий семинар и домашку по 3 неделе. Она состоит из трёх обязательных частей и одной бонусной
https://github.com/mryab/efficient-dl-systems/tree/main/week03_data_parallel

#ФКН Также на вики курса появился инвайт в Anytask, а это значит, что пора фиксировать дедлайны: по неделям 2 и 3 это 20 февраля 08:00MSK (чуть больше 2 недель), по неделе 4 — 2 недели после её выдачи + eps

#ФКН Сегодняшнее занятие будет посвящено эффективным пайплайнам обучения:
— FP16, Mixed Precision Training и всё вокруг этого
— Оптимальное чтение и подготовка данных
— Профайлинг кода в целом и DL-кода в частности

Стартуем где-то через 5-7 минут, не пропустите!

zxc лектор vs deadinside семинарист играют на проверку домашек и отвечают на ваши вопросы в перерыве (продлится минут 20-30):
https://www.twitch.tv/average_teaching_enjoyer

Про то, как включить (или выключить) tf32 на Ampere-картах: https://pytorch.org/docs/stable/notes/cuda.html#tensorfloat-32-tf32-on-ampere-devices

#ФКН Студентам Вышки: если вы хотите получить доступ к ресурсам на Яндекс.Облаке для домашних заданий, заполните форму ниже
https://forms.gle/bspQ4nw9dRZjBWFfA

Дедлайн заполнения: 14 февраля, 23:59

Вот ещё видос про профайлинг GPU-кода, там есть побольше деталей насчет Nsight Systems/DLProf/Nsight Compute. Даже про инференс немного рассказывается
https://www.youtube.com/watch?v=ySGIaOb_RDY

#ФКН Выложил на гитхаб чуть более причёсанную версию ноутбука и скриптов с семинара пятой недели, плюс добавил туда текстовые описания происходящего для тех, кого не было.

https://github.com/mryab/efficient-dl-systems/tree/main/week05_fast_pipelines

#ФКН В Anytask и на гитхабе появилось домашнее задание по 4 неделе. Дедлайн — 1 марта; есть много бонусов для любителей больших моделей.

#ШАД В LMS появилось домашнее задание по 2 неделе (aka по текущему семинару). Дедлайн — 1 марта

#ФКН Записавшимся в форму для доступа к Датасфере и multi-GPU-серверу пришло письмо на корпоративную почту со всей информацией. В целом мы проверили, что доступы рабочие, но пишите в чат, если что-то сломалось

#ФКН В Anytask и на гитхабе появилось домашнее задание по 5-ой неделе. Дедлайн — 5 марта.

#ФКН Сейчас проходит лекция про основы деплоя и вывода в продакшн моделей на Python, не пропустите!

#ФКН Залил материалы лекции и дополнительные ссылки по 5 неделе в репозиторий: суммарно вышло сильно за 20 ссылок, поэтому если вам не хватило подробностей про профайлинг или тензорные ядра, советую ознакомиться

#ШАД В LMS появилось домашнее задание по 3 неделе, дедлайн — 9 марта. Обратите внимание на то, что часть формулировок была уточнена, чтобы у вас было меньше вопросов насчёт проверки корректности разных реализаций.

#ФКН В Anytask появилось домашнее задание по 6 неделе, дедлайн — 9 марта. У задания особый формат сдачи, поэтому советуем ознакомиться с ним пораньше

#ФКН Начинаем лекцию про инструменты для быстрого инференса нейросетей. Ключевые слова: Triton (который NVIDIA), ONNX, TorchScript, в конце даже немножко JavaScript

#ФКН #ШАД Все активные дедлайны сдвинуты на неделю вперёд