файл эффективности 19

#ФКН #ШАД На гитхабе курса появились материалы этой недели, а также домашнее задание по эффективному обучению и профайлингу кода. За задание можно получить больше 10 баллов, чтобы увеличить свою оценку за блок по пайплайнам обучения. Дедлайн — 09.02 08:00MSK, страница для сдачи появится в ближайшее время

файл эффективности 20

#ФКН #ШАД На гитхабе курса появились материалы прошлой недели, а также домашнее задание по data-parallel training. В задании есть бонус, решив который, можно получить до 3 бонусных баллов в блоке по распределенному обучению.

Дедлайн — 16.02 08:00MSK, страница в LMS появится в ближайшее время

#ФКН Всем студентам, записанным на курс от ФКН и заполнившим форму, в 12:00 ушло письмо на почту @edu.hse.ru с инструкциями для доступа к LMS. Если вы не получили письмо, напишите Вале @vbroner

Доступ к серверу и DataSphere предоставим в ближайшее время, stay tuned!

#ФКН Мы создали GPU-сервер и отправили тем, кто запрашивал к нему доступ, на корпоративную почту письмо с адресом и инструкциями по подключению.

Также в течение сегодняшнего дня вам придёт инвайт в организацию в Яндекс.Облаке. Чтобы вас смогли добавить в сообществе в DataSphere, пожалуйста, примите этот инвайт до завтра

#ФКН #ШАД Обновили формулировку задачи 2 домашнего задания в week02:
• Требуется прогнать одну полную эпоху по обучающим данным, но без backward pass
• Во всех пунктах по умолчанию можно исключать последовательности длиннее 640 токенов. Если вы уже сделали пункты 1–3 через truncation, можно оставить их как есть, если вы честно сравните скорость работы методов с учетом разного количества данных

файл эффективности 21

#ФКН #ШАД На гитхабе курса появились материалы недели 4 и домашнее задание (часть 1, часть 2) по обучению больших нейросетей

Дедлайн — 27.02 08:00MSK, страница для сдачи в LMS появится в ближайшее время

файл эффективности 22

#ФКН #ШАД На гитхабе курса появились материалы недели по FSDP, а также домашнее задание по этой теме. В задании есть бонус, за который можно получить до 3 бонусных баллов в блоке по large-scale обучению.

Дедлайн — 06.03 08:00MSK, страница в LMS появится в ближайшее время

#ФКН #ШАД Обновили условие домашнего задания по FSDP: задания остались теми же, но теперь в README есть ссылка на данные и необходимый токенайзер

#ФКН Перезапустили сервер с GPU, его новый IP-адрес 84.201.136.206

#ФКН #ШАД На гитхабе курса появились материалы недели по разработке веб-сервисов, а также домашнее задание по этой теме. В задании есть бонус в 1 балл, который увеличит вашу оценку в блоке по инференсу.

Дедлайн — 14.03 08:00MSK, страница в LMS появится в ближайшее время

#ФКН #ШАД Обратите внимание на особый формат сдачи ДЗ, подробно описанный в репозитории.

Помимо сдачи задания в LMS, вас ожидает устная защита решения. Мы выберем не менее 40 случайных студентов для защиты, которая будет представлять из себя устное собеседование на 10-15 минут в Zoom с вопросами о вашем коде и возможными дополнительными вопросами по материалам недели. Конкретные даты защит и список студентов будет опубликован позднее.

#ФКН #ШАД На гитхабе курса появились материалы недели по арифметике глубинного обучения, а также домашнее задание по этой теме. В задании есть бонус, за который можно получить до 4 дополнительных баллов в блоке по large-scale обучению.

Дедлайн — 19.03 08:00MSK, страница в LMS появится в ближайшее время

#ФКН #ШАД На гитхабе курса появились материалы недели 8 и домашнее задание по системам для инференса. В задании есть бонус, за который можно получить до 2 дополнительных баллов в блоке по инференсу.

Дедлайн — 22.03 08:00MSK, страница в LMS появится в ближайшее время

#ФКН #ШАД В домашнем задании по неделе 7 обновлены тесты из директории scripts/ci, а также незначительно обновлено условие (исправлены опечатки). Тест никак не повлияет на правильные решения, но может помочь вам подсветить неправильные.

Просим всех сдавших задание обновить тесты у себя в репозитории и прогнать CI еще раз. Это облегчит нам проверку и избавит вас от неожиданно снятых баллов за неверное решение.

#ФКН #ШАД На гитхабе курса появились материалы этой недели, а также домашнее задание по квантизации и спекулятивному декодингу. В задании есть бонус, решив который, можно получить до 4 бонусных баллов в блоке по инференсу.

Дедлайн — 24.03 08:00MSK, страница в LMS появится в ближайшее время

#ФКН #ШАД На семинаре 18 марта мы устроим блиц-демонстрации ряда open-source проектов на тематику курса, за которые можно будет получить бонусные баллы (до 0.5 в финальную оценку до округления).

Список проектов находится по ссылке https://docs.google.com/document/d/1Xx7IgZ_mMxkoCyI5bjS5TTjs-r0Q5TD2PJbg6WeqoI8

Каждое выступление должно длиться до 6 минут, из которых две занимает рассказ о краткой сути проекта (что это и чем полезно), а четыре — демонстрация какого-то простого примера на основе этого проекта, который покажет нам, почему им нужно пользоваться. При проведении демонстрации обязательно нужно будет показывать свой экран с работающим примером остальным участникам семинара; сам код демонстрации должен быть выложен в открытый репозиторий до 23:59мск 17 марта вместе с инструкцией по запуску в README, а ссылка на него — отправлена в чат курса. Код может быть вдохновлён туториалами или примерами из той библиотеки, про которую вы будете рассказывать, но необходимо его осмыслить и упростить, чтобы ваша демонстрация умещалась в 4 минуты.

Всего за демку можно будет получить от 0 до 5 баллов, которые потом линейно отмасштабируются в бонусы. Система оценивания следующая:
2/5 — рассказ (штрафуется выход за временные рамки)
2/5 — демонстрация (штрафуются выход за временные рамки, несодержательность или использование готовых примеров вместо своего кода)
1/5 — наличие публичного репозитория с README и инструкциями по запуску в установленное время

Максимум на блиц сможет записаться 6 человек с ФКН и 6 человек из ШАД. Попадут первые записавшиеся, запись двух людей на один проект не допускается. В связи с ограниченным числом слотов крайне не рекомендуем записываться, если вы не уверены, что сможете подготовиться (возможны штрафы, если не подготовитесь). Форма для записи откроется 15 марта в 18:00MSK

#ФКН #ШАД В домашнем задании по неделе 6 пункт 1.2 теперь разбит на подпункты. Фьюз QKV является обязательной частью задания и необходим для прохождения e2e-теста. Остальные два подпункта опциональные (стоят 0.75 баллов в сумме) и не влияют на дальнейшие тесты. Пороги на точность в этом задании также немного ослаблены.

В дополнение к этому мы поправили конфигурацию для бенчмарка, чтобы он совпадал с параметрами для e2e-теста