файл эффективности 22

#ФКН #ШАД На гитхабе курса появились материалы недели по FSDP, а также домашнее задание по этой теме. В задании есть бонус, за который можно получить до 3 бонусных баллов в блоке по large-scale обучению.

Дедлайн — 06.03 08:00MSK, страница в LMS появится в ближайшее время

#ФКН #ШАД Обновили условие домашнего задания по FSDP: задания остались теми же, но теперь в README есть ссылка на данные и необходимый токенайзер

#ФКН Перезапустили сервер с GPU, его новый IP-адрес 84.201.136.206

#ФКН #ШАД На гитхабе курса появились материалы недели по разработке веб-сервисов, а также домашнее задание по этой теме. В задании есть бонус в 1 балл, который увеличит вашу оценку в блоке по инференсу.

Дедлайн — 14.03 08:00MSK, страница в LMS появится в ближайшее время

#ФКН #ШАД Обратите внимание на особый формат сдачи ДЗ, подробно описанный в репозитории.

Помимо сдачи задания в LMS, вас ожидает устная защита решения. Мы выберем не менее 40 случайных студентов для защиты, которая будет представлять из себя устное собеседование на 10-15 минут в Zoom с вопросами о вашем коде и возможными дополнительными вопросами по материалам недели. Конкретные даты защит и список студентов будет опубликован позднее.

#ФКН #ШАД На гитхабе курса появились материалы недели по арифметике глубинного обучения, а также домашнее задание по этой теме. В задании есть бонус, за который можно получить до 4 дополнительных баллов в блоке по large-scale обучению.

Дедлайн — 19.03 08:00MSK, страница в LMS появится в ближайшее время

#ФКН #ШАД На гитхабе курса появились материалы недели 8 и домашнее задание по системам для инференса. В задании есть бонус, за который можно получить до 2 дополнительных баллов в блоке по инференсу.

Дедлайн — 22.03 08:00MSK, страница в LMS появится в ближайшее время

#ФКН #ШАД В домашнем задании по неделе 7 обновлены тесты из директории scripts/ci, а также незначительно обновлено условие (исправлены опечатки). Тест никак не повлияет на правильные решения, но может помочь вам подсветить неправильные.

Просим всех сдавших задание обновить тесты у себя в репозитории и прогнать CI еще раз. Это облегчит нам проверку и избавит вас от неожиданно снятых баллов за неверное решение.

#ФКН #ШАД На гитхабе курса появились материалы этой недели, а также домашнее задание по квантизации и спекулятивному декодингу. В задании есть бонус, решив который, можно получить до 4 бонусных баллов в блоке по инференсу.

Дедлайн — 24.03 08:00MSK, страница в LMS появится в ближайшее время

#ФКН #ШАД На семинаре 18 марта мы устроим блиц-демонстрации ряда open-source проектов на тематику курса, за которые можно будет получить бонусные баллы (до 0.5 в финальную оценку до округления).

Список проектов находится по ссылке https://docs.google.com/document/d/1Xx7IgZ_mMxkoCyI5bjS5TTjs-r0Q5TD2PJbg6WeqoI8

Каждое выступление должно длиться до 6 минут, из которых две занимает рассказ о краткой сути проекта (что это и чем полезно), а четыре — демонстрация какого-то простого примера на основе этого проекта, который покажет нам, почему им нужно пользоваться. При проведении демонстрации обязательно нужно будет показывать свой экран с работающим примером остальным участникам семинара; сам код демонстрации должен быть выложен в открытый репозиторий до 23:59мск 17 марта вместе с инструкцией по запуску в README, а ссылка на него — отправлена в чат курса. Код может быть вдохновлён туториалами или примерами из той библиотеки, про которую вы будете рассказывать, но необходимо его осмыслить и упростить, чтобы ваша демонстрация умещалась в 4 минуты.

Всего за демку можно будет получить от 0 до 5 баллов, которые потом линейно отмасштабируются в бонусы. Система оценивания следующая:
2/5 — рассказ (штрафуется выход за временные рамки)
2/5 — демонстрация (штрафуются выход за временные рамки, несодержательность или использование готовых примеров вместо своего кода)
1/5 — наличие публичного репозитория с README и инструкциями по запуску в установленное время

Максимум на блиц сможет записаться 6 человек с ФКН и 6 человек из ШАД. Попадут первые записавшиеся, запись двух людей на один проект не допускается. В связи с ограниченным числом слотов крайне не рекомендуем записываться, если вы не уверены, что сможете подготовиться (возможны штрафы, если не подготовитесь). Форма для записи откроется 15 марта в 18:00MSK

#ФКН #ШАД В домашнем задании по неделе 6 пункт 1.2 теперь разбит на подпункты. Фьюз QKV является обязательной частью задания и необходим для прохождения e2e-теста. Остальные два подпункта опциональные (стоят 0.75 баллов в сумме) и не влияют на дальнейшие тесты. Пороги на точность в этом задании также немного ослаблены.

В дополнение к этому мы поправили конфигурацию для бенчмарка, чтобы он совпадал с параметрами для e2e-теста

#ФКН #ШАД Для одной из домашних работ по неделям 6, 8 или 9 можно сдать решение вне дедлайна, но не позднее 28 марта 08:00 MSK.

Чтобы воспользоваться этим правом, вам нужно будет отправить свою работу в задание в LMS (скоро добавим) и указать на исходной странице задания, что сдали его вне дедлайна. Если вы уже отправляли одно из прошлых заданий вне дедлайна, вы всё ещё сможете применить новое правило. Другими словами, теперь мы разрешаем сдать работу после дедлайна 2 раза за курс.

#ФКН #ШАД Форма для записи на блиц: https://forms.gle/obuscZSyqAD1rN1c6

Помимо проекта и вашего имени нужно ещё указать ссылку на профиль в LMS, чтобы мы потом вас не потеряли. Обратим ещё раз внимание на то, что до 23:59 дня перед семинаром нужно будет скинуть в чат ссылку на код своей демонстрации

А здесь можно смотреть таблицу записавшихся, чтобы не брать уже занятый проект: https://docs.google.com/spreadsheets/d/1EfwLg4AHvLrMys6py2big-jG0MAWujCu_RNkLQNzmoQ/edit?usp=sharing

#ФКН #ШАД На заключительном занятии курса (18 марта) пройдёт гостевая лекция от Sami Jaghouar, Head of Research в Prime Intellect.

Title: Systems and Algorithms for Agentic RL Training

Abstract: Scaling reinforcement learning for agentic settings requires asynchronous RL, because long, variable rollouts and tool-driven interaction patterns break the assumptions that make classic RL pipelines efficient. We’ll do a deep dive into the algorithmic and systems implications of async agentic training.

Лекция пройдёт после семинара, начало в 20:00мск. Семинар начнется примерно в 18:20, продлится до 19:40. Будем рады всех видеть!