#ШАД Добавили на страницу курса в LMS дополнительную информацию о правилах сдачи заданий, про которые говорилось на первой лекции

#ФКН #ШАД В домашнем задании week03 в section3 появился ещё один text emoji подсказчик.

#ФКН #ШАД На гитхаб курса выложены материалы занятия этой недели, а также опубликовано домашнее задание по обучению больших моделей.
Дедлайн — 12 марта 08:00 MSK, ссылки для сдачи появятся в скором времени

Сеньоры и сеньориты!
Мы стартуем наши занятия в течение 5 минут - https://yandex.zoom.us/j/93409097735

#ФКН #ШАД На гитхаб курса выложены материалы занятия этой недели, а также опубликовано домашнее задание по разработке веб-сервиса для применения моделей.
Дедлайн — 18 марта 08:00 MSK, ссылки, как всегда, скоро появятся

#ФКН #ШАД На гитхаб курса выложены записи по 7 неделе, а также добавлены небольшие пояснения в формулировку задания по week05

#ФКН Если вы записаны на курс и со стороны Вышки, и со стороны ШАД, можете сдавать домашки только в шадовскую LMS. При этом на всякий случай при сдаче пишите, что ещё записаны на ФКН, чтобы мы вас потом не потеряли

Be ready! Сегодня будет целых три часа, посвященных раскочегариванию машинок, чтобы делать афигенно быстрый инференс 🏃.
Не пропустите!

Господа!
Мы стартуем наши занятия в течение 5 минут - https://yandex.zoom.us/j/93409097735
Подключайтесь!

Miss me?

Сегодня на занятии обсуждаем кучу способов, которые помогут впихнуть свёртки в телефон, засунуть трансформер на CPU ноутбука юзера или просто сэкономить денег на AWS. Не проходим мимо!

Вот-вот начнём занятия. Подключайтесь.

https://yandex.zoom.us/j/93409097735

#ФКН #ШАД Подъехала долгожданная бонусная активность: на последних занятиях (20 марта 19:40 для ФКН и 27 марта 18:00 для ШАД) мы устроим блиц-демонстрации ряда open-source проектов с GitHub на тематику курса, за которые можно будет получить бонусные баллы (до 0.5 в финальную оценку до округления).

Список проектов находится по ссылке https://docs.google.com/document/d/1mcXQ5m1ZZynvPRDiY3-iWQ1k3IMrIQuBpUaT7kOAqh8/edit?usp=sharing

Каждое выступление должно длиться до 6 минут, из которых две занимает рассказ о краткой сути проекта (что это и чем полезно), а четыре — демонстрация какого-то простого примера на основе этого проекта, который покажет нам, почему им нужно пользоваться. При проведении демонстрации обязательно нужно будет показывать свой экран с работающим примером остальным участникам семинара; сам код демонстрации должен быть выложен в открытый репозиторий до 23:59 дня перед семинаром вместе с инструкцией по запуску в README, а ссылка на него — отправлена в чат курса. Код может быть вдохновлён туториалами или примерами из той библиотеки, про которую вы будете рассказывать, но необходимо его осмыслить и упростить, чтобы ваша демонстрация умещалась в 4 минуты.

Всего за демку можно будет получить от 0 до 5 баллов, которые потом линейно отмасштабируются в бонусы. Система оценивания следующая:
2/5 — рассказ (штрафуется выход за временные рамки)
2/5 — демонстрация (штрафуются выход за временные рамки, несодержательность или использование готовых примеров вместо своего кода)
1/5 — наличие публичного репозитория с README и инструкциями по запуску в установленное время

Максимум на блиц сможет записаться 10 человек с ФКН и 10 человек из ШАД, попадут первые записавшиеся, запись двух людей на один проект не допускается. В связи с ограниченностью числа слотов крайне не рекомендуется записываться, если вы не уверены, что сможете подготовиться. Форма для записи откроется 15 марта в 12:00MSK

О том, что будет на лекции, мы скоро объявим!

#ФКН #ШАД

Вышел вышел вышел!

На гитхабе появилось последнее домашнее задание. Дедлайн — 24 марта 08:00 MSK.

#ШАД #ФКН На лекции 20 марта (в 18:00 по МСК) у нас будет приглашённый докладчик: Nicolas Patry из Hugging Face расскажет про их опыт оптимизации сервинга BLOOM на основе нового фреймворка для инференса языковых моделей, который они не так давно начали разрабатывать.

Optimizing the BLOOM inference API
Nicolas Patry, ML Engineer, Hugging Face

In this talk, we will discuss how https://github.com/huggingface/text-generation-inference was created. We will cover various Transformers optimization techniques linked to text generation (past keys/values caching, using custom kernels, Tensor Parallelism vs. Pipeline Parallelism). We will also overview how to orchestrate these optimizations in the context of an API server aiming to optimize for latency and how these optimizations interact with the model optimizations.

#ФКН #ШАД Запись на блиц доступна здесь: https://forms.gle/X5UapqJpLTVWZ7pH7. Помимо проекта и вашего имени нужно ещё указать ссылку на профиль в Anytask или LMS, чтобы мы потом вас не потеряли. Обращу ещё раз внимание на то, что до 23:59 дня перед семинаром нужно будет скинуть в чат ссылку на код своей демонстрации

Чтобы не выбирать уже кем-то забитый репозиторий, ответы можно посмотреть тут: https://docs.google.com/spreadsheets/d/1urrsC3-R6aLsPtHrBZUS5D363hV6UWmgra8uJD36aMA/edit?usp=sharing
(мой ответ не учитывается, естественно)

#ФКН #ШАД Дедлайн по week07 продлён, теперь это 18.03 17:59MSK

#ФКН #ШАД в домашнем задании по week09 формализован и ослаблен критерий сходимости обучения модели, добавлен небольшой комментарий по пункту 0 первой части ДЗ.

#ФКН #ШАД в домашнем задании по week09 уточнение формулировки задания 2.1.

#ФКН GPU-сервер погасят в течение этой недели, просьба утащить оттуда все нужные вам данные

#ФКН #ШАД На гитхабе появились материалы недели про решения для инференса моделей и слайды приглашенной лекции