#ФКН #ШАД

Вышел вышел вышел!

На гитхабе появилось последнее домашнее задание. Дедлайн — 24 марта 08:00 MSK.

#ШАД #ФКН На лекции 20 марта (в 18:00 по МСК) у нас будет приглашённый докладчик: Nicolas Patry из Hugging Face расскажет про их опыт оптимизации сервинга BLOOM на основе нового фреймворка для инференса языковых моделей, который они не так давно начали разрабатывать.

Optimizing the BLOOM inference API
Nicolas Patry, ML Engineer, Hugging Face

In this talk, we will discuss how https://github.com/huggingface/text-generation-inference was created. We will cover various Transformers optimization techniques linked to text generation (past keys/values caching, using custom kernels, Tensor Parallelism vs. Pipeline Parallelism). We will also overview how to orchestrate these optimizations in the context of an API server aiming to optimize for latency and how these optimizations interact with the model optimizations.

#ФКН #ШАД Запись на блиц доступна здесь: https://forms.gle/X5UapqJpLTVWZ7pH7. Помимо проекта и вашего имени нужно ещё указать ссылку на профиль в Anytask или LMS, чтобы мы потом вас не потеряли. Обращу ещё раз внимание на то, что до 23:59 дня перед семинаром нужно будет скинуть в чат ссылку на код своей демонстрации

Чтобы не выбирать уже кем-то забитый репозиторий, ответы можно посмотреть тут: https://docs.google.com/spreadsheets/d/1urrsC3-R6aLsPtHrBZUS5D363hV6UWmgra8uJD36aMA/edit?usp=sharing
(мой ответ не учитывается, естественно)

#ФКН #ШАД Дедлайн по week07 продлён, теперь это 18.03 17:59MSK

#ФКН #ШАД в домашнем задании по week09 формализован и ослаблен критерий сходимости обучения модели, добавлен небольшой комментарий по пункту 0 первой части ДЗ.

#ФКН #ШАД в домашнем задании по week09 уточнение формулировки задания 2.1.

#ФКН GPU-сервер погасят в течение этой недели, просьба утащить оттуда все нужные вам данные

#ФКН #ШАД На гитхабе появились материалы недели про решения для инференса моделей и слайды приглашенной лекции

#ФКН #ШАД Занятия по курсу кончились, и у вас, вероятно, накопилось множество впечатлений от произошедшего. Будем очень рады, если вы оставите свой фидбек в форме https://forms.gle/mDJ95rwskDuZhayDA по горячим следам: мы все прочитаем и учтем ваши замечания и пожелания в следующей итерации!

#ФКН #ШАД За ходом проверки заданий и выставлением оценок можно следить тут:
https://docs.google.com/spreadsheets/d/1N_kTKvEuTsbim8LacebkuN6-Ten2U3hoVh5M580GjPE/edit?usp=sharing

#ФКН Оценки на вашем листе ведомости окончательные, ведомость будет отправлена сегодня

Господа пересдающие, которые хотят пересдать седьмую неделю
Старая машина была убита и поэтому часть решений осталась непроверенной
Я поднял новую машину, вот она - http://retake.hareburrow.space/
Пришлите пожалуйста туда свои решения и отправьте ссылки в anytask
За выходные я планирую проверить все, что вы пришлете через эту новую тачку

Начинаю проверку пересдачи week07
Кто не успел отправить свое решение на новую машину http://retake.hareburrow.space/ - оценку за пересдачу за эту задачу не получат!
Так что бегите, у вас есть считанные мгновения, чтобы успеть, если еще нет

#ШАД В LMS поставлены оценки всем, чьи домашние задания полностью проверены или чья оценка от проверки оставшихся не улучшится. Остальным постараемся проверить задания в ближайшие дни

#ФКН #ШАД Если вы хотели бы принять участие в преподавании курса в этом году (или знаете кого-то, кому это может быть интересно) и с вами не связались за последнюю неделю — напишите плз @mryab, сейчас как раз продумываем план следующей итерации и будет полезно иметь дополнительный фидбек