#ФКН #ШАД Подъехала долгожданная бонусная активность: на последних занятиях (26 марта 13:00 на ФКН и 11+18 апреля в ШАД) мы устроим блиц-демонстрации ряда open-source проектов с GitHub на тематику курса, за которые можно будет получить бонусные баллы (до 0.5 в итог на ФКН и до 3 «обычных» баллов в ШАД).
Список проектов находится по ссылке https://docs.google.com/document/d/1Qt1MnrVyEqVDjyG8hzeziLouLEjmdxroGLOqJ1VVm-o/edit?usp=sharing
Каждое выступление должно длиться до 6 минут, из которых две занимает рассказ о краткой сути проекта (что это и чем полезно), а четыре — демонстрация какого-то простого примера на основе этого проекта, который покажет нам, почему им нужно пользоваться. При проведении демонстрации обязательно нужно будет показывать свой экран с работающим примером остальным участникам семинара; сам код демонстрации должен быть выложен в открытый репозиторий до 23:59 дня перед семинаром вместе с инструкцией по запуску в README, а ссылка на него — отправлена в чат курса. Код может быть вдохновлён туториалами или примерами из той библиотеки, про которую вы будете рассказывать, но необходимо его осмыслить и упростить, чтобы ваша демонстрация умещалась в 4 минуты.
Всего за демку можно будет получить от 0 до 5 баллов, которые потом линейно отмасштабируются в бонусы. Система оценивания следующая:
2/5 — рассказ (штрафуется выход за временные рамки)
2/5 — демонстрация (штрафуются выход за временные рамки, несодержательность или использование готовых примеров вместо своего кода)
1/5 — наличие публичного репозитория с README и инструкциями по запуску в установленное время
Максимум на блиц сможет записаться 10 человек с ФКН и 20 человек из ШАД, попадут первые записавшиеся, запись двух людей на один проект не допускается. В связи с ограниченностью числа слотов крайне не рекомендуется записываться, если вы не уверены, что сможете подготовиться. Форма для записи откроется 21 марта в 12:00MSK
Список проектов находится по ссылке https://docs.google.com/document/d/1Qt1MnrVyEqVDjyG8hzeziLouLEjmdxroGLOqJ1VVm-o/edit?usp=sharing
Каждое выступление должно длиться до 6 минут, из которых две занимает рассказ о краткой сути проекта (что это и чем полезно), а четыре — демонстрация какого-то простого примера на основе этого проекта, который покажет нам, почему им нужно пользоваться. При проведении демонстрации обязательно нужно будет показывать свой экран с работающим примером остальным участникам семинара; сам код демонстрации должен быть выложен в открытый репозиторий до 23:59 дня перед семинаром вместе с инструкцией по запуску в README, а ссылка на него — отправлена в чат курса. Код может быть вдохновлён туториалами или примерами из той библиотеки, про которую вы будете рассказывать, но необходимо его осмыслить и упростить, чтобы ваша демонстрация умещалась в 4 минуты.
Всего за демку можно будет получить от 0 до 5 баллов, которые потом линейно отмасштабируются в бонусы. Система оценивания следующая:
2/5 — рассказ (штрафуется выход за временные рамки)
2/5 — демонстрация (штрафуются выход за временные рамки, несодержательность или использование готовых примеров вместо своего кода)
1/5 — наличие публичного репозитория с README и инструкциями по запуску в установленное время
Максимум на блиц сможет записаться 10 человек с ФКН и 20 человек из ШАД, попадут первые записавшиеся, запись двух людей на один проект не допускается. В связи с ограниченностью числа слотов крайне не рекомендуется записываться, если вы не уверены, что сможете подготовиться. Форма для записи откроется 21 марта в 12:00MSK
Google Docs
EfficientDL: blitz demo projects
Distributed training https://github.com/facebookresearch/fairscale https://github.com/facebookresearch/moolib https://github.com/huggingface/accelerate https://github.com/BaguaSys/bagua Faster training https://github.com/bytedance/lightseq https://git…
#ФКН #ШАД Мы тут решили, что вам пока хватит мучений, а коллектив преподавателей устал вместе с вами, поэтому домашних заданий по неделям 7, 9 и 10 не будет
Как это влияет на оценивание:
Для ФКН: веса трёх «больших» домашних заданий (week02–04, 05, 06–08) в формуле итоговой оценки умножаются на 5/4.
Для ШАД: для «отлично» теперь нужно заработать 50 баллов, для «хорошо» — 35, для «удовлетворительно» — 25.
Изменения уже отражены на страницах курса на вики ФКН и в LMS ШАД.
Как это влияет на оценивание:
Для ФКН: веса трёх «больших» домашних заданий (week02–04, 05, 06–08) в формуле итоговой оценки умножаются на 5/4.
Для ШАД: для «отлично» теперь нужно заработать 50 баллов, для «хорошо» — 35, для «удовлетворительно» — 25.
Изменения уже отражены на страницах курса на вики ФКН и в LMS ШАД.
Efficient DL’22: объявления
#ФКН #ШАД Подъехала долгожданная бонусная активность: на последних занятиях (26 марта 13:00 на ФКН и 11+18 апреля в ШАД) мы устроим блиц-демонстрации ряда open-source проектов с GitHub на тематику курса, за которые можно будет получить бонусные баллы (до 0.5…
#ФКН #ШАД По поводу записи: она откроется по ссылке https://forms.gle/Ax3LGju2h4ZFHx459 в 12:00, помимо проекта и вашего имени потребуется ещё указать ссылку на профиль в Anytask или LMS, чтобы мы потом вас не потеряли. Чтобы не выбирать уже кем-то забитый репозиторий, ответы можно будет посмотреть тут https://docs.google.com/spreadsheets/d/1I34eTax_bSmBcsRH6VDWx32sGBaPMeiFPbtVUfy_Xvo/edit?usp=sharing
Google Docs
Efficient DL Systems: запись на блиц-демонстрации
Каждое выступление должно длиться до 6 минут, из которых две занимает рассказ о краткой сути проекта (что это и чем полезно), а четыре — демонстрация какого-то простого примера на основе этого проекта, который покажет нам, почему им нужно пользоваться. При…
#ШАД С учётом того, что наш курс довольно большой по количеству тем и заданий, мы утвердили вместе с кураторами его полноценный семестровый статус. Таким образом, можно спокойно отписаться от чего-нибудь ещё семестрового, что вам нравится поменьше, и по-прежнему закрыть это полугодие
#ФКН Сегодня ночью убью multi-GPU-машину, просьба эвакуировать все нужные данные до этого момента
Efficient DL’22: объявления
#ФКН #ШАД Подъехала долгожданная бонусная активность: на последних занятиях (26 марта 13:00 на ФКН и 11+18 апреля в ШАД) мы устроим блиц-демонстрации ряда open-source проектов с GitHub на тематику курса, за которые можно будет получить бонусные баллы (до 0.5…
#ФКН На самом деле в объявлении косяк и ссылки на репо надо прислать до 23:59 дня перед семинаром, но из-за нашей ошибки штрафов за сдачу завтра не будет. Давайте только условимся, что вы пришлёте ссылки после семинара, поскольку демонстрации в любом случае должны опираться на код из ваших репозиториев
Сейчас проходит блиц-демонстрация от студентов #ФКН по ссылке https://zoom.us/j/94770955938?pwd=eDE1UHRzblJsSUVDOGJHVG93eTJrUT09
А после этого по той же ссылке будет приглашенная лекция от Геннадия Пехименко (https://t.me/efficientdl_22/40)
А после этого по той же ссылке будет приглашенная лекция от Геннадия Пехименко (https://t.me/efficientdl_22/40)
Zoom Video
Join our Cloud HD Video Meeting
Zoom is the leader in modern enterprise video communications, with an easy, reliable cloud platform for video and audio conferencing, chat, and webinars across mobile, desktop, and room systems. Zoom Rooms is the original software-based conference room solution…
#ШАД В LMS появилось последнее домашнее задание, дедлайн — 15 апреля
#ФКН #ШАД Мы потихоньку начали проверять ваши домашние задания, и чтобы помочь себе и вам с народной забавой «подсчет накопа», сделали вот такую табличку, в которой будут высчитываться итоговые оценки:
https://docs.google.com/spreadsheets/d/1vOIlPFhtFIxETSoGd-mu43KfuEuOdjultqk4FEEMOf8/edit?usp=sharing
Зелёным заголовком помечены целиком проверенные домашки, по мере проверки таблица будет обновляться. Формула и табличка для ШАДа появятся чуть позже, как только мы очухаемся после проверки домашек у ФКН
https://docs.google.com/spreadsheets/d/1vOIlPFhtFIxETSoGd-mu43KfuEuOdjultqk4FEEMOf8/edit?usp=sharing
Зелёным заголовком помечены целиком проверенные домашки, по мере проверки таблица будет обновляться. Формула и табличка для ШАДа появятся чуть позже, как только мы очухаемся после проверки домашек у ФКН
Google Docs
EfficientDL: final grades
Efficient DL’22: объявления
#ФКН #ШАД Мы потихоньку начали проверять ваши домашние задания, и чтобы помочь себе и вам с народной забавой «подсчет накопа», сделали вот такую табличку, в которой будут высчитываться итоговые оценки: https://docs.google.com/spreadsheets/d/1vOIlPFhtFIxETSoGd…
#ФКН Таблица с оценками финализирована, сегодня вечером ведомость уйдет в УО. Проверьте на всякий случай, что оценка не станет для вас сюрпризом
Efficient DL’22: объявления
#ФКН #ШАД Подъехала долгожданная бонусная активность: на последних занятиях (26 марта 13:00 на ФКН и 11+18 апреля в ШАД) мы устроим блиц-демонстрации ряда open-source проектов с GitHub на тематику курса, за которые можно будет получить бонусные баллы (до 0.5…
#ШАД Так как на демки записалось пока что всего три человека, сегодня занятие мы проводить не будем. Напомню, что есть возможность получить бонусы за демонстрацию того, что опенсорсный код не работает
Один из наших студентов Станислав Белясов написал хороший рекап материалов 4 (и кусочка 5) недели. Очень рады такому контенту, если кто зареган на медиуме, призываю полайкать!
https://bestasoff.medium.com/how-to-fine-tune-very-large-model-if-it-doesnt-fit-on-your-gpu-3561e50859af
https://bestasoff.medium.com/how-to-fine-tune-very-large-model-if-it-doesnt-fit-on-your-gpu-3561e50859af
Medium
How to fine tune VERY large model if it doesn’t fit on your GPU
Memory-efficient techniques to defeat the problem of “CUDA memory error..” during training
#ШАД В понедельник (18 апреля) перед демками у нас состоится гостевая лекция, которую прочитает Иван Комаров — разработчик отдела NLP в Яндексе. Лекция будет сильно более глубоким и практическим погружением в архитектуру GPU и профайлинг, чем на week01/week05, поэтому всячески рекомендую послушать и помучать лектора вопросами, особенно если вам захотелось узнать больше после тех занятий.
Эффективное применение DL-моделей на (GP)GPU
Когда обученная DL-модель начинает использоваться в продакшене под нагрузкой, имеет смысл оптимизировать используемые в ней примитивы так, чтобы они эффективно использовали мощности видеокарты. Часто так можно ускорить применение модели на десятки процентов, а иногда и в разы.
На лекции я сначала в целом опишу вычислительную модель современных GPU и расскажу, какие ресурсы мы хотим эффективно использовать. Затем на примере примитивов из современных нейросетей покажу, как работать с профайлерами и определять, что именно имеет смысл оптимизировать. И наконец, разберу CUDA-реализацию конкретного примитива из одного из существующих DL-фреймворков и продемонстрирую, какие трюки в ней используются.
Время обычное, ссылку на трансляцию скину в канал
Эффективное применение DL-моделей на (GP)GPU
Когда обученная DL-модель начинает использоваться в продакшене под нагрузкой, имеет смысл оптимизировать используемые в ней примитивы так, чтобы они эффективно использовали мощности видеокарты. Часто так можно ускорить применение модели на десятки процентов, а иногда и в разы.
На лекции я сначала в целом опишу вычислительную модель современных GPU и расскажу, какие ресурсы мы хотим эффективно использовать. Затем на примере примитивов из современных нейросетей покажу, как работать с профайлерами и определять, что именно имеет смысл оптимизировать. И наконец, разберу CUDA-реализацию конкретного примитива из одного из существующих DL-фреймворков и продемонстрирую, какие трюки в ней используются.
Время обычное, ссылку на трансляцию скину в канал
Efficient DL’22: объявления
#ШАД В понедельник (18 апреля) перед демками у нас состоится гостевая лекция, которую прочитает Иван Комаров — разработчик отдела NLP в Яндексе. Лекция будет сильно более глубоким и практическим погружением в архитектуру GPU и профайлинг, чем на week01/week05…
Ссылка на лекцию: https://yandex.zoom.us/j/99970578573
Zoom Video
Join our Cloud HD Video Meeting
Zoom is the leader in modern enterprise video communications, with an easy, reliable cloud platform for video and audio conferencing, chat, and webinars across mobile, desktop, and room systems. Zoom Rooms is the original software-based conference room solution…
#ФКН #ШАД Пользуясь случаем, ещё скажу, что мы очень хотим видеть вас в качестве ассистентов или даже семинаристов на следующей итерации нашего курса!
Если вам понравилось то, что мы читаем, и вы хотели бы приложить руку к курсу в следующем году, сделав его ещёбольнее лучше — смело пишите @mryab
Либо можете посоветовать шарящих знакомых, которым такое было бы интересно, такому тоже будем рады
Если вам понравилось то, что мы читаем, и вы хотели бы приложить руку к курсу в следующем году, сделав его ещё
Либо можете посоветовать шарящих знакомых, которым такое было бы интересно, такому тоже будем рады
#ШАД В ведомости (https://docs.google.com/spreadsheets/d/1vOIlPFhtFIxETSoGd-mu43KfuEuOdjultqk4FEEMOf8/edit#gid=0) появились оценки у всех второкурсников и почти у всех первокурсников. Мы решили немного снизить пороги на хорошую оценку и на зачёт — теперь они составляют 30 и 20 баллов соответственно. Просьба убедиться, что сумма ваших баллов посчитана как надо, а сама оценка соответствует новым порогам, и сообщить о найденных косяках в ближайшее время
Также напоминаю, что мы ждём ваш фидбек по курсу (https://t.me/efficientdl_22/37) и заявки на ассистентство в следующем году (https://t.me/efficientdl_22/60)
Также напоминаю, что мы ждём ваш фидбек по курсу (https://t.me/efficientdl_22/37) и заявки на ассистентство в следующем году (https://t.me/efficientdl_22/60)
#ШАД Если вы учитесь на первом курсе и у вас не хватило баллов на зачёт, то можно досдать (исправить ошибки либо сделать с нуля) одну любую домашку на ваш выбор и добрать таким образом баллы. Чтобы мы успели вас проверить, нужно сдать это задание до 30 июня