Классификация моделей машинного обучения

Классификация задач в сфере образования, где можно использовать машинное обучение и ИИ (v0.1)

Задачи:
• Скоринг потенциальных программ
• Сегментирование клиентов (и гипотезы по ним маркетологам)
• Оценивание эффективности обучения
• Распределение денег по медиамиксу
• Улучшение лендов (повышение конверсий)
• Персональный тьютор
• Многомодальное обучение (аудио, видео, тесты)
• Автоматизация составления (открытых/деятельностных) заданий
• Автоматизация оценивания (открытых/деятельностных) заданий

Сложности:
• Плохо собираются данные, мало что измеряется, мало данных
• Мало ML и продуктовой экспертизы внутри (мало кто умеет в метрики и мало кто хочет в продуктивность/эффективность)
• Редкие запуски (раз в год в высшем образовании)
• Сложно тратить деньги на сторонние решения
• Много акторов в процессе внедрения (ИТ, факультет, дирекция по образованию,…)

Кейс формирования линейки (образовательных) продуктов

Задача:
Вышка Онлайн осенью 2023 года должна была сформировать линейку магистратур, которые будут запускаться в 2024 году.

Конфликт:
Запуск новой магистратуры - дорого (несколько млн.руб. инвестиций в создание, а потом в маркетинг), поэтому хочется запускать только востребованные программы, т.е. программы с большим набором студентов (пороговые значения набора можно взять из юнит-экономики программ - например при каком наборе программа окупается в первый же год реализации).

Решение:
Обучили ML-модель на исторических данных по наборам, признаки - направления программ, плановые цифры набора, стоимость, год запуска и др., целевой признак - число человек в реальном/фактическом наборе. Научились по метрике MAE предсказывать наборы лучше, чем это делает приемная комиссия, нашли в весах моделей (коэффициенты у линейной регрессии) контринтуитивные инсайты (например что единственное направление программ, которое не пессимизирует набор - психология).

Ссылки:
https://secrets.tinkoff.ru/blogi-kompanij/bolshie-dannye-v-obrazovanii/
https://studyonline.hse.ru
https://en.wikipedia.org/wiki/Mean_absolute_error

К кому за подробностями:
https://t.me/iasonov

#кейс #образование #machinelearning

Выдвигая гипотезы не забываем о фальсифицируемости

Учеными давно выработан подход к тому, как познавать мир:
1. Придумать теорию.
2. Исходя из предсказаний теории сформулировать проверяемые гипотезы, которые могут теорию подтвердить (назовем "П-гипотезы") и опровергнуть ("О-гипотезы"). Желательно, чтобы П-гипотезы выходили за границы ранее известных теорий (как предсказание орбиты Меркурия общей теорией относительности).
3. Провести эксперименты, проверив гипотезы из п.2.

Какие возможны исходы:
* П-гипотезы подтверждаются, О-гипотезы не подтверждаются = теория имеет право на жизнь (не исключая того, что она может быть опровергнута/уточнена в будущем).
* В остальных трех случаях теория точно не верна, т.к. или ожидаемый исход не получен (П-гипотеза не верна), или получено опровержение (О-гипотеза верна).

К чему я?
Важно не забывать, что размышляя в терминах продуктовых/управленческих гипотез надо думать не только о том, какие наблюдения (признаки/сведения/...) подтвердят ваше представление о мире (клиенте/продукте/...), но и о том, какие наблюдения могут его опровергнуть.

Привет Попперу!