Классификация задач в сфере образования, где можно использовать машинное обучение и ИИ (v0.1)

Задачи:
• Скоринг потенциальных программ
• Сегментирование клиентов (и гипотезы по ним маркетологам)
• Оценивание эффективности обучения
• Распределение денег по медиамиксу
• Улучшение лендов (повышение конверсий)
• Персональный тьютор
• Многомодальное обучение (аудио, видео, тесты)
• Автоматизация составления (открытых/деятельностных) заданий
• Автоматизация оценивания (открытых/деятельностных) заданий

Сложности:
• Плохо собираются данные, мало что измеряется, мало данных
• Мало ML и продуктовой экспертизы внутри (мало кто умеет в метрики и мало кто хочет в продуктивность/эффективность)
• Редкие запуски (раз в год в высшем образовании)
• Сложно тратить деньги на сторонние решения
• Много акторов в процессе внедрения (ИТ, факультет, дирекция по образованию,…)

Кейс формирования линейки (образовательных) продуктов

Задача:
Вышка Онлайн осенью 2023 года должна была сформировать линейку магистратур, которые будут запускаться в 2024 году.

Конфликт:
Запуск новой магистратуры - дорого (несколько млн.руб. инвестиций в создание, а потом в маркетинг), поэтому хочется запускать только востребованные программы, т.е. программы с большим набором студентов (пороговые значения набора можно взять из юнит-экономики программ - например при каком наборе программа окупается в первый же год реализации).

Решение:
Обучили ML-модель на исторических данных по наборам, признаки - направления программ, плановые цифры набора, стоимость, год запуска и др., целевой признак - число человек в реальном/фактическом наборе. Научились по метрике MAE предсказывать наборы лучше, чем это делает приемная комиссия, нашли в весах моделей (коэффициенты у линейной регрессии) контринтуитивные инсайты (например что единственное направление программ, которое не пессимизирует набор - психология).

Ссылки:
https://secrets.tinkoff.ru/blogi-kompanij/bolshie-dannye-v-obrazovanii/
https://studyonline.hse.ru
https://en.wikipedia.org/wiki/Mean_absolute_error

К кому за подробностями:
https://t.me/iasonov

#кейс #образование #machinelearning

Выдвигая гипотезы не забываем о фальсифицируемости

Учеными давно выработан подход к тому, как познавать мир:
1. Придумать теорию.
2. Исходя из предсказаний теории сформулировать проверяемые гипотезы, которые могут теорию подтвердить (назовем "П-гипотезы") и опровергнуть ("О-гипотезы"). Желательно, чтобы П-гипотезы выходили за границы ранее известных теорий (как предсказание орбиты Меркурия общей теорией относительности).
3. Провести эксперименты, проверив гипотезы из п.2.

Какие возможны исходы:
* П-гипотезы подтверждаются, О-гипотезы не подтверждаются = теория имеет право на жизнь (не исключая того, что она может быть опровергнута/уточнена в будущем).
* В остальных трех случаях теория точно не верна, т.к. или ожидаемый исход не получен (П-гипотеза не верна), или получено опровержение (О-гипотеза верна).

К чему я?
Важно не забывать, что размышляя в терминах продуктовых/управленческих гипотез надо думать не только о том, какие наблюдения (признаки/сведения/...) подтвердят ваше представление о мире (клиенте/продукте/...), но и о том, какие наблюдения могут его опровергнуть.

Привет Попперу!

Чему футбольная аналитика может научить успешные организации

В футболе есть поверье, что итоговая турнирная таблица не врет, т.е. что самые высокие места занимают самые сильные и достойные команды. Однако, если смотреть на игру через призму статистики и теории вероятности, то в футболе немалая часть результата зависит от случая.

Чем это наблюдение может быть полезным для нас с вами в контексте принятия решений на основе данных:
* важно объективно анализировать свой успех (а не только неуспех) // когда бизнес не выполняет план, то обычно идет разбор полетов и работа над тем, как улучшить свои результаты, НО! если бизнес план перевыполняет то разбор полетов из позиции конструктивной критики случается не всегда, в то время как успех может оказаться случайным выбросом, а значит не стоит рассчитывать на его повторение в будущем, иначе можно загнать себя в рецессию/кризис (например как в ИТ было во время "ковидной лихорадки" - набрали людей, а потом пришлось увольнять сотрудников десятками тысяч)
* важно выбирать расширенный перечень метрик для измерения // прибыль и выручка показывают только вершину айсберга, а чтобы объективно сравнивать себя с конкурентами желательно копать глубже - смотреть на метрики отвалов/удержания клиентов, отзывы клиентов, численность штата, затраты на единицу продукта, стоимость привлечения клиентов,...; к сожалению далеко не на всех рынках подобные данные доступны публично, поэтому выходом может быть дружба или конкурентная разведка

Как считаете, сильно успехи вашего бизнеса зависят от случайностей/рынка/черных лебедей?

--
What Football Analytics can Teach Successful Organisations by Rasmus Ankersen (если начало звучит скучно, то рекомендую просмотр сразу с 4:34)

Кейс контроля качества на строительных объектах

Задача:
Выявлять несоответствия строительным нормам и стандартам, а также обнаруживать опасные ситуации

Решение:
Разработали систему видеомониторинга, использующую машинное обучение для анализа видеопотоков с камер на строительных площадках. Система способна автоматически определять опасные ситуации и несоответствие нормам/стандартам, что затем транслируется в управленческие решения.

Результаты:
Внедрение системы позволило снизить количество дефектов на 20% и уменьшить количество несчастных случаев на 15%, что привело к значительной экономии затрат на исправление ошибок и повысило общую безопасность на объектах.

К кому за подробностями:
t.me/paradokermr (Родион Матюхин, директор цифровой трансформации ООО "Реконструкция")

#строительство #computervision #кейс