Приложение-гадалка - это утрированный пример. Там точность предсказания очевидно будет низкой, какой алгоритм не примени (если что, уже пытались).

Но есть более интересные предикторы.

Можно ли предсказывать балл на ЕГЭ, глядя на успеваемость ученика в течение года? Ну, пожалуй, можно.
А глядя на результаты его психологических тестов?
А можно ли предсказывать результаты экзамена по полу? расе? национальности? уровню дохода семьи? состоянию здоровья? ... Ох, какой неприятный вопрос. Потому что, увы, такие предикторы покажут точность выше, чем случайное угадывание.

Я исследовала данные ENEM (это бразильский ЕГЭ) за 2019 год. Организаторы ENEM опубликовали в открытом доступе все данные учеников: там честно указан пол, цвет кожи, город, уровень жизни и результаты экзамена. Нет только имён, всё анонимно. В таблице - данные о 2 миллионах учеников. И в этих данных нет цензуры: можно посчитать, что мальчики пишут экзамен на 9% лучше девочек; индейцы получают на 15% меньше баллов, чем белые; в мегаполисе Сан-Паулу результаты на 10% лучше, чем в городке Формоза.

Но это средние данные. Да, мальчики в среднем лучше знают математику, чем девочки. Но из этого не следует, что конкретный Габриель напишет экзамен лучше, чем конкретная Джулия (это самые популярные имена в Бразилии). Я могу выбрать из набора данных случайного Габриеля и продемонстрировать сотни тысяч девочек, которые умнее него.

Я написала программу, которая брала все доступные данные и пыталась угадать балл на экзамене. Алгоритм не спросил меня "ты нормальная вообще? тебя не отменят за такое?", а сделал бездушный прогноз. Не очень точный, но выше угадывания.

Я это делала как учебный проект, никакого применения не предполагала, поэтому - так можно. Но ведь кто-то может и всерьёз из подобного алгоритма сделать продукт.

Искусственному интеллекту всё равно, какой смысл у предикторов и откликов. Эксперту, который выбирает и трактует данные, должно быть не всё равно, это его этическая проблема - какие данные использовать и как трактовать результаты.

Резюмируя посты про этику и датасаенс.

В сфере образования предикторы бывают этичные и неэтичные.
Неэтичные - те, которые ученик не может изменить, его врождённые качества.
Пример неэтичного прогноза: ты мальчик, мальчики обычно пишут математику на 60+, значит и ты напишешь.
Этичные - те, на которые ученик может повлиять: текущая успеваемость, регулярность занятий.
Пример этичного прогноза: если ты будешь продолжать учиться, как сейчас, то напишешь на 60 баллов.

Из этичных прогнозов можно сделать выводы и повлиять на результат. Неэтичные вешают ярлык на человека.

Ещё раз подчеркну, что речь только про сферу образования, и про практическое применение машинного обучения. В другие сферы не лезу.
Например. Одна из самых популярных таблиц у будущих дата саентистов - список пассажиров Титаника. В списке - все личные данные каждого пассажира, а также отметка, выжил человек после крушения или нет. Когда студенты учатся писать программы, они берут этот список и пытаются по личным данным угадать выживших. Предикторы - врождённые качества. Этично? Да, наверное, потому что это упражнение без прикладного применения.

Люблю курсы по точным наукам, не люблю - по гуманитарным.

Прошла очередной курс по педагогике. Весь курс злилась на то, что у педагогов нет единой системы определений: когда методист говорит слова "знать", "понимать", "учебная цель" - смысл его слов зависит от того, из какой он методической тусовки и кто его любимый американский учёный. И это надо угадать по контексту.

Когда я училась у математиков, те использовали общепринятые термины, а если были спорные - определяли их в начале занятия. Вот бы гуманитариев этому научить.

Мой сомнительный лайфхак, как определить, есть ли у методиста базовое педагогическое образование, или он учился сразу новым концепциям и с самого начала в эдтехе:

- если он ставит ударение рефлЕксия, то учился в российском вузе;
- а если рефлексИя, то учился на онлайн-курсах или самоучка.

Как рэндом и рандом у айтишников.

Про обучение взрослых

Дэвид Колб придумал, что взрослые учатся так: получают опыт, обдумывают его, создают новые идеи на основе опыта, пробуют реализовать идею, получают опыт... и так по кругу. Это называется "цикл Колба".

Напишу об этом два поста: с похвалой и с критикой.

Цикл Колба - это часть конструктивистского подхода в обучении. В этом подходе мы считаем ученика за человека, а не за дрессируемое животное или машину, работающую по заданному алгоритму. Конструктивисты считают: мы не можем передать человеку знание, как мячик из рук в руки. Нам нужно, чтобы человек захотел это знание получить, встроил его в свою картину мира, сделал для себя полезные выводы, как-то изменился после обучения. Ученик - активный участник обучения, поэтому в цикле Колба есть этапы обдумывания, постановки собственного эксперимента.

Эти рассуждения очень полезны преподавателю, когда он придумывает урок, потому что заставляют задуматься об ученике, посмотреть на материал глазами ученика. Становится недостаточно встать перед учениками и прочитать лекцию, бросаясь готовыми выводами. Нужно запланировать время и условия для того, чтобы ученики обдумали услышанное, как-то к нему отнеслись.

Взрослые часто приходят на обучение с мыслью "да я уже умный и молодец, всё знаю лучше преподавателя", особенно если это курсы повышения (существующей) квалификации. И они будут рады, если им дадут высказаться. Преподаватель может организовать условия, в которых ученики будут сами думать, рассуждать, делиться выводами друг с другом. Сам препод при этом может дать задание и уйти пить чай - и обучение всё равно состоится, и ученики останутся в восторге.

Поэтому я считаю, что любые шаблоны, которые заставляют преподавателя думать об учениках как о людях, а не как о записывающих устройствах, - хороши и их должно быть больше.

Пост критики - в продолжение к предыдущему.

Не знаю, почему методисты решили, что нужно симулировать цикл Колба в рамках каждого занятия. По моим ощущениям, цикл запускается не от каждого опыта. Например, когда я слушаю научпоп-лекцию по археологии, я не генерирую собственных идей и не хочу это делать; я слушаю про динозавров и веселюсь. Мне возразят: научпоп - не обучение! Окей, меняем археологию на лекцию по культуре речи в университете. Всё ещё не обучение, а профанация?
Ладно, меняем на лекцию по матанализу. В рамках изучения матанализу я, безусловно, прохожу весь цикл много раз - однако это длительный процесс, выходящий далеко за рамки одной лекции. У меня всё хорошо с математикой, но я не думаю так быстро, чтобы успевать за стандартные полтора часа 1) понять новую математическую концепцию, 2) обдумать её, 3) создать идею, что я теперь могу решить, зная новую концепцию, 4) порешать задачи.
Может, я не должна сама создавать идеи, а могу пассивно принимать специально подобранные упражнения и решать их по шаблону? Ну да, так это обычно и происходит. Только Колб здесь не при чём, потому что он говорил про активное участие ученика в собственном обучении, его инициативность, важность его идей.

Методисты любят завершать урок этапом рефлексии. На этом этапе они спрашивают у учеников что-нибудь вроде: что полезного вы забираете с собой? что вы теперь начнёте делать? что вы перестанете делать? какие инсайты у вас случились?
Этот этап - часть цикла Колба.
Но я вижу в нём страшное лицемерие. Предположим, что занятие было скучным и бесполезным, и студенты ничего из него не вынесли. Или занятие было классным, но студенты не успели обдумать материал и приложить к своей практике - не все это делают быстро. И мы настойчиво их спрашиваем: как наше занятие изменило вашу жизнь? "Никак" - не ответ! И ученики должны выжать из себя что-то вежливое, чтобы не расстроить спикера.

Думаю, многие даже не сталкивались с таким форматом обучения, который я сейчас ругаю. Оно царит в корпоративном и бизнес- образовании. Меня же это беспокоит, потому что в тусовке методистов витает невысказанная идея: "у нас по Колбу и с рефлексией - у нас научно и правильно, а у вас всех - некачественное образование". А образование - оно бывает очень разное, и не обязательно должно укладываться в модный методический шаблон.

О разном конструктивизме

Мне кажется, конструктивизм в обучении есть американский и российский-советский.
И те и другие берут одинаковую предпосылку: ученик - живой человек, знания нельзя передать, ученик должен "сконструировать" собственное знание у себя в голове.
Но какие же разные практические выводы я наблюдаю.

Читая книги американцев, я понимаю: ученик - самый главный; надо его обхаживать, строить ему благоприятную среду; его мысли очень важны, надо дать ему высказываться и внимательно слушать.

Читая советские концепции, я делаю вывод: ученик - ленивая задница, ничего он сам не выучит; надо кидать его в "кризисные" ситуации, чтобы он в них адаптировался; и только так в его пустой голове что-то сформируется.

Обучаем рабочего-новичка точить детали на станке.
Американский конструктивист спросит новичка "как ты думаешь, чем мы сегодня будем заниматься?", запустит в VR-тренажёр, а по окончании попросит записать инсайты.
Советский конструктивист приставит новичка к опытному наставнику, и выпустит на реальное производство. Вечером может спросить: "ты сегодня плакал?" - и если да, то обучение удалось.

Недавно я писала серию постов о том, что ИИ используется для предсказания успеваемости учеников. Мой вывод был такой: можно предсказывать по этичным предикторам (успеваемость), нельзя - по неэтичным (пол, раса).

Обнаружила, что моё мнение - редкое. Нашла серию научных статей, в которых по неэтичным предикторам предсказывают, закончит ли студент обучение в университете.

Цитирую статью из Nature за 2023 год:
Предыдущая академическая успеваемость (например, средний балл средней школы, баллы SAT и ACT или средний балл колледжа) была определена как один из наиболее последовательных предикторов удержания студентов: студенты, которые более успешны в учебе, с меньшей вероятностью бросают учебу. Аналогичным образом, исследования выявили роль демографических и социально-экономических переменных, включая возраст, пол и этническую принадлежность, а также социально-экономический статус в прогнозировании вероятности того, что студенты продолжат учебу. Например, женщины с большей вероятностью продолжат учебу, чем мужчины, в то время как белые и азиатские студенты с большей вероятностью продолжат учебу, чем студенты из других этнических групп. Более того, было показано, что социально-экономический статус студента и его текущее финансовое положение влияют на удержание. Студенты с большей вероятностью прекратят учебу, если они студенты первого поколения или испытывают серьезные финансовые затруднения (например, из-за студенческих кредитов или работы почти полный рабочий день, чтобы покрыть расходы на колледж). Напротив, студенты, получающие финансовую поддержку, которую не нужно возвращать после окончания учебы, с большей вероятностью завершат учебу.

Меня порадовало, что в выводах хотя бы вскользь затрагивается тема этичности:
Однако важно, чтобы эти модели подвергались постоянному контролю качества. Хотя прогностические модели могли бы позволить университетам заранее отмечать студентов из группы риска, они также могли бы увековечить предубеждения, которые закрепляются в самих прогностических моделях. Например, студенты, которые традиционно с меньшей вероятностью прекращают учебу, могут пройти гораздо более высокий уровень недисциплинированного поведения, прежде чем их файл будет помечен как «в группе риска». Аналогичным образом, человек из традиционно недопредставленной группы может получить неоправданно большой объем дополнительных проверок, даже если он в целом преуспевает в своей повседневной жизни. Учитывая, что отнесение к категории «в группе риска» может быть связано со стигмой, которая может усилить стигмы вокруг исторически маргинализированных групп, будет крайне важно отслеживать как эффективность модели с течением времени, так и восприятие ее полезности среди администраторов, преподавателей и студентов.

Но последняя цитата в статье выглядит как необязательная оговорка. Большую часть статьи исследователи анализируют неэтичные данные и хвастаются тем, насколько высокую точность получили. Осуждаю.

В следующем учебном году буду продолжать поддерживать свой онлайн-курс по математике. Даже записала рекламное видео специально для Степика - платформы, на которой мой курс опубликован. Ради этого пришлось найти оранжевую футболку и снова появиться в кадре, после долгого перерыва

Что-то новое делается

Про меня в книжке написали. 😊

У Дмитрия Аббакумова, главного психометрика в Яндексе / TripleTen и лучшего специалиста по этой теме вообще, вышла книга про измерения в образовании.

С Дмитрием я познакомилась год назад после его вебинара. Он тогда рассказывал про метрики, которые используются в Практикуме для анализа контента. Я взяла эти метрики и приложила к своему курсу - получилось круто и информативно. Так что я написала автору, поделилась результатами, и позадавала дополнительные вопросы.

Дмитрий упомянул про меня и мой курс в начале книги и написал, что такие истории его вдохновляют. Очень приятно, потому что книга у него действительно крутая. Всем моим немногочисленным коллегам LX-аналитикам - обязательна к прочтению, ищите в издательстве МИФ.

Попросила ChatGPT нарисовать иллюстрацию к этой задаче. Теперь претензий нет: в этой альтернативной геометрии действительно всё сходится, напротив А лежит АС длины Б. 😁

Идеальное время, чтобы запускать новый канал на ютубе. 🤪

Летом запущу ютуб-канал.

А вот его описание:
На канале рассказываю, как устроено мышление, и иногда привожу примеры из математики.
Я разбираюсь, как устроен процесс понимания и как можно учиться с удовольствием.
Если в школе было сложно — вы узнаете, почему, и убедитесь, что с вами всё в порядке. Если было легко — узнаете, как это работало в вашей голове.

В РБК вышла заметка про моё исследование.
Откуда взялось 42%, поясняю вместо журналистов. Мы задавали вопрос: "На сколько баллов ты бы написал экзамен, если бы он был сегодня?", а потом смотрели, на сколько баллов эти ученики уже пишут пробные экзамены на нашем сайте.
Пессимисты - это те, кто оценивают себя ниже, чем пишут пробники. Их оказалось 42%.
Соответственно, оптимисты оценивают себя выше, а реалисты - объективно.

😟 42% школьников недооценивают свои шансы на успешную сдачу ЕГЭ

Исследование онлайн-школы «100балльный репетитор» показало, что 42% школьников не уверены в своих силах перед сдачей ЕГЭ. Для многих этот экзамен — не просто обязательное испытание, а возможность уехать учиться в другой город и поддержать свою семью в будущем. Интересно, что всё больше выпускников отдают предпочтение точным наукам, выбирая математику, физику и IT вместо гуманитарных дисциплин. Среди самых популярных направлений — инженерия, медицина и программирование.

👉 Читайте полную статью на сайте «РБК Трендов»

Этот анонс написан ИИ «РБК Трендов»