Всем привет! Меня зовут Максим Скрябин. Я консультант по проектированию обучения и учебной аналитике. И в этом канале буду писать на эту тему.

Что такое учебная аналитика? Это измерение, сбор, анализ и представление данных об учащихся и образовательной среде с целью понимания и оптимизации обучения и условий, в котором оно происходит. По крайней мере, так ее определяет сообщество исследователей в области учебной аналитики (SOLaR), в котором я состою. Меня часто спрашивают, в чем разница между учебной аналитикой и анализом данных в образовании. Для себя я отвечаю на этот вопрос так: учебная аналитика служит для изменения, совершенствования процесса обучения. Она про трансформацию. Потому без связи с дидактикой, проектированием обучения, педагогическим дизайном и т.п. она становится бесполезной.

Зачем нужна учебная аналитика? Для ответа на этот вопрос нам поможет функциональная таксономия учебной аналитики, в которой таксономии выделяется шесть направлений:

1. Анализ поведения учащихся. Если измерять вовлеченность и поведение учащихся, это поможет узнать, как они взаимодействуют с материалами курса, в каком порядке изучают материал, какие учебные стратегии применяют и т.п.

2. Оценка социального обучения. Измеряя и отслеживая взаимодействие учащихся с преподавателями и друг с другом, мы можем понять, получают ли учащиеся от этого пользу.

3. Индивидуализация обучения. С помощью аналитики можно сделать обучение адаптивным и кастомизированным, то есть подходящим для каждого учащегося.

4. Улучшение учебных материалов и инструментов. Можно выявить потенциальные проблемы и предлагать способы улучшить материалы и структуру своего курса, опираясь на данные.

5. Прогнозирование успеваемости учащихся. Мы также способны определить учащихся из группы риска, чтобы обеспечить их дополнительной академической или тьюторской поддержкой. Это делается с помощью статистических моделей и методов машинного обучения.

6. Визуализация учебного процесса. Учащиеся и преподаватели смогут повысить мотивацию к обучению, скорректировать преподавательскую практику и, в конечном итоге, повысить результативность обучения.

А какие темы вам больше всего интересны? Что вы хотите узнать об учебной аналитике?

В процессе интервью customer development для курсов по учебной аналитике у респондента появилась такая мысль: «Учебная аналитика помогает методисту, педдизайнеру проверить, насколько хорошо он работает, насколько он использует методики с доказанной эффективностью и умеет это обосновать».

И я очень согласен с этой мыслью. В качестве типового примера можно привести разработку теста. Сначала создается теоретическая рамка и спецификация теста, а затем разработчик заданий пишет тестовые задания. После этого происходит апробация теста, и психометрик проверяет, насколько хорошо работают задания с точки зрения статистических характеристик. Редко когда бывает, что задания не требует доработки - и чем меньше таких заданий, тем лучше работает разработчик заданий. Это примерно, как в случае разработки программного обеспечения: есть программист, который пишет код, а есть тестировщик, который проверяет, как этот код работает. Такова роль и аналитика обучения - проверять результаты работы методиста.

Но как вы считаете, в качестве аналитика обучения должен быть отдельный человек? Или методист тоже должен обладать аналитическими навыками, чтобы проверять себя и совершенствовать свою работу?

#размышления_на_выходных

На этой неделе 23-25 августа состоится конференция "Большие данные в образовании":
https://bigdataconf.mgpu.ru/
Я буду в четверг рассказывать про создание моделей учащегося и предметной области на примере курса по математике в вузе.

Почему именно эта тема? Я довольно много говорю про валидность данных и валидность исследований. И как раз упомянутые выше модели необходимы для того, чтобы и полученные данные об обучении, и затем результаты анализа были корректно интерпретированы. К сожалению, много встречаю примеров, когда об интерпретация задумываются уже после сбора и анализа данных, но это методологически неправильно.

Если вы пытаете данные достаточно долго, они признаются вам в чем угодно (Рональд Коуз)

Меня часто спрашивают, где можно поучиться учебной аналитике. И я честно отвечаю, что таких программ обучения немного. Сегодня появилась новость еще об одной такой программе - «Педагогический дизайн и анализ образовательных данных» в Южном федеральном университете. Вернее так: я про эту программу знаю, так как на ней буду преподавать (немного в модуле про педагогический дизайн, и немного - про учебную аналитику). Но сегодня появилась новость, что с 3 по 9 сентября открылся дополнительный набор на эту программу.

Если вам интересна эта тема, то приходите на онлайн-встречу в понедельник (6 сентября), в рамках которой координатор проектного офиса образовательной программы Максим Бондарев расскажет о программе, особенностях обучения, приобретаемых компетенциях и перспективах трудоустройства, а также ответит на все вопросы. Вся подробная информация и форма регистрации на сайте вуза. Программа будет реализована полностью онлайн.

В целом, мне нравится, что в вузах стало появляться больше программ, в которых появляются курсы, связанные с анализом образовательных данных. Это хороший тренд!

Как педагогический дизайн, основанный на учебной аналитике, помогает качеству высшего образования

Педагогический дизайн (instructional design) связан с применением методов, которые приводят к эффективному, результативному и приятному учебному опыту. Мета-анализ показывает, что использование моделей педагогического дизайна, таких как четырехкомпонентная модель педагогического дизайна (4C/ID), положительно влияет на результаты обучения студентов. Однако традиционные методы оценки оказываются в этом случае малоинформативными.

Выяснить фактическое влияние выбранных методов на обучение студентов помогают онлайн-данные. Например, взаимодействие с содержанием, сверстниками, преподавателями. В своем докладе Йерун Ван Мериенбур объяснит и проиллюстрирует, как учебная аналитика может помочь определить необходимые индикаторы и поддержать процесс непрерывной оценки и адаптации образовательных программ для повышения качества высшего образования.

Ссылка на стрим в YouTube: https://www.youtube.com/watch?v=R5GufSkZdW0

Полезные телеграм-каналы, где каждый сможет найти то, что интересует по оценке персонала и HR-аналитике.

@whrdata
Доступная HR-аналитика и принятие решений на основе HR-данных: HR-метрики, взгляд из "бизнеса", визуализация данных. Структурированно, коротко и ясно.

@digital_assessment
Канал про оценку персонала — новости на рынке, статьи и исследования.

@deynekina_hrba
Канал для HR, кто хочет принимать решение на основе HR-аналитики и оценивать свое влияние на бизнес. Простым и доступным языком об эффективности HR-процессов, HR-метриках, визуализации данных, HR-исследованиях и базовой автоматизации отчетов в Excel.

@people_analytics
Канал про HR-аналитику: оценка персонала, психометрика, анализ и визуализация HR-данных (оценка персонала, опросы, тестирование). Использование языка R в анализе HR-данных.

Всем привет! Меня участники сообщества LLLab вдохновили продолжать этот канал. Напишите в комментариях, какие темы вам были бы интересны.

Сейчас я работаю заведующим лабораторией "Доказательное образование и учебная аналитика" в ЮФУ. И я определённо за психометрический подход в учебной аналитике: нельзя анализировать данные, если используются невалидные способы их сбора

С чего начать?
При внедрении учебной аналитики на практике я рекомендую начать с метрик контента. Это обычно не так болезненно (субъективно для тех, кто делает аналитику) и этично для участников ("ваши данные нам нужны только для улучшения контента"). Понятно, что одной контентной аналитикой вся учебная аналитика не ограничивается, но важно же сделать первый шаг.

И тут начинается развилка: использовать психометрический подход или же базовую статистику. И если в случае студентов я бы сильно топил за психометрику, то в случае контента можно все сделать меньшей кровью.

Я выделяю для себя следующие контентные метрики:
• Отток. Доля студентов, для которых этот контент/активность был последним в курсе
• Активность. Доля студентов, которые взаимодействовали с этим контентом/активностью (посмотрели видео, написали в мессенджер, попытались ответить на тест)
• Результативность. Доля студентов, выполнивших ключевое действие (например, выполнили задание или дошли до конца курса)
• Удовлетворенность. Субъективная оценка активности/контента (лайки, голосовалки, формы обратной связи)
• Экспертная оценка. Оценка контента/активности экспертами как на этапе проектирования, так и на этапе реализации

Последняя метрика довольно дорогая, так как требует привлечения экспертов для аудита и оценки курса или продукта. Потому она немного выпадает из списка. Остальное можно посчитать по взаимодействию студентов с образовательным продуктом.

Напишите в комментариях, какие из этих метрик вы используете с учетом специфики вашего продукта. А для общего понимания я сделаю голосование 😉