В процессе интервью customer development для курсов по учебной аналитике у респондента появилась такая мысль: «Учебная аналитика помогает методисту, педдизайнеру проверить, насколько хорошо он работает, насколько он использует методики с доказанной эффективностью и умеет это обосновать».

И я очень согласен с этой мыслью. В качестве типового примера можно привести разработку теста. Сначала создается теоретическая рамка и спецификация теста, а затем разработчик заданий пишет тестовые задания. После этого происходит апробация теста, и психометрик проверяет, насколько хорошо работают задания с точки зрения статистических характеристик. Редко когда бывает, что задания не требует доработки - и чем меньше таких заданий, тем лучше работает разработчик заданий. Это примерно, как в случае разработки программного обеспечения: есть программист, который пишет код, а есть тестировщик, который проверяет, как этот код работает. Такова роль и аналитика обучения - проверять результаты работы методиста.

Но как вы считаете, в качестве аналитика обучения должен быть отдельный человек? Или методист тоже должен обладать аналитическими навыками, чтобы проверять себя и совершенствовать свою работу?

#размышления_на_выходных

На этой неделе 23-25 августа состоится конференция "Большие данные в образовании":
https://bigdataconf.mgpu.ru/
Я буду в четверг рассказывать про создание моделей учащегося и предметной области на примере курса по математике в вузе.

Почему именно эта тема? Я довольно много говорю про валидность данных и валидность исследований. И как раз упомянутые выше модели необходимы для того, чтобы и полученные данные об обучении, и затем результаты анализа были корректно интерпретированы. К сожалению, много встречаю примеров, когда об интерпретация задумываются уже после сбора и анализа данных, но это методологически неправильно.

Если вы пытаете данные достаточно долго, они признаются вам в чем угодно (Рональд Коуз)

Меня часто спрашивают, где можно поучиться учебной аналитике. И я честно отвечаю, что таких программ обучения немного. Сегодня появилась новость еще об одной такой программе - «Педагогический дизайн и анализ образовательных данных» в Южном федеральном университете. Вернее так: я про эту программу знаю, так как на ней буду преподавать (немного в модуле про педагогический дизайн, и немного - про учебную аналитику). Но сегодня появилась новость, что с 3 по 9 сентября открылся дополнительный набор на эту программу.

Если вам интересна эта тема, то приходите на онлайн-встречу в понедельник (6 сентября), в рамках которой координатор проектного офиса образовательной программы Максим Бондарев расскажет о программе, особенностях обучения, приобретаемых компетенциях и перспективах трудоустройства, а также ответит на все вопросы. Вся подробная информация и форма регистрации на сайте вуза. Программа будет реализована полностью онлайн.

В целом, мне нравится, что в вузах стало появляться больше программ, в которых появляются курсы, связанные с анализом образовательных данных. Это хороший тренд!

Как педагогический дизайн, основанный на учебной аналитике, помогает качеству высшего образования

Педагогический дизайн (instructional design) связан с применением методов, которые приводят к эффективному, результативному и приятному учебному опыту. Мета-анализ показывает, что использование моделей педагогического дизайна, таких как четырехкомпонентная модель педагогического дизайна (4C/ID), положительно влияет на результаты обучения студентов. Однако традиционные методы оценки оказываются в этом случае малоинформативными.

Выяснить фактическое влияние выбранных методов на обучение студентов помогают онлайн-данные. Например, взаимодействие с содержанием, сверстниками, преподавателями. В своем докладе Йерун Ван Мериенбур объяснит и проиллюстрирует, как учебная аналитика может помочь определить необходимые индикаторы и поддержать процесс непрерывной оценки и адаптации образовательных программ для повышения качества высшего образования.

Ссылка на стрим в YouTube: https://www.youtube.com/watch?v=R5GufSkZdW0

Полезные телеграм-каналы, где каждый сможет найти то, что интересует по оценке персонала и HR-аналитике.

@whrdata
Доступная HR-аналитика и принятие решений на основе HR-данных: HR-метрики, взгляд из "бизнеса", визуализация данных. Структурированно, коротко и ясно.

@digital_assessment
Канал про оценку персонала — новости на рынке, статьи и исследования.

@deynekina_hrba
Канал для HR, кто хочет принимать решение на основе HR-аналитики и оценивать свое влияние на бизнес. Простым и доступным языком об эффективности HR-процессов, HR-метриках, визуализации данных, HR-исследованиях и базовой автоматизации отчетов в Excel.

@people_analytics
Канал про HR-аналитику: оценка персонала, психометрика, анализ и визуализация HR-данных (оценка персонала, опросы, тестирование). Использование языка R в анализе HR-данных.

Всем привет! Меня участники сообщества LLLab вдохновили продолжать этот канал. Напишите в комментариях, какие темы вам были бы интересны.

Сейчас я работаю заведующим лабораторией "Доказательное образование и учебная аналитика" в ЮФУ. И я определённо за психометрический подход в учебной аналитике: нельзя анализировать данные, если используются невалидные способы их сбора

С чего начать?
При внедрении учебной аналитики на практике я рекомендую начать с метрик контента. Это обычно не так болезненно (субъективно для тех, кто делает аналитику) и этично для участников ("ваши данные нам нужны только для улучшения контента"). Понятно, что одной контентной аналитикой вся учебная аналитика не ограничивается, но важно же сделать первый шаг.

И тут начинается развилка: использовать психометрический подход или же базовую статистику. И если в случае студентов я бы сильно топил за психометрику, то в случае контента можно все сделать меньшей кровью.

Я выделяю для себя следующие контентные метрики:
• Отток. Доля студентов, для которых этот контент/активность был последним в курсе
• Активность. Доля студентов, которые взаимодействовали с этим контентом/активностью (посмотрели видео, написали в мессенджер, попытались ответить на тест)
• Результативность. Доля студентов, выполнивших ключевое действие (например, выполнили задание или дошли до конца курса)
• Удовлетворенность. Субъективная оценка активности/контента (лайки, голосовалки, формы обратной связи)
• Экспертная оценка. Оценка контента/активности экспертами как на этапе проектирования, так и на этапе реализации

Последняя метрика довольно дорогая, так как требует привлечения экспертов для аудита и оценки курса или продукта. Потому она немного выпадает из списка. Остальное можно посчитать по взаимодействию студентов с образовательным продуктом.

Напишите в комментариях, какие из этих метрик вы используете с учетом специфики вашего продукта. А для общего понимания я сделаю голосование 😉

Всем привет!

Мы в рамках магистратуры "Педагогический дизайн и анализ образовательных данных" в ЮФУ решили сделать серию воркшопов про проектирование обучения на основе данных. Я теперь стал руководителем этой магистерской программы, чему я очень рад.

Первый воркшоп будет про проверку методических гипотез. Мышление гипотезами очень важно при разработке любого продукта, а уж, тем более, образовательного. И для проверки гипотез нужны данные. В итоге вы их получаете, и что делать дальше?

На воркшопе мы рассмотрим статистический пакет Jamovi, и с помощью него решим разные задачи для проверки гипотез. Он довольно простой, но может стать расширенным калькулятором, когда нужно быстро с помощью статистики проверить гипотезы.

Мы встречаемся 26 февраля, 19:00 МСК.

Ссылка на регистрацию: https://forms.office.com/e/mGZmzTb61R

Всем привет! Мы продолжаем серию воркшопов про проектирование обучения на основе данных в рамках магистратуры "Педагогический дизайн и анализ образовательных данных" в ЮФУ.

И следующий воркшоп будет про выбор подхода к обучению. Ведь когда вы собрали информацию о вашей целевой аудитории, их проблемах и потребностях, требованиях заказчика и т.п., возникает вопрос, какие принципы и подходы необходимо использовать при разработке образовательного продукта.

На воркшопе мы рассмотрим авторский алгоритм для ответа на этот вопрос. Сам воркшоп будет проходить в формате экспресс-консультаций по наиболее интересным и подробно описанным заявкам. Поэтому до 30 марта (сб), 18:00 МСК просим вас заполнить форму и рассказать про свой курс (или проект курса).

Ведущие воркшопа:
Скрябин Максим, к.ф.-м.н., руководитель магистерской программы "Педагогический дизайн и анализ образовательных данных", заведующий лабораторией "Доказательное образование и учебная аналитика" в ЮФУ
Безызвестных Екатерина, к.пед.н., руководитель образовательных проектов в Университете ИТМО, старший научный сотрудник лаборатории "Доказательное образование и учебная аналитика" в ЮФУ

Мы встречаемся на воркшопе 1 апреля (пн), 19:00 МСК. Регистрируйтесь (даже если у вас нет своего курса) - и мы пришлем ссылку на участие ответным письмом.
https://forms.office.com/e/R1qRWDjhXT

Нашёл интересную подборку книг по психометрике. Как раз столкнулся с ситуацией, что давно уже надо составить свою подборку полезных книг, но в итоге нашёл на просторах интернета.

Я б ещё добавил две:
- Фер, Бакарак. Психометрика: введение.
- Аванесов. Композиция тестовых заданий.

Почему психометрика важна тем, кто занимается учебной аналитикой? Потому что она направлена на то, чтобы создавать качественные инструменты оценивания. А значит, и учебные данные у вас будут более качественными (как минимум, будет меньше ошибка измерений), что затем отразится и на результатах анализа и принятии решений: принцип "мусор на входе - мусор на выходе" никто в аналитике не отменял. Ведь оценивание - это очень сильный источник данных об обучении.

Так что читайте и изучайте книги по психометрике, а я вам в этом буду помогать 😉