Вот вам номер раз. Задание на установление соответствия. Абстрагируемся от идиотизма темы, анализируем с точки зрения тест девелопмента (то бишь качества разработки теста).
Зачем вообще нужно такое задание? Какой смысл помнить даты событий? У вас Гугла нет? Или готовимся к отключению интернета? - это претензия к измеряемому содержанию
Почему одинаковое количество элементов в списке событий и дат? Если установить 3 соответствия, четвертое идёт в подарок, никакого знания дат оно проверять не будет, потому что нет выбора. Всегда всегда всегда, даже если вы делаете самый захудалый тест левой ногой, делайте разное количество условий и соответствий к ним, чтобы для последнего условия оставалось как минимум 2 соответствия
Ну и на закуску. В инструкции написано «установите соответствие между датами и событиями», то есть как бы сначала должны идти даты (слева), а потом события (правый столбец). А в задании наоборот. Вот вроде мелочь, а показывает отношение разработчиков
Зачем вообще нужно такое задание? Какой смысл помнить даты событий? У вас Гугла нет? Или готовимся к отключению интернета? - это претензия к измеряемому содержанию
Почему одинаковое количество элементов в списке событий и дат? Если установить 3 соответствия, четвертое идёт в подарок, никакого знания дат оно проверять не будет, потому что нет выбора. Всегда всегда всегда, даже если вы делаете самый захудалый тест левой ногой, делайте разное количество условий и соответствий к ним, чтобы для последнего условия оставалось как минимум 2 соответствия
Ну и на закуску. В инструкции написано «установите соответствие между датами и событиями», то есть как бы сначала должны идти даты (слева), а потом события (правый столбец). А в задании наоборот. Вот вроде мелочь, а показывает отношение разработчиков
❤1👍1
Номер два!
На этот раз препарируем задание малтипл чойс.
Начинаем со стема. Тут вроде всё более-менее ок (ну не считая самого содержания вопроса, разумеется🤢). Придраться можно разве что к словам «проведения» (как будто бы провели и закончили, а сейчас всё тихо и спокойно) и «основными» (по чьему мнению основными?). Но это всё-таки мелкие замечания.
А вот варианты ответа…тут мы злобно потираем ручки😈
Во-первых, и в самых важных, правильный (по мнению разработчиков) вариант ответа просто кричит, что он правильный своей длиной и тем, что там «зашито» два элемента.
Во-вторых, третий вариант ответа не согласуется со стемом числу. Стем говорит, что причин несколько (множественное число), а третий вариант ответа в единственном числе. То есть третий вариант ответа скорее всего никто выбирать не будет.
В-третьих, нахуя тут малтипл чойс с выбором одного правильного ответа? Ну гораздо логичнее ведь сделать малтипл чойс с выбором всех верных вариантов! И в каждом варианте по одной причине. Горе-разработчики…
На этот раз препарируем задание малтипл чойс.
Начинаем со стема. Тут вроде всё более-менее ок (ну не считая самого содержания вопроса, разумеется🤢). Придраться можно разве что к словам «проведения» (как будто бы провели и закончили, а сейчас всё тихо и спокойно) и «основными» (по чьему мнению основными?). Но это всё-таки мелкие замечания.
А вот варианты ответа…тут мы злобно потираем ручки😈
Во-первых, и в самых важных, правильный (по мнению разработчиков) вариант ответа просто кричит, что он правильный своей длиной и тем, что там «зашито» два элемента.
Во-вторых, третий вариант ответа не согласуется со стемом числу. Стем говорит, что причин несколько (множественное число), а третий вариант ответа в единственном числе. То есть третий вариант ответа скорее всего никто выбирать не будет.
В-третьих, нахуя тут малтипл чойс с выбором одного правильного ответа? Ну гораздо логичнее ведь сделать малтипл чойс с выбором всех верных вариантов! И в каждом варианте по одной причине. Горе-разработчики…
🔥3
У меня есть еще пара тройка заданий из военно-патриотического теста в загашнике.
Но сегодня пятница, и мне кажется на этой неделе кринжа и ужаса уже достаточно.
Поэтому вот вам полезные советы по тому, как выпекать задания матипл чойс, которые мы с Дианой Колесниковой подготовили для нашего курса
Но сегодня пятница, и мне кажется на этой неделе кринжа и ужаса уже достаточно.
Поэтому вот вам полезные советы по тому, как выпекать задания матипл чойс, которые мы с Дианой Колесниковой подготовили для нашего курса
👍3❤1
Forwarded from Правой пяткой
Как разработать тест с нуля
В этот раз рассказываем о 8 этапах разработки теста. Их последовательность условна. И, конечно, не все эти этапы нужны, если вы работаете над небольшим квизом для онлайн-курса. Но вдруг вы уже давно мечатаете создать аналог ЕГЭ? Или тест по измерению чувства юмора?
Ловите новые карточки от меня и Ирины Брун. Много терминов и словечек: конструкт, операционализация, спецификация, апробация, валидизация 😂 Если расшифровки на карточках не хватит, приходите к нам во вторник, 5 декабря, 18:30 мск на вебинар о процессе разработке и о важности спецификации.
В этот раз рассказываем о 8 этапах разработки теста. Их последовательность условна. И, конечно, не все эти этапы нужны, если вы работаете над небольшим квизом для онлайн-курса. Но вдруг вы уже давно мечатаете создать аналог ЕГЭ? Или тест по измерению чувства юмора?
Ловите новые карточки от меня и Ирины Брун. Много терминов и словечек: конструкт, операционализация, спецификация, апробация, валидизация 😂 Если расшифровки на карточках не хватит, приходите к нам во вторник, 5 декабря, 18:30 мск на вебинар о процессе разработке и о важности спецификации.
❤4🔥2
Я думаю, что уже все слышали новость о том, что ученица Алина из Брянска пронесла в школу дробовик и убила как минимум одного человека, помимо себя.
Эта трагедия начинает обрастать интересными для нас подробностями. Сегодня в утреннем эфире дождя рассказали, что Алина за 2 недели до стрельбы "успешно прошла тест на депрессию" (это примерно 11-12 минута эфира).
Вот, подумала я, невероятно яркий и печальный пример важности НОРМАЛЬНОЙ разработки тестов. Если бы школьный психолог использовал валидизированную методику, возможно, общество бы получило маркер, что ученице нужна помощь и поддержка.
К сожалению, у нас очень халатно относятся к качеству тестов и почему-то считают, что 10 вопросов, сделанных на коленке неизвестно кем, измеряют то, что они заявляют. В качестве примера этой мысли вот вам ссылка на департамент труда и соц защиты населения города Москвы, где размещен "тест" (извините, без кавычек тут никак не могу) на депрессию. Обратите внимание на колонку справа страницы: в разделе "о тесте" написан какой-то буллшит о депрессии вместо свидетельств валидности результатов этого теста.
Эта трагедия начинает обрастать интересными для нас подробностями. Сегодня в утреннем эфире дождя рассказали, что Алина за 2 недели до стрельбы "успешно прошла тест на депрессию" (это примерно 11-12 минута эфира).
Вот, подумала я, невероятно яркий и печальный пример важности НОРМАЛЬНОЙ разработки тестов. Если бы школьный психолог использовал валидизированную методику, возможно, общество бы получило маркер, что ученице нужна помощь и поддержка.
К сожалению, у нас очень халатно относятся к качеству тестов и почему-то считают, что 10 вопросов, сделанных на коленке неизвестно кем, измеряют то, что они заявляют. В качестве примера этой мысли вот вам ссылка на департамент труда и соц защиты населения города Москвы, где размещен "тест" (извините, без кавычек тут никак не могу) на депрессию. Обратите внимание на колонку справа страницы: в разделе "о тесте" написан какой-то буллшит о депрессии вместо свидетельств валидности результатов этого теста.
РБК
«Ее буллили». Очевидцы — о стрельбе в брянской гимназии
Над устроившей стрельбу восьмиклассницей «подшучивали мальчики», рассказала РБК одна из учениц. Школьники также сообщили, что у девочки в ботинке был нож
😢3
Как справедливо заметил один из моих подписчиков (и по совместительству друзей) в ссылке на хуевый тест на депрессию департамента труда и соц защиты Москвы есть такая вот фраза:
Давайте обсудим, почему она не делает тест менее хуевым и не должна вызывать у нас доверия.
Здесь у нас могут появиться аргументы из двух групп:
1) сам тест Бека хуевый
2) что-то не так с переводом этого теста на русский
1) Сама шкала Бека была разработана давно и довольно хорошо изучена. Например, вот тут можно про нее прочитать: https://www.sciencedirect.com/topics/medicine-and-dentistry/beck-depression-inventory#:~:text=The%20Beck%20Depression%20Inventory%20(BDI,the%20BDI%20is%20also%20available.
У этой шкалы даже есть версия на 13 вопросов, прям как на нашем сайте!
2) Достаточно ли нам этого, чтобы считать этот «тест» на сайте труда и соц защиты не хуевым? НЕТ, не достаточно! Как только любой инструмент измерения (тест или опросник) начинает использоваться в новой культурной среде или на новом языке, нужно убедиться, что измеряемый конструкт остался тем же самым, перевод вопросов корректен и подходит новой целевой аудитории, а также что на эмпирических данных опросник ведет также.
Вот именно аргументов из второй группы нам и не хватает на сайте труда и соц защиты. А без них тест превращается в тыкву!
наш опросник, составленный на основе знаменитой шкалы Бека…
Давайте обсудим, почему она не делает тест менее хуевым и не должна вызывать у нас доверия.
Здесь у нас могут появиться аргументы из двух групп:
1) сам тест Бека хуевый
2) что-то не так с переводом этого теста на русский
1) Сама шкала Бека была разработана давно и довольно хорошо изучена. Например, вот тут можно про нее прочитать: https://www.sciencedirect.com/topics/medicine-and-dentistry/beck-depression-inventory#:~:text=The%20Beck%20Depression%20Inventory%20(BDI,the%20BDI%20is%20also%20available.
У этой шкалы даже есть версия на 13 вопросов, прям как на нашем сайте!
2) Достаточно ли нам этого, чтобы считать этот «тест» на сайте труда и соц защиты не хуевым? НЕТ, не достаточно! Как только любой инструмент измерения (тест или опросник) начинает использоваться в новой культурной среде или на новом языке, нужно убедиться, что измеряемый конструкт остался тем же самым, перевод вопросов корректен и подходит новой целевой аудитории, а также что на эмпирических данных опросник ведет также.
Вот именно аргументов из второй группы нам и не хватает на сайте труда и соц защиты. А без них тест превращается в тыкву!
❤3🔥3🤗1