Вот это перерывчик у меня случился в канале! Простите дорогие, переезд в новую страну с моим зоопарком дело непростое

Но я врываюсь к вам с новой рубрикой «без комментариев»

сегодня выкладываю вам тестовое задание хорошее, приятное и воодушевляющее

Моё лицо, когда я вижу негомогенные дистракторы

Очень часто слышу, как говорят "тест", подразумевая задание с выбором ответа (aka multiple choice). Я, конечно, понимаю, что когда мы в быту сталкиваемся с тестами они обычно выглядят как вагон заданий с выбором ответа. Но называть задание multiple choice тестом это как говорить "социология показала" (имея ввиду результаты социологического исследования)
Попивая чаёк в субботу не забывайте, что тест - это прежде всего спецификация, а не какие-то там задания

Мы тут с замечательными коллегами делали тесты для юристов, и по следам они написали бомбическое руководство по тому, как разрабатывать задания не в стиле «какого цвета туфельки у Наташи Ростовой», а прямо такие классные задания на понимание, применение, анализ.
Я немножко тоже в руководство свою шаловливую руку запустила хехехе

Следующим сообщением репостну руководство, обязательно посмотрите!

И еще одна премьера сегодня. С 2014 года я создаю онлайновые курсы, и довольно много времени посвятил разработке юридических тестов. В этой связи у меня два наблюдения:
1) составить хороший тест чертовски сложно и
2) юристы не умеют составлять тесты.

Наконец нашел время, чтобы обобщить свой опыт, и по итогам составил небольшое руководство. В нем описываю, что надо иметь в виду до и после разработки теста, с какой целью тесты разрабатываются, а также привожу массу примеров хороших и плохих заданий. Надеюсь, пригодится как преподавателям, так и сотрудникам юрфирм, которые тестируют кандидатов на стажировки.

Скачивайте бесплатно, без регистрации и смс: Янковский Р.М. Тестируем юристов: руководство по разработке тестовых заданий по праву. М., ЦТЮО, 2024 🎅🏻

Анонсирую огненную мастерскую ЛШ с особой любовью к месту проведения (привет родная Дубна🥰)

Открыта регистрация на Тестовую мастерскую «Летней школы» на Волге!

«Летняя школа» — ежегодный междисциплинарный научно-полевой лагерь, который проводится с 2004 года.

🎓 Кого мы ждем?
Будем рады видеть всех (старше 18 лет), кому интересна тема создания тестов и опросников.

Для участия в мастерской нужно подать заявку и выполнить вступительное задание до 5 июня.

🗓 Даты проведения
с 5 по 20 июля 2024 года

📍Расположение
На базе «Волга», недалеко от города Дубна (120 км от МКАД).

🍀 Стоимость участия
Обучение бесплатное
На организационные расходы (питание, проживание и другое) «Летняя школа» собирает добровольные взносы.

Участие в Тестовой мастерской дает дополнительные баллы в магистратуру «Обучение и оценивание как наука» НИУ ВШЭ 🏆


— Подать заявку и узнать подробнее про Тестовую мастерскую
— Ответы на вопросы про «Летнюю школу»
— Что взять с собой
— Для связи по любым вопросам: https://t.me/son_nekrasova

Отдельно хочу про тестовую мастерскую рассказать. Это самое чистое проявление любви к психометрике, которое я видела. Каждый год ребята бесплатно организуют мастерскую, согласуют программу, договариваются с преподами, несут доброе и светлое тест-девелоперское людям.
Когда-то и я в ней участвовала, даже приезжала в родную Дубну и проводила занятия очно:) Потом коронавирус, эмиграция, вот это вот всё. А ребята держатся и продолжают рассказывать про то, как делать тесты грамотно!

Если не можете съездить сами, поддержите ребят трудовым рублем!

https://www.letnyayashkola.org/about/requisites/

Четверговый пост бомбления🍑💣

Частая тест-девелоперская задача - доработать уже имеющийся тест. Ну под новую цель, целевую аудиторию или конкретного заказчика, например.

Собираешь значит все документы по имеющемуся тесту, а там - пиздец. 141 документ, 87 из которых про одно и то же (и чаще всего это маркетинговые материалы), а методология не описана, свидетельства валидности только на словах, а в спецификации (или как ее еще называют "паспорте") описание заданий без всякой связки с тем, что они измеряют.

И ты сидишь с этим пазлом в котором половину кусков потеряли, ставишь миллион созвонов, чтобы собрать недостающую инфу, плачешь кровавыми слезами и вопрошаешь "ну почему нельзя нормально все описать в одном документе?!". От этого же было бы легче всем - вам понимать что в тесте происходит (что с ним можно делать, а что - нельзя), вашим маркетологам тест будет продавать, вашим клиентам проще довериться вашей методике и экспертизе...

Блин, ну вот пишет у вас кто-то тестовые материалы, ну пусть этот человек записывает в паспорт ВСЁ! Вот просто абсолютно ВСЁ! Созвонились и порешили что логику предъявления заданий надо переделать? Не удаляй то, что было написано, сделай новыцй абзац и напиши "вот такого-то числа поменяли логику на такую-то". Ну вот всем же потом проще разобраться будет "что откуда вытекает арифметике в почёт" (это из мультика Вовка в тридевятом царстве).
Если встает вопрос нужно ли вообще что-то писать в паспорт - не мучайтесь, ДА НУЖНО, просто запишите! в худшем случае это никому не понадобится, в лучшем - следующий тест-девелопер не будет плакать, а маркетолог не будет ебать мозг бесконечными созвонами.

Всё, отлегло, пасибо что послушали, пойду дальше пазл собирать

Вот вам кстати полезные ссылки про спецификацию и наша с Дианой Колесниковой памятка.

Хз правда откроются ли ссылки из России, если нет, напишите в личку, кину пдфку

O'Neil Jr, H. F., & Schacter, J. (1997). Test specifications for problem-solving assessment.
https://files.eric.ed.gov/fulltext/ED418103.pdf

Testcraft: A Teacher's Guide to Writing and Using Language Test Specifications

Gorin, J. S. (2007). Test construction and diagnostic testing. Cognitive diagnostic assessment for education: Theory and applications, 173-201.

В Воронеже школьниц заставили раздеться перед сдачей ЕГЭ.

Поскольку это только по касательной про тест-девелопмент, то и комментарий у меня будет короткий:
Это пиздец

Нет, всё-таки эта новость не по касательной про тест-девелопмент, поэтому ща будет длинный пост.

Эта новость касается тест-девелопмента с двух сторон.

1) бумажно-организационная сторона.
Чтобы от такой хрени не страдали никакие респонденты, нужно тщательно описывать правила администрирования теста. Обычно эти правила упаковывают в инструкции для разных участников тестирования, например, наблюдателей в аудитории, ОХРАННИКОВ, координаторов школы, города, региона и тп. И в этих инструкциях по этапам (до тестирования, во время, после) прописывается всё, что может и должен делать каждый человек.

2) содержательная сторона.
А нафига вообще кого-то проверять на шпаргалки? Мы что, в жизни без Гугла и chatGPT живем? Делайте блин тесты на анализ, умение делать выводы, сравнение, выявление факторов, поиск причин, установление отличий и разрешите бедным школьникам и студентам пользоваться на экзаменах калькуляторами, учебниками, справочниками. Ну серьезно, мы к жизни в реальном мире готовим учеников или к тюрьме, где тебя шмонают в поисках лишней ручки?

составляйте инструкции, котики🌸

Вот вам кстати еще один пример в ту же кассу.

Не было нормальных инструкций, наблюдатели в аудитории решили что надо срочно что-то сделать, а то вдруг кто-то у кого-то спишет! Что смогли придумать, то и сделали…

Сегодня с подачи моих друзей разберем «тест» от бибиси про «скрытую национальность»

Кому интересно прощёлкать, велкам по ссылочке. Но сразу предупрежу, что серьезно к этому относиться нельзя

https://www.bbc.com/future/bespoke/secret-nationality-quiz-v4/index.html

Итак, что мы тут видим? Ну, во-первых, не тест, а опросник (но это меньшая из бед, честное слово).

Самое главное и ужасное, что бибиси просто взяли и понадергали из инструмента большой пятерки личностных черт по какому-то одному богу известному принципу утверждений и прикрутили совершенно ничем не обоснованную интерпретацию. Типа каким-то образом твои личностные черты определяют, какая страна тебе подходит. Откуда взяли такую интерпретацию? Хуй знает. Минус свидетельство валидности.

Почему большая пятерка должна предсказывать твою «национальность» (это они так заявляют в заголовке перед тестированием)? Хуй знает. Минус еще одно свидетельство валидности.

Ну и третье, на десерт, так сказать. Кто надоумил отображать шкалу ликерта заполнением от среднего? Логично же, что шкала согласия «наполняется» слева направо, а не в разные стороны от среднего. Тут, конечно, причина с точки зрения тест девелопмента понятна. Средний поинт на шкале часто интерпретируется как 0. Но респондентам-то зачем это так видеть? Это же неудобно.
Просто минус. Без свидетельства валидности))

А кстати, если вы из России пытаетесь посмотреть, не пытайтесь, бибиси бережет вашу психику и сайт вам не откроет👹
Но могу скриншотиков покидать, если кому надо

Вот вам еще полезный и в меру ядовитый комментик про этот «шедевр» от нашего fellow test developer:

Оооо, большая пятерко по национальным профилям. Блин, не ожидала от ббс. Британское психологическое общество вторым в Европе после голландцев ввело тестовые стандарты (где-то в 1990х), они даже психологов заставляют проходить сертификацию на использование тестов в практике. А ббс такие шутки шутит)) наверное, это наша разведка хорошо работает. Внедрилась и портит британцам науку))