Канал тест-ретест поздравляет всех с праздниками!🎄🥳
И желает высокой надежности, сильных свидетельств валидности и интересных заданий⭐️

Пусть в новом 2024 году ваши животные не будут устраивать вам вот такой вот квиз😜💩

Возможно вы видели новость, что в 2024 году у Диснея заканчиваются исключительные права на раннюю версию Микки Мауса.

Эта новость натолкнула меня на мысль, что мы в тест-девелопменте вообще мало следим за авторскими правами на свои тесты. У нас в хвост и в гриву берут чужие тесты, переводят (в лучшем случае), а иногда и просто копируют задания и считают что это норм и так делать нормально. Естественно, это не так.

Права на тест в России можно оформить двумя способами:
⭐️ как программный продукт, то есть вы оформляете права на код, в котором записан тест и его психометрические модели
⭐️ как текст, то есть творческое произведение типа стихов, когда вы защищаете текст заданий

Тут надо оговориться, что я не юрист, а эти два способа мы выяснили с юристами, когда разбирались как оформить права на один из тестов. Возможно есть и другие способы.

В общем, мой посыл первого рабочего дня после праздников - не забывайте про вопрос правообладания при разработке тестов, отслеживайте, что из теста вам надо защищать🤍

Минутка юмора для тех, кто уже задолбался во вторник

И напоминание о том, как важно чётко формулировать задачу:)

Как вы знаете, 17 марта в России пройдут выборы президента.

Интересно, что референдум 91го года о сохранении СССР тоже проходил 17 марта.

По этому забавному стечению обстоятельств давайте разберем вопрос, который был вынесен на референдум и порассуждаем, что с ним не так.

В данном случае нас не должно смущать, что это, по сути, вопрос опроса (простите за дурацкую формулировку), а не задание теста. Общие идеи при разработке опросников и тестовых заданий похожи.

Ну а теперь к делу. Общее впечатление от этого вопроса можно обозначить как «девочка, ты что хочешь? На дачу, или чтобы тебе голову оторвали?» aka ложный выбор.
Откуда взялся в бюллетене этот ложный выбор? А вот тут, дамы и господа, мы подходим к самой сути. Ложный выбор тут появился из-за того, что горе-составители (давайте будем верить в то, что они это не специально) заложили две идеи в один вопрос. Первая идея: «считаете ли вы необходимым сохранение ссср». Вторая (придаточное предложение): «в которой будут гарантироваться права и свободы». И относится к этим двум идеям можно по-разному.

А ответ-то при этом только один! Таким образом, все, кто не хотел сохранения союза, одновременно отказывались и от соблюдения прав и свобод. А те, кто хотели согласиться на гарантию прав и свобод были вынуждены соглашаться на сохранение союза.

Ну и на закуску (тут у меня уже подгорает пердак): кто догадался выбирать ответ путем ЗАЧЁРКИВАНИЯ того варианта, который ты выбирать не хочешь?! Ну это же супер нелогично! Нашему мозгу привычно и логично делать какое-то действие (обводить, кликать мышкой) в сторону того варианта, который мы хотим выбрать, а не в сторону того варианта, от которого мы хотим избавиться.

Я бы постыдилась такой вопрос выносить на всеобщее обозрение…

Мдэ, отложенное сообщение про выборы выглядит сегодня не оч уместным.

Помните: горевать - это нормально, чувствовать себя беспомощным - тоже. Горе нужно проживать, без этого двигаться дальше будет сложно

Мы с Кюфтой обнимаем всех, кому сегодня грустно

Вот ссылка на памятку ВОЗ «важные навыки в период стресса», возможно, она вам сейчас будет полезна

https://www.who.int/docs/default-source/mental-health/sh-2020-rus-3-web.pdf

Вот это перерывчик у меня случился в канале! Простите дорогие, переезд в новую страну с моим зоопарком дело непростое

Но я врываюсь к вам с новой рубрикой «без комментариев»

сегодня выкладываю вам тестовое задание хорошее, приятное и воодушевляющее

Моё лицо, когда я вижу негомогенные дистракторы

Очень часто слышу, как говорят "тест", подразумевая задание с выбором ответа (aka multiple choice). Я, конечно, понимаю, что когда мы в быту сталкиваемся с тестами они обычно выглядят как вагон заданий с выбором ответа. Но называть задание multiple choice тестом это как говорить "социология показала" (имея ввиду результаты социологического исследования)
Попивая чаёк в субботу не забывайте, что тест - это прежде всего спецификация, а не какие-то там задания

Мы тут с замечательными коллегами делали тесты для юристов, и по следам они написали бомбическое руководство по тому, как разрабатывать задания не в стиле «какого цвета туфельки у Наташи Ростовой», а прямо такие классные задания на понимание, применение, анализ.
Я немножко тоже в руководство свою шаловливую руку запустила хехехе

Следующим сообщением репостну руководство, обязательно посмотрите!

И еще одна премьера сегодня. С 2014 года я создаю онлайновые курсы, и довольно много времени посвятил разработке юридических тестов. В этой связи у меня два наблюдения:
1) составить хороший тест чертовски сложно и
2) юристы не умеют составлять тесты.

Наконец нашел время, чтобы обобщить свой опыт, и по итогам составил небольшое руководство. В нем описываю, что надо иметь в виду до и после разработки теста, с какой целью тесты разрабатываются, а также привожу массу примеров хороших и плохих заданий. Надеюсь, пригодится как преподавателям, так и сотрудникам юрфирм, которые тестируют кандидатов на стажировки.

Скачивайте бесплатно, без регистрации и смс: Янковский Р.М. Тестируем юристов: руководство по разработке тестовых заданий по праву. М., ЦТЮО, 2024 🎅🏻

Анонсирую огненную мастерскую ЛШ с особой любовью к месту проведения (привет родная Дубна🥰)

Открыта регистрация на Тестовую мастерскую «Летней школы» на Волге!

«Летняя школа» — ежегодный междисциплинарный научно-полевой лагерь, который проводится с 2004 года.

🎓 Кого мы ждем?
Будем рады видеть всех (старше 18 лет), кому интересна тема создания тестов и опросников.

Для участия в мастерской нужно подать заявку и выполнить вступительное задание до 5 июня.

🗓 Даты проведения
с 5 по 20 июля 2024 года

📍Расположение
На базе «Волга», недалеко от города Дубна (120 км от МКАД).

🍀 Стоимость участия
Обучение бесплатное
На организационные расходы (питание, проживание и другое) «Летняя школа» собирает добровольные взносы.

Участие в Тестовой мастерской дает дополнительные баллы в магистратуру «Обучение и оценивание как наука» НИУ ВШЭ 🏆


— Подать заявку и узнать подробнее про Тестовую мастерскую
— Ответы на вопросы про «Летнюю школу»
— Что взять с собой
— Для связи по любым вопросам: https://t.me/son_nekrasova

Отдельно хочу про тестовую мастерскую рассказать. Это самое чистое проявление любви к психометрике, которое я видела. Каждый год ребята бесплатно организуют мастерскую, согласуют программу, договариваются с преподами, несут доброе и светлое тест-девелоперское людям.
Когда-то и я в ней участвовала, даже приезжала в родную Дубну и проводила занятия очно:) Потом коронавирус, эмиграция, вот это вот всё. А ребята держатся и продолжают рассказывать про то, как делать тесты грамотно!

Если не можете съездить сами, поддержите ребят трудовым рублем!

https://www.letnyayashkola.org/about/requisites/

Четверговый пост бомбления🍑💣

Частая тест-девелоперская задача - доработать уже имеющийся тест. Ну под новую цель, целевую аудиторию или конкретного заказчика, например.

Собираешь значит все документы по имеющемуся тесту, а там - пиздец. 141 документ, 87 из которых про одно и то же (и чаще всего это маркетинговые материалы), а методология не описана, свидетельства валидности только на словах, а в спецификации (или как ее еще называют "паспорте") описание заданий без всякой связки с тем, что они измеряют.

И ты сидишь с этим пазлом в котором половину кусков потеряли, ставишь миллион созвонов, чтобы собрать недостающую инфу, плачешь кровавыми слезами и вопрошаешь "ну почему нельзя нормально все описать в одном документе?!". От этого же было бы легче всем - вам понимать что в тесте происходит (что с ним можно делать, а что - нельзя), вашим маркетологам тест будет продавать, вашим клиентам проще довериться вашей методике и экспертизе...

Блин, ну вот пишет у вас кто-то тестовые материалы, ну пусть этот человек записывает в паспорт ВСЁ! Вот просто абсолютно ВСЁ! Созвонились и порешили что логику предъявления заданий надо переделать? Не удаляй то, что было написано, сделай новыцй абзац и напиши "вот такого-то числа поменяли логику на такую-то". Ну вот всем же потом проще разобраться будет "что откуда вытекает арифметике в почёт" (это из мультика Вовка в тридевятом царстве).
Если встает вопрос нужно ли вообще что-то писать в паспорт - не мучайтесь, ДА НУЖНО, просто запишите! в худшем случае это никому не понадобится, в лучшем - следующий тест-девелопер не будет плакать, а маркетолог не будет ебать мозг бесконечными созвонами.

Всё, отлегло, пасибо что послушали, пойду дальше пазл собирать