Отдельно хочу про тестовую мастерскую рассказать. Это самое чистое проявление любви к психометрике, которое я видела. Каждый год ребята бесплатно организуют мастерскую, согласуют программу, договариваются с преподами, несут доброе и светлое тест-девелоперское людям.
Когда-то и я в ней участвовала, даже приезжала в родную Дубну и проводила занятия очно:) Потом коронавирус, эмиграция, вот это вот всё. А ребята держатся и продолжают рассказывать про то, как делать тесты грамотно!

Если не можете съездить сами, поддержите ребят трудовым рублем!

https://www.letnyayashkola.org/about/requisites/

Четверговый пост бомбления🍑💣

Частая тест-девелоперская задача - доработать уже имеющийся тест. Ну под новую цель, целевую аудиторию или конкретного заказчика, например.

Собираешь значит все документы по имеющемуся тесту, а там - пиздец. 141 документ, 87 из которых про одно и то же (и чаще всего это маркетинговые материалы), а методология не описана, свидетельства валидности только на словах, а в спецификации (или как ее еще называют "паспорте") описание заданий без всякой связки с тем, что они измеряют.

И ты сидишь с этим пазлом в котором половину кусков потеряли, ставишь миллион созвонов, чтобы собрать недостающую инфу, плачешь кровавыми слезами и вопрошаешь "ну почему нельзя нормально все описать в одном документе?!". От этого же было бы легче всем - вам понимать что в тесте происходит (что с ним можно делать, а что - нельзя), вашим маркетологам тест будет продавать, вашим клиентам проще довериться вашей методике и экспертизе...

Блин, ну вот пишет у вас кто-то тестовые материалы, ну пусть этот человек записывает в паспорт ВСЁ! Вот просто абсолютно ВСЁ! Созвонились и порешили что логику предъявления заданий надо переделать? Не удаляй то, что было написано, сделай новыцй абзац и напиши "вот такого-то числа поменяли логику на такую-то". Ну вот всем же потом проще разобраться будет "что откуда вытекает арифметике в почёт" (это из мультика Вовка в тридевятом царстве).
Если встает вопрос нужно ли вообще что-то писать в паспорт - не мучайтесь, ДА НУЖНО, просто запишите! в худшем случае это никому не понадобится, в лучшем - следующий тест-девелопер не будет плакать, а маркетолог не будет ебать мозг бесконечными созвонами.

Всё, отлегло, пасибо что послушали, пойду дальше пазл собирать

Вот вам кстати полезные ссылки про спецификацию и наша с Дианой Колесниковой памятка.

Хз правда откроются ли ссылки из России, если нет, напишите в личку, кину пдфку

O'Neil Jr, H. F., & Schacter, J. (1997). Test specifications for problem-solving assessment.
https://files.eric.ed.gov/fulltext/ED418103.pdf

Testcraft: A Teacher's Guide to Writing and Using Language Test Specifications

Gorin, J. S. (2007). Test construction and diagnostic testing. Cognitive diagnostic assessment for education: Theory and applications, 173-201.

В Воронеже школьниц заставили раздеться перед сдачей ЕГЭ.

Поскольку это только по касательной про тест-девелопмент, то и комментарий у меня будет короткий:
Это пиздец

Нет, всё-таки эта новость не по касательной про тест-девелопмент, поэтому ща будет длинный пост.

Эта новость касается тест-девелопмента с двух сторон.

1) бумажно-организационная сторона.
Чтобы от такой хрени не страдали никакие респонденты, нужно тщательно описывать правила администрирования теста. Обычно эти правила упаковывают в инструкции для разных участников тестирования, например, наблюдателей в аудитории, ОХРАННИКОВ, координаторов школы, города, региона и тп. И в этих инструкциях по этапам (до тестирования, во время, после) прописывается всё, что может и должен делать каждый человек.

2) содержательная сторона.
А нафига вообще кого-то проверять на шпаргалки? Мы что, в жизни без Гугла и chatGPT живем? Делайте блин тесты на анализ, умение делать выводы, сравнение, выявление факторов, поиск причин, установление отличий и разрешите бедным школьникам и студентам пользоваться на экзаменах калькуляторами, учебниками, справочниками. Ну серьезно, мы к жизни в реальном мире готовим учеников или к тюрьме, где тебя шмонают в поисках лишней ручки?

составляйте инструкции, котики🌸

Вот вам кстати еще один пример в ту же кассу.

Не было нормальных инструкций, наблюдатели в аудитории решили что надо срочно что-то сделать, а то вдруг кто-то у кого-то спишет! Что смогли придумать, то и сделали…

Сегодня с подачи моих друзей разберем «тест» от бибиси про «скрытую национальность»

Кому интересно прощёлкать, велкам по ссылочке. Но сразу предупрежу, что серьезно к этому относиться нельзя

https://www.bbc.com/future/bespoke/secret-nationality-quiz-v4/index.html

Итак, что мы тут видим? Ну, во-первых, не тест, а опросник (но это меньшая из бед, честное слово).

Самое главное и ужасное, что бибиси просто взяли и понадергали из инструмента большой пятерки личностных черт по какому-то одному богу известному принципу утверждений и прикрутили совершенно ничем не обоснованную интерпретацию. Типа каким-то образом твои личностные черты определяют, какая страна тебе подходит. Откуда взяли такую интерпретацию? Хуй знает. Минус свидетельство валидности.

Почему большая пятерка должна предсказывать твою «национальность» (это они так заявляют в заголовке перед тестированием)? Хуй знает. Минус еще одно свидетельство валидности.

Ну и третье, на десерт, так сказать. Кто надоумил отображать шкалу ликерта заполнением от среднего? Логично же, что шкала согласия «наполняется» слева направо, а не в разные стороны от среднего. Тут, конечно, причина с точки зрения тест девелопмента понятна. Средний поинт на шкале часто интерпретируется как 0. Но респондентам-то зачем это так видеть? Это же неудобно.
Просто минус. Без свидетельства валидности))

А кстати, если вы из России пытаетесь посмотреть, не пытайтесь, бибиси бережет вашу психику и сайт вам не откроет👹
Но могу скриншотиков покидать, если кому надо

Вот вам еще полезный и в меру ядовитый комментик про этот «шедевр» от нашего fellow test developer:

Оооо, большая пятерко по национальным профилям. Блин, не ожидала от ббс. Британское психологическое общество вторым в Европе после голландцев ввело тестовые стандарты (где-то в 1990х), они даже психологов заставляют проходить сертификацию на использование тестов в практике. А ббс такие шутки шутит)) наверное, это наша разведка хорошо работает. Внедрилась и портит британцам науку))

Какие классные читатели у моего телеграм канала! Сразу заметили, что два вопроса, а ответ можно выбрать только один🤡
Вот вам за это утреннее фото Кюфты!
А еще добавила возможность писать текстом все что вы думаете про посты в этом телеграм-канале)

86% проголосовавших говорят, что нужны примеры хороших тестов. Ну что ж, буду искать! Хорошие примеры не так легко найти, как дурацкие🤡

Минутка юмора

🧑‍💻Центр психометрики и измерений в образовании НИУ ВШЭ приглашает на летнюю школу:
"Теория и практика разработки тестов: прикладная психометрика в психологии и образовании"

Международная летняя психометрическая школа проводится уже восьмой сезон. В этом году основным спикером выступит профессор Анна Браун из Университета Кента (Великобритания) — автор многих инструментов оценки личности, устойчивых к эффекту социальной желательности. Ее методики широко используются по всему миру.

Для кого:
🔸Сотрудников центров тестирования
🔸HR специалистов
🔸Психологов
🔸Разработчиков тестов
🔸Студентов-магистров и аспирантам по направлениям «Психология» и «Образование»

Школа предоставит возможность исследователям и практикам, уже знакомым с базовым анализом тестов и опросников, расширить свои знания и инструментарий для решения более сложных задач. Программа включает лекционные и практические занятия под руководством ведущих экспертов в области психометрики.

🗓Когда: 19-24 августа

🕓Дедлайн по заявкам: 21 июля

📍Место проведения: Институт образования ВШЭ, Москва, Потаповский пер., 16с10

🇷🇺Язык школы: русский

🆓Стоимость: бесплатно

🔗Ссылка:https://ioe.hse.ru/sumschool-international/

Каждый раз говорю себе, что буду постить раз в неделю, и потом неминуемо пропадаю на месяц🐼
В этот раз уходила искать по вашему запросу хорошие тесты.
И это, знаете ли, задачка из бронхов, не из лёгких...Потому что методологической литературы как разрабатывать тесты - вагон! А вот реальных примеров идеальных (или около идеальных) тестов - нет. А все почему? Потому что мы живем в реальности, где всегда есть ограничения. Время, люди, деньги - в лучшем случае в начале разработки теста у вас есть два из трех. Соответственно, при разработке чем-то приходится жертвовать. И это нормально. Главное понимать, чем ты жертвуешь и к какому итогу с точки зрения валидности результатов это приведет.

Четверговая свежая смешнуля, чтобы дожить до выходных

А теперь серьезно про хорошие тесты.

Один из лучших примеров тестов, это, конечно, международные тесты, которые делаются большой командой за огромные деньги.

Я тут не буду оригинальной и приведу вам в пример международные сравнительные исследоваиня TIMSS и PIRLS

Вот, например, посмотрите на спецификацию, которую выложили разработчики для PIRLS 2026 года. Оцените масштаб и подробность описаний, ну это ж любовь тест-девелоперская просто

https://timssandpirls.bc.edu/pirls2026/frameworks/index.html

Нашла тут случайно шикарную книгу для тех, кто занимается адаптацией тестов.

В ней собраны в алфавитном порядке самые разные темы, от протокола "мысли вслух" до того, как переводить юмор с одного языка на другой!

Мысли вслух, если что, на 371 страничке

Между лечением укушенного пальца и половины зубов, эта шутка прям не в бровь, а в глаз