Вот вам кстати полезные ссылки про спецификацию и наша с Дианой Колесниковой памятка.

Хз правда откроются ли ссылки из России, если нет, напишите в личку, кину пдфку

O'Neil Jr, H. F., & Schacter, J. (1997). Test specifications for problem-solving assessment.
https://files.eric.ed.gov/fulltext/ED418103.pdf

Testcraft: A Teacher's Guide to Writing and Using Language Test Specifications

Gorin, J. S. (2007). Test construction and diagnostic testing. Cognitive diagnostic assessment for education: Theory and applications, 173-201.

В Воронеже школьниц заставили раздеться перед сдачей ЕГЭ.

Поскольку это только по касательной про тест-девелопмент, то и комментарий у меня будет короткий:
Это пиздец

Нет, всё-таки эта новость не по касательной про тест-девелопмент, поэтому ща будет длинный пост.

Эта новость касается тест-девелопмента с двух сторон.

1) бумажно-организационная сторона.
Чтобы от такой хрени не страдали никакие респонденты, нужно тщательно описывать правила администрирования теста. Обычно эти правила упаковывают в инструкции для разных участников тестирования, например, наблюдателей в аудитории, ОХРАННИКОВ, координаторов школы, города, региона и тп. И в этих инструкциях по этапам (до тестирования, во время, после) прописывается всё, что может и должен делать каждый человек.

2) содержательная сторона.
А нафига вообще кого-то проверять на шпаргалки? Мы что, в жизни без Гугла и chatGPT живем? Делайте блин тесты на анализ, умение делать выводы, сравнение, выявление факторов, поиск причин, установление отличий и разрешите бедным школьникам и студентам пользоваться на экзаменах калькуляторами, учебниками, справочниками. Ну серьезно, мы к жизни в реальном мире готовим учеников или к тюрьме, где тебя шмонают в поисках лишней ручки?

составляйте инструкции, котики🌸

Вот вам кстати еще один пример в ту же кассу.

Не было нормальных инструкций, наблюдатели в аудитории решили что надо срочно что-то сделать, а то вдруг кто-то у кого-то спишет! Что смогли придумать, то и сделали…

Сегодня с подачи моих друзей разберем «тест» от бибиси про «скрытую национальность»

Кому интересно прощёлкать, велкам по ссылочке. Но сразу предупрежу, что серьезно к этому относиться нельзя

https://www.bbc.com/future/bespoke/secret-nationality-quiz-v4/index.html

Итак, что мы тут видим? Ну, во-первых, не тест, а опросник (но это меньшая из бед, честное слово).

Самое главное и ужасное, что бибиси просто взяли и понадергали из инструмента большой пятерки личностных черт по какому-то одному богу известному принципу утверждений и прикрутили совершенно ничем не обоснованную интерпретацию. Типа каким-то образом твои личностные черты определяют, какая страна тебе подходит. Откуда взяли такую интерпретацию? Хуй знает. Минус свидетельство валидности.

Почему большая пятерка должна предсказывать твою «национальность» (это они так заявляют в заголовке перед тестированием)? Хуй знает. Минус еще одно свидетельство валидности.

Ну и третье, на десерт, так сказать. Кто надоумил отображать шкалу ликерта заполнением от среднего? Логично же, что шкала согласия «наполняется» слева направо, а не в разные стороны от среднего. Тут, конечно, причина с точки зрения тест девелопмента понятна. Средний поинт на шкале часто интерпретируется как 0. Но респондентам-то зачем это так видеть? Это же неудобно.
Просто минус. Без свидетельства валидности))

А кстати, если вы из России пытаетесь посмотреть, не пытайтесь, бибиси бережет вашу психику и сайт вам не откроет👹
Но могу скриншотиков покидать, если кому надо

Вот вам еще полезный и в меру ядовитый комментик про этот «шедевр» от нашего fellow test developer:

Оооо, большая пятерко по национальным профилям. Блин, не ожидала от ббс. Британское психологическое общество вторым в Европе после голландцев ввело тестовые стандарты (где-то в 1990х), они даже психологов заставляют проходить сертификацию на использование тестов в практике. А ббс такие шутки шутит)) наверное, это наша разведка хорошо работает. Внедрилась и портит британцам науку))

Какие классные читатели у моего телеграм канала! Сразу заметили, что два вопроса, а ответ можно выбрать только один🤡
Вот вам за это утреннее фото Кюфты!
А еще добавила возможность писать текстом все что вы думаете про посты в этом телеграм-канале)

86% проголосовавших говорят, что нужны примеры хороших тестов. Ну что ж, буду искать! Хорошие примеры не так легко найти, как дурацкие🤡

Минутка юмора

🧑‍💻Центр психометрики и измерений в образовании НИУ ВШЭ приглашает на летнюю школу:
"Теория и практика разработки тестов: прикладная психометрика в психологии и образовании"

Международная летняя психометрическая школа проводится уже восьмой сезон. В этом году основным спикером выступит профессор Анна Браун из Университета Кента (Великобритания) — автор многих инструментов оценки личности, устойчивых к эффекту социальной желательности. Ее методики широко используются по всему миру.

Для кого:
🔸Сотрудников центров тестирования
🔸HR специалистов
🔸Психологов
🔸Разработчиков тестов
🔸Студентов-магистров и аспирантам по направлениям «Психология» и «Образование»

Школа предоставит возможность исследователям и практикам, уже знакомым с базовым анализом тестов и опросников, расширить свои знания и инструментарий для решения более сложных задач. Программа включает лекционные и практические занятия под руководством ведущих экспертов в области психометрики.

🗓Когда: 19-24 августа

🕓Дедлайн по заявкам: 21 июля

📍Место проведения: Институт образования ВШЭ, Москва, Потаповский пер., 16с10

🇷🇺Язык школы: русский

🆓Стоимость: бесплатно

🔗Ссылка:https://ioe.hse.ru/sumschool-international/

Каждый раз говорю себе, что буду постить раз в неделю, и потом неминуемо пропадаю на месяц🐼
В этот раз уходила искать по вашему запросу хорошие тесты.
И это, знаете ли, задачка из бронхов, не из лёгких...Потому что методологической литературы как разрабатывать тесты - вагон! А вот реальных примеров идеальных (или около идеальных) тестов - нет. А все почему? Потому что мы живем в реальности, где всегда есть ограничения. Время, люди, деньги - в лучшем случае в начале разработки теста у вас есть два из трех. Соответственно, при разработке чем-то приходится жертвовать. И это нормально. Главное понимать, чем ты жертвуешь и к какому итогу с точки зрения валидности результатов это приведет.

Четверговая свежая смешнуля, чтобы дожить до выходных

А теперь серьезно про хорошие тесты.

Один из лучших примеров тестов, это, конечно, международные тесты, которые делаются большой командой за огромные деньги.

Я тут не буду оригинальной и приведу вам в пример международные сравнительные исследоваиня TIMSS и PIRLS

Вот, например, посмотрите на спецификацию, которую выложили разработчики для PIRLS 2026 года. Оцените масштаб и подробность описаний, ну это ж любовь тест-девелоперская просто

https://timssandpirls.bc.edu/pirls2026/frameworks/index.html

Нашла тут случайно шикарную книгу для тех, кто занимается адаптацией тестов.

В ней собраны в алфавитном порядке самые разные темы, от протокола "мысли вслух" до того, как переводить юмор с одного языка на другой!

Мысли вслух, если что, на 371 страничке

Между лечением укушенного пальца и половины зубов, эта шутка прям не в бровь, а в глаз

💫Воскресный дроп полезности💫

Одна из важных групп свидетельств валидности (помним, что мы придерживаемся унитарного подхода к валидности) - основанные на выявлении когнитивных процессов, задействованных при ответе на задания.
Проще говоря, нам надо убедиться, что когда тестируемые выполняют задания нашего теста, у них напрягаются именно те мышцы в голове, которые должны в соответствии с нашими теоретическими представлениями о конструкте.

Как привлечь такие свидетельства? Ну, тут нам надо пойти к когнитивным психологам, пошуршать по их полкам и посмотреть, что они знают про наш конструкт и какие методы у них есть.

Один из таких методов, которые психометрики позаимствовали у психологов и активно им пользуются - когнтивные лаборатории, протокол "мысли вслух".

Это очень сложный в реализации метод, на самом деле. Потому что от тестируемых требуется проговаривать ВСЁ что у них происходит в голове и в сердце, когда они смотрят на задание и пытаются его решить. А жизнь нас учит абсолютно противоположному: что нужно фильтровать то, что говоришь и не выдавать то, что думаешь. И вместо того, чтобы кричать "пиздееееец!" нас учат говорить "требуются доработки"😅 вспомним тут еще страшные фразы "молчание - золото", "молчи, за умного сойдешь" и ну всякое такое.