А теперь серьезно про хорошие тесты.

Один из лучших примеров тестов, это, конечно, международные тесты, которые делаются большой командой за огромные деньги.

Я тут не буду оригинальной и приведу вам в пример международные сравнительные исследоваиня TIMSS и PIRLS

Вот, например, посмотрите на спецификацию, которую выложили разработчики для PIRLS 2026 года. Оцените масштаб и подробность описаний, ну это ж любовь тест-девелоперская просто

https://timssandpirls.bc.edu/pirls2026/frameworks/index.html

Нашла тут случайно шикарную книгу для тех, кто занимается адаптацией тестов.

В ней собраны в алфавитном порядке самые разные темы, от протокола "мысли вслух" до того, как переводить юмор с одного языка на другой!

Мысли вслух, если что, на 371 страничке

Между лечением укушенного пальца и половины зубов, эта шутка прям не в бровь, а в глаз

💫Воскресный дроп полезности💫

Одна из важных групп свидетельств валидности (помним, что мы придерживаемся унитарного подхода к валидности) - основанные на выявлении когнитивных процессов, задействованных при ответе на задания.
Проще говоря, нам надо убедиться, что когда тестируемые выполняют задания нашего теста, у них напрягаются именно те мышцы в голове, которые должны в соответствии с нашими теоретическими представлениями о конструкте.

Как привлечь такие свидетельства? Ну, тут нам надо пойти к когнитивным психологам, пошуршать по их полкам и посмотреть, что они знают про наш конструкт и какие методы у них есть.

Один из таких методов, которые психометрики позаимствовали у психологов и активно им пользуются - когнтивные лаборатории, протокол "мысли вслух".

Это очень сложный в реализации метод, на самом деле. Потому что от тестируемых требуется проговаривать ВСЁ что у них происходит в голове и в сердце, когда они смотрят на задание и пытаются его решить. А жизнь нас учит абсолютно противоположному: что нужно фильтровать то, что говоришь и не выдавать то, что думаешь. И вместо того, чтобы кричать "пиздееееец!" нас учат говорить "требуются доработки"😅 вспомним тут еще страшные фразы "молчание - золото", "молчи, за умного сойдешь" и ну всякое такое.

Четверговая шутеечка прямо с утра

Так, по плану должна быть четверговая шутеечка… но я так заебалась на работе, что даже на шутки сил нет. Вот откопала вам в недрах своего альбома с тест девелопментом что-то, отдаленно напоминающее шутку

Сегодня не четверг, поэтому шутеечки не будет. А будет презентация про Evidence-centered Design, честно найденная мной на просторах интернета. Мне понравилось, какие в ней классные примеры приводятся, оцените и вы!

Этим постом хочу сказать вам (и дисциплинировать себя!) что начинаю серию про методологию Evidence-centered Design
PS если я снова пропаду на месяц, не удивляйтесь😅

Анонсировала разбор ECD, и пропала, по традиции🤡 обещаю вернуться, нахожусь в процессе смены работ, поэтому хвост подгорает от незакрытых дел.
Ну и раз уж сегодня четверг, держите шутеечку

Пока я вынашиваю и рожаю посты про ECD, погружаюсь в тему generative AI в образовании.
Я честно говоря офигела, когда узнала что ChatGPT используют 200 миллионов человек еженедельно! Какие-то колоссальные масштабы использования, а образование как всегда не поспевает за технологиями и пока что слабо себе представляет как можно использовать инструменты типа ChatGPT в образовании детей и взрослых.
Кажется мне, что самый важный вопрос тут не то, как медологически внедрять AI в образование (с этим в течение 2-4 лет ученые разберутся, надо только подождать когда статьи пройдут все ревью и будут опубликованы), а то, как сделать так, чтобы доступ к AI в образовании не усиливал неравенство. Чтобы люди, у которых нет доступа к технологиям не оказывались за бортом просто по факту того, что у них нет доступа к интернету и они не знают про существование ChatGPT. Это вот, как мне кажется, вопрос на миллион, который хрен пойми как решать.
Какие-то первые и общие идеи по этому вопросу начали публиковать UNESCO. Вот вам ссылочки, если тоже интересно покопаться в вопросах неравенства в эпоху генеративного исскусственного интеллекта
https://www.unesco.org/en/digital-education/artificial-intelligence?hub=32618

вот еще ссылочка на UNESCO "Guidance for generative AI in education and research"

https://unesdoc.unesco.org/ark:/48223/pf0000386693

Кстати, напишите мне, из России сайт Юнеско открывается вообще? или всё, тю-тю?

Новость тут такая пришла:
«В городе Исин на востоке Китая заваливший экзамены студент напал с ножом на людей в университете, восемь человек погибли, 17 человек пострадали; 21-летний нападавший задержан, он сразу признал вину — агентство Xinhua со ссылкой на полицию»

И натолкнула меня, в очередной раз, на мысль, что работа, которую мы делаем, иногда играет важнейшую роль в жизни людей. Поступил_а в ВУЗ или нет, от этого вся жизненная траектория меняется. И нам важно не забыть о том, какую ответственность мы несем как разработчики тестов.

Валидность, аминь

Вот такая вот хуйня и подрывает доверие к тестам!😤 ай кью мастерс, май эсс

оп-оп, нашла в открытом доступе стандарты!
https://www.testingstandards.net/uploads/7/6/6/4/76643089/standards_2014edition.pdf

сегодня по работе составляла список международных конференций в измерении и образовании, решила и с вами поделиться.
Рассказывайте в комментах какие из этих конференции успели стать тухлыми за то время, что я работала в HR😅

AEA-Europe
https://aea-europe.net/about-us/

American educational research association
https://www.aera.net/Events-Meetings/Annual-Meeting

European Association of Methodology
https://www.eam-online.org/conferences.php

National Council on Measurement in Education
https://www.ncme.org/event/annual-meeting/upcoming-meeting2025

International Association for Educational assessment
https://iaea.info/

Ваши идеи, каким методом они устанавливали пороговые баллы? Вангую что всем известным методом «пальцем в небо»