86% проголосовавших говорят, что нужны примеры хороших тестов. Ну что ж, буду искать! Хорошие примеры не так легко найти, как дурацкие🤡
Forwarded from Даня Талов
🧑💻Центр психометрики и измерений в образовании НИУ ВШЭ приглашает на летнюю школу:
"Теория и практика разработки тестов: прикладная психометрика в психологии и образовании"
Международная летняя психометрическая школа проводится уже восьмой сезон. В этом году основным спикером выступит профессор Анна Браун из Университета Кента (Великобритания) — автор многих инструментов оценки личности, устойчивых к эффекту социальной желательности. Ее методики широко используются по всему миру.
Для кого:
🔸Сотрудников центров тестирования
🔸HR специалистов
🔸Психологов
🔸Разработчиков тестов
🔸Студентов-магистров и аспирантам по направлениям «Психология» и «Образование»
Школа предоставит возможность исследователям и практикам, уже знакомым с базовым анализом тестов и опросников, расширить свои знания и инструментарий для решения более сложных задач. Программа включает лекционные и практические занятия под руководством ведущих экспертов в области психометрики.
🗓Когда: 19-24 августа
🕓Дедлайн по заявкам: 21 июля
📍Место проведения: Институт образования ВШЭ, Москва, Потаповский пер., 16с10
🇷🇺Язык школы: русский
🆓Стоимость: бесплатно
🔗Ссылка:https://ioe.hse.ru/sumschool-international/
"Теория и практика разработки тестов: прикладная психометрика в психологии и образовании"
Международная летняя психометрическая школа проводится уже восьмой сезон. В этом году основным спикером выступит профессор Анна Браун из Университета Кента (Великобритания) — автор многих инструментов оценки личности, устойчивых к эффекту социальной желательности. Ее методики широко используются по всему миру.
Для кого:
🔸Сотрудников центров тестирования
🔸HR специалистов
🔸Психологов
🔸Разработчиков тестов
🔸Студентов-магистров и аспирантам по направлениям «Психология» и «Образование»
Школа предоставит возможность исследователям и практикам, уже знакомым с базовым анализом тестов и опросников, расширить свои знания и инструментарий для решения более сложных задач. Программа включает лекционные и практические занятия под руководством ведущих экспертов в области психометрики.
🗓Когда: 19-24 августа
🕓Дедлайн по заявкам: 21 июля
📍Место проведения: Институт образования ВШЭ, Москва, Потаповский пер., 16с10
🇷🇺Язык школы: русский
🆓Стоимость: бесплатно
🔗Ссылка:https://ioe.hse.ru/sumschool-international/
🥰3👍2
Каждый раз говорю себе, что буду постить раз в неделю, и потом неминуемо пропадаю на месяц🐼
В этот раз уходила искать по вашему запросу хорошие тесты.
И это, знаете ли, задачка из бронхов, не из лёгких...Потому что методологической литературы как разрабатывать тесты - вагон! А вот реальных примеров идеальных (или около идеальных) тестов - нет. А все почему? Потому что мы живем в реальности, где всегда есть ограничения. Время, люди, деньги - в лучшем случае в начале разработки теста у вас есть два из трех. Соответственно, при разработке чем-то приходится жертвовать. И это нормально. Главное понимать, чем ты жертвуешь и к какому итогу с точки зрения валидности результатов это приведет.
В этот раз уходила искать по вашему запросу хорошие тесты.
И это, знаете ли, задачка из бронхов, не из лёгких...Потому что методологической литературы как разрабатывать тесты - вагон! А вот реальных примеров идеальных (или около идеальных) тестов - нет. А все почему? Потому что мы живем в реальности, где всегда есть ограничения. Время, люди, деньги - в лучшем случае в начале разработки теста у вас есть два из трех. Соответственно, при разработке чем-то приходится жертвовать. И это нормально. Главное понимать, чем ты жертвуешь и к какому итогу с точки зрения валидности результатов это приведет.
👍9
А теперь серьезно про хорошие тесты.
Один из лучших примеров тестов, это, конечно, международные тесты, которые делаются большой командой за огромные деньги.
Я тут не буду оригинальной и приведу вам в пример международные сравнительные исследоваиня TIMSS и PIRLS
Вот, например, посмотрите на спецификацию, которую выложили разработчики для PIRLS 2026 года. Оцените масштаб и подробность описаний, ну это ж любовь тест-девелоперская просто
https://timssandpirls.bc.edu/pirls2026/frameworks/index.html
Один из лучших примеров тестов, это, конечно, международные тесты, которые делаются большой командой за огромные деньги.
Я тут не буду оригинальной и приведу вам в пример международные сравнительные исследоваиня TIMSS и PIRLS
Вот, например, посмотрите на спецификацию, которую выложили разработчики для PIRLS 2026 года. Оцените масштаб и подробность описаний, ну это ж любовь тест-девелоперская просто
https://timssandpirls.bc.edu/pirls2026/frameworks/index.html
timssandpirls.bc.edu
TIMSS & PIRLS — PIRLS 2026 Assessment Frameworks
PIRLS 2026 Assessment Frameworks provides the two frameworks for the reading assessment and the context questionnaires, respectively. Read about IEA’s PIRLS 2026. PIRLS (Progress in International Reading Literacy Study) is an international large-scale assessment…
❤6👍3
Handbook of Translation Studies Vol. 1.pdf
3.3 MB
Нашла тут случайно шикарную книгу для тех, кто занимается адаптацией тестов.
В ней собраны в алфавитном порядке самые разные темы, от протокола "мысли вслух" до того, как переводить юмор с одного языка на другой!
Мысли вслух, если что, на 371 страничке
В ней собраны в алфавитном порядке самые разные темы, от протокола "мысли вслух" до того, как переводить юмор с одного языка на другой!
Мысли вслух, если что, на 371 страничке
🔥8❤1
💫Воскресный дроп полезности💫
Одна из важных групп свидетельств валидности (помним, что мы придерживаемся унитарного подхода к валидности) - основанные на выявлении когнитивных процессов, задействованных при ответе на задания.
Проще говоря, нам надо убедиться, что когда тестируемые выполняют задания нашего теста, у них напрягаются именно те мышцы в голове, которые должны в соответствии с нашими теоретическими представлениями о конструкте.
Как привлечь такие свидетельства? Ну, тут нам надо пойти к когнитивным психологам, пошуршать по их полкам и посмотреть, что они знают про наш конструкт и какие методы у них есть.
Один из таких методов, которые психометрики позаимствовали у психологов и активно им пользуются - когнтивные лаборатории, протокол "мысли вслух".
Это очень сложный в реализации метод, на самом деле. Потому что от тестируемых требуется проговаривать ВСЁ что у них происходит в голове и в сердце, когда они смотрят на задание и пытаются его решить. А жизнь нас учит абсолютно противоположному: что нужно фильтровать то, что говоришь и не выдавать то, что думаешь. И вместо того, чтобы кричать "пиздееееец!" нас учат говорить "требуются доработки"😅 вспомним тут еще страшные фразы "молчание - золото", "молчи, за умного сойдешь" и ну всякое такое.
Одна из важных групп свидетельств валидности (помним, что мы придерживаемся унитарного подхода к валидности) - основанные на выявлении когнитивных процессов, задействованных при ответе на задания.
Проще говоря, нам надо убедиться, что когда тестируемые выполняют задания нашего теста, у них напрягаются именно те мышцы в голове, которые должны в соответствии с нашими теоретическими представлениями о конструкте.
Как привлечь такие свидетельства? Ну, тут нам надо пойти к когнитивным психологам, пошуршать по их полкам и посмотреть, что они знают про наш конструкт и какие методы у них есть.
Один из таких методов, которые психометрики позаимствовали у психологов и активно им пользуются - когнтивные лаборатории, протокол "мысли вслух".
Это очень сложный в реализации метод, на самом деле. Потому что от тестируемых требуется проговаривать ВСЁ что у них происходит в голове и в сердце, когда они смотрят на задание и пытаются его решить. А жизнь нас учит абсолютно противоположному: что нужно фильтровать то, что говоришь и не выдавать то, что думаешь. И вместо того, чтобы кричать "пиздееееец!" нас учат говорить "требуются доработки"😅 вспомним тут еще страшные фразы "молчание - золото", "молчи, за умного сойдешь" и ну всякое такое.
🔥6👍1
Snijkers_2002_Cognitive_laboratory_experiences_On_pre_testing_computerised.pdf
1.3 MB
Так вот, чтобы не сесть в лужу и действительно получить от теструемых проговаривание внутренних процессов, уделите внимание статьям по проведению ког лаб
❤12👍3
ECD.pdf
4.8 MB
Сегодня не четверг, поэтому шутеечки не будет. А будет презентация про Evidence-centered Design, честно найденная мной на просторах интернета. Мне понравилось, какие в ней классные примеры приводятся, оцените и вы!
❤8
Этим постом хочу сказать вам (и дисциплинировать себя!) что начинаю серию про методологию Evidence-centered Design
PS если я снова пропаду на месяц, не удивляйтесь😅
PS если я снова пропаду на месяц, не удивляйтесь😅
❤9👍1🙈1
Пока я вынашиваю и рожаю посты про ECD, погружаюсь в тему generative AI в образовании.
Я честно говоря офигела, когда узнала что ChatGPT используют 200 миллионов человек еженедельно! Какие-то колоссальные масштабы использования, а образование как всегда не поспевает за технологиями и пока что слабо себе представляет как можно использовать инструменты типа ChatGPT в образовании детей и взрослых.
Кажется мне, что самый важный вопрос тут не то, как медологически внедрять AI в образование (с этим в течение 2-4 лет ученые разберутся, надо только подождать когда статьи пройдут все ревью и будут опубликованы), а то, как сделать так, чтобы доступ к AI в образовании не усиливал неравенство. Чтобы люди, у которых нет доступа к технологиям не оказывались за бортом просто по факту того, что у них нет доступа к интернету и они не знают про существование ChatGPT. Это вот, как мне кажется, вопрос на миллион, который хрен пойми как решать.
Какие-то первые и общие идеи по этому вопросу начали публиковать UNESCO. Вот вам ссылочки, если тоже интересно покопаться в вопросах неравенства в эпоху генеративного исскусственного интеллекта
https://www.unesco.org/en/digital-education/artificial-intelligence?hub=32618
Я честно говоря офигела, когда узнала что ChatGPT используют 200 миллионов человек еженедельно! Какие-то колоссальные масштабы использования, а образование как всегда не поспевает за технологиями и пока что слабо себе представляет как можно использовать инструменты типа ChatGPT в образовании детей и взрослых.
Кажется мне, что самый важный вопрос тут не то, как медологически внедрять AI в образование (с этим в течение 2-4 лет ученые разберутся, надо только подождать когда статьи пройдут все ревью и будут опубликованы), а то, как сделать так, чтобы доступ к AI в образовании не усиливал неравенство. Чтобы люди, у которых нет доступа к технологиям не оказывались за бортом просто по факту того, что у них нет доступа к интернету и они не знают про существование ChatGPT. Это вот, как мне кажется, вопрос на миллион, который хрен пойми как решать.
Какие-то первые и общие идеи по этому вопросу начали публиковать UNESCO. Вот вам ссылочки, если тоже интересно покопаться в вопросах неравенства в эпоху генеративного исскусственного интеллекта
https://www.unesco.org/en/digital-education/artificial-intelligence?hub=32618
www.unesco.org
Artificial intelligence in education
🔥4👍2
вот еще ссылочка на UNESCO "Guidance for generative AI in education and research"
https://unesdoc.unesco.org/ark:/48223/pf0000386693
Кстати, напишите мне, из России сайт Юнеско открывается вообще? или всё, тю-тю?
https://unesdoc.unesco.org/ark:/48223/pf0000386693
Кстати, напишите мне, из России сайт Юнеско открывается вообще? или всё, тю-тю?