Как вы знаете, 17 марта в России пройдут выборы президента.
Интересно, что референдум 91го года о сохранении СССР тоже проходил 17 марта.
По этому забавному стечению обстоятельств давайте разберем вопрос, который был вынесен на референдум и порассуждаем, что с ним не так.
В данном случае нас не должно смущать, что это, по сути, вопрос опроса (простите за дурацкую формулировку), а не задание теста. Общие идеи при разработке опросников и тестовых заданий похожи.
Ну а теперь к делу. Общее впечатление от этого вопроса можно обозначить как «девочка, ты что хочешь? На дачу, или чтобы тебе голову оторвали?» aka ложный выбор.
Откуда взялся в бюллетене этот ложный выбор? А вот тут, дамы и господа, мы подходим к самой сути. Ложный выбор тут появился из-за того, что горе-составители (давайте будем верить в то, что они это не специально) заложили две идеи в один вопрос. Первая идея: «считаете ли вы необходимым сохранение ссср». Вторая (придаточное предложение): «в которой будут гарантироваться права и свободы». И относится к этим двум идеям можно по-разному.
А ответ-то при этом только один! Таким образом, все, кто не хотел сохранения союза, одновременно отказывались и от соблюдения прав и свобод. А те, кто хотели согласиться на гарантию прав и свобод были вынуждены соглашаться на сохранение союза.
Ну и на закуску (тут у меня уже подгорает пердак): кто догадался выбирать ответ путем ЗАЧЁРКИВАНИЯ того варианта, который ты выбирать не хочешь?! Ну это же супер нелогично! Нашему мозгу привычно и логично делать какое-то действие (обводить, кликать мышкой) в сторону того варианта, который мы хотим выбрать, а не в сторону того варианта, от которого мы хотим избавиться.
Я бы постыдилась такой вопрос выносить на всеобщее обозрение…
Интересно, что референдум 91го года о сохранении СССР тоже проходил 17 марта.
По этому забавному стечению обстоятельств давайте разберем вопрос, который был вынесен на референдум и порассуждаем, что с ним не так.
В данном случае нас не должно смущать, что это, по сути, вопрос опроса (простите за дурацкую формулировку), а не задание теста. Общие идеи при разработке опросников и тестовых заданий похожи.
Ну а теперь к делу. Общее впечатление от этого вопроса можно обозначить как «девочка, ты что хочешь? На дачу, или чтобы тебе голову оторвали?» aka ложный выбор.
Откуда взялся в бюллетене этот ложный выбор? А вот тут, дамы и господа, мы подходим к самой сути. Ложный выбор тут появился из-за того, что горе-составители (давайте будем верить в то, что они это не специально) заложили две идеи в один вопрос. Первая идея: «считаете ли вы необходимым сохранение ссср». Вторая (придаточное предложение): «в которой будут гарантироваться права и свободы». И относится к этим двум идеям можно по-разному.
А ответ-то при этом только один! Таким образом, все, кто не хотел сохранения союза, одновременно отказывались и от соблюдения прав и свобод. А те, кто хотели согласиться на гарантию прав и свобод были вынуждены соглашаться на сохранение союза.
Ну и на закуску (тут у меня уже подгорает пердак): кто догадался выбирать ответ путем ЗАЧЁРКИВАНИЯ того варианта, который ты выбирать не хочешь?! Ну это же супер нелогично! Нашему мозгу привычно и логично делать какое-то действие (обводить, кликать мышкой) в сторону того варианта, который мы хотим выбрать, а не в сторону того варианта, от которого мы хотим избавиться.
Я бы постыдилась такой вопрос выносить на всеобщее обозрение…
👍3🤬3🤡1
Вот ссылка на памятку ВОЗ «важные навыки в период стресса», возможно, она вам сейчас будет полезна
https://www.who.int/docs/default-source/mental-health/sh-2020-rus-3-web.pdf
https://www.who.int/docs/default-source/mental-health/sh-2020-rus-3-web.pdf
❤5
Лежу я значит, болею, листаю бесконечно ленту и тут хоба! Статья в афише Дэйли про тесты. Дай, думаю, гляну, что там про выгорание пишут
На моменте, где автор пишет, что тест адаптирован только для 6ти стран, «но пройти тестирование могут и граждане других государств» я прооралась и решила, что достаточно на сегодня социальных сетей
На моменте, где автор пишет, что тест адаптирован только для 6ти стран, «но пройти тестирование могут и граждане других государств» я прооралась и решила, что достаточно на сегодня социальных сетей
😱4🌚2😁1🤡1
Очень часто слышу, как говорят "тест", подразумевая задание с выбором ответа (aka multiple choice). Я, конечно, понимаю, что когда мы в быту сталкиваемся с тестами они обычно выглядят как вагон заданий с выбором ответа. Но называть задание multiple choice тестом это как говорить "социология показала" (имея ввиду результаты социологического исследования)
Попивая чаёк в субботу не забывайте, что тест - это прежде всего спецификация, а не какие-то там задания
Попивая чаёк в субботу не забывайте, что тест - это прежде всего спецификация, а не какие-то там задания
❤5
Мы тут с замечательными коллегами делали тесты для юристов, и по следам они написали бомбическое руководство по тому, как разрабатывать задания не в стиле «какого цвета туфельки у Наташи Ростовой», а прямо такие классные задания на понимание, применение, анализ.
Я немножко тоже в руководство свою шаловливую руку запустила хехехе
Следующим сообщением репостну руководство, обязательно посмотрите!
Я немножко тоже в руководство свою шаловливую руку запустила хехехе
Следующим сообщением репостну руководство, обязательно посмотрите!
👍2
Forwarded from Форма права • Роман Янковский
Руководство - тесты по праву.pdf
3.8 MB
И еще одна премьера сегодня. С 2014 года я создаю онлайновые курсы, и довольно много времени посвятил разработке юридических тестов. В этой связи у меня два наблюдения:
1) составить хороший тест чертовски сложно и
2) юристы не умеют составлять тесты.
Наконец нашел время, чтобы обобщить свой опыт, и по итогам составил небольшое руководство. В нем описываю, что надо иметь в виду до и после разработки теста, с какой целью тесты разрабатываются, а также привожу массу примеров хороших и плохих заданий. Надеюсь, пригодится как преподавателям, так и сотрудникам юрфирм, которые тестируют кандидатов на стажировки.
Скачивайте бесплатно, без регистрации и смс: Янковский Р.М. Тестируем юристов: руководство по разработке тестовых заданий по праву. М., ЦТЮО, 2024 🎅🏻
1) составить хороший тест чертовски сложно и
2) юристы не умеют составлять тесты.
Наконец нашел время, чтобы обобщить свой опыт, и по итогам составил небольшое руководство. В нем описываю, что надо иметь в виду до и после разработки теста, с какой целью тесты разрабатываются, а также привожу массу примеров хороших и плохих заданий. Надеюсь, пригодится как преподавателям, так и сотрудникам юрфирм, которые тестируют кандидатов на стажировки.
Скачивайте бесплатно, без регистрации и смс: Янковский Р.М. Тестируем юристов: руководство по разработке тестовых заданий по праву. М., ЦТЮО, 2024 🎅🏻
🔥11👍2
Анонсирую огненную мастерскую ЛШ с особой любовью к месту проведения (привет родная Дубна🥰)
Открыта регистрация на Тестовую мастерскую «Летней школы» на Волге!
«Летняя школа» — ежегодный междисциплинарный научно-полевой лагерь, который проводится с 2004 года.
🎓 Кого мы ждем?
Будем рады видеть всех (старше 18 лет), кому интересна тема создания тестов и опросников.
Для участия в мастерской нужно подать заявку и выполнить вступительное задание до 5 июня.
🗓 Даты проведения
с 5 по 20 июля 2024 года
📍Расположение
На базе «Волга», недалеко от города Дубна (120 км от МКАД).
🍀 Стоимость участия
Обучение бесплатное
На организационные расходы (питание, проживание и другое) «Летняя школа» собирает добровольные взносы.
Участие в Тестовой мастерской дает дополнительные баллы в магистратуру «Обучение и оценивание как наука» НИУ ВШЭ 🏆
— Подать заявку и узнать подробнее про Тестовую мастерскую
— Ответы на вопросы про «Летнюю школу»
— Что взять с собой
— Для связи по любым вопросам: https://t.me/son_nekrasova
Открыта регистрация на Тестовую мастерскую «Летней школы» на Волге!
«Летняя школа» — ежегодный междисциплинарный научно-полевой лагерь, который проводится с 2004 года.
🎓 Кого мы ждем?
Будем рады видеть всех (старше 18 лет), кому интересна тема создания тестов и опросников.
Для участия в мастерской нужно подать заявку и выполнить вступительное задание до 5 июня.
🗓 Даты проведения
с 5 по 20 июля 2024 года
📍Расположение
На базе «Волга», недалеко от города Дубна (120 км от МКАД).
🍀 Стоимость участия
Обучение бесплатное
На организационные расходы (питание, проживание и другое) «Летняя школа» собирает добровольные взносы.
Участие в Тестовой мастерской дает дополнительные баллы в магистратуру «Обучение и оценивание как наука» НИУ ВШЭ 🏆
— Подать заявку и узнать подробнее про Тестовую мастерскую
— Ответы на вопросы про «Летнюю школу»
— Что взять с собой
— Для связи по любым вопросам: https://t.me/son_nekrasova
❤6🔥3
Отдельно хочу про тестовую мастерскую рассказать. Это самое чистое проявление любви к психометрике, которое я видела. Каждый год ребята бесплатно организуют мастерскую, согласуют программу, договариваются с преподами, несут доброе и светлое тест-девелоперское людям.
Когда-то и я в ней участвовала, даже приезжала в родную Дубну и проводила занятия очно:) Потом коронавирус, эмиграция, вот это вот всё. А ребята держатся и продолжают рассказывать про то, как делать тесты грамотно!
Если не можете съездить сами, поддержите ребят трудовым рублем!
https://www.letnyayashkola.org/about/requisites/
Когда-то и я в ней участвовала, даже приезжала в родную Дубну и проводила занятия очно:) Потом коронавирус, эмиграция, вот это вот всё. А ребята держатся и продолжают рассказывать про то, как делать тесты грамотно!
Если не можете съездить сами, поддержите ребят трудовым рублем!
https://www.letnyayashkola.org/about/requisites/
Летняя школа
Летняя школа — проект, собирающий на протяжении 15 лет людей, желающих учить и учиться.
❤🔥8❤1
Четверговый пост бомбления🍑💣
Частая тест-девелоперская задача - доработать уже имеющийся тест. Ну под новую цель, целевую аудиторию или конкретного заказчика, например.
Собираешь значит все документы по имеющемуся тесту, а там - пиздец. 141 документ, 87 из которых про одно и то же (и чаще всего это маркетинговые материалы), а методология не описана, свидетельства валидности только на словах, а в спецификации (или как ее еще называют "паспорте") описание заданий без всякой связки с тем, что они измеряют.
И ты сидишь с этим пазлом в котором половину кусков потеряли, ставишь миллион созвонов, чтобы собрать недостающую инфу, плачешь кровавыми слезами и вопрошаешь "ну почему нельзя нормально все описать в одном документе?!". От этого же было бы легче всем - вам понимать что в тесте происходит (что с ним можно делать, а что - нельзя), вашим маркетологам тест будет продавать, вашим клиентам проще довериться вашей методике и экспертизе...
Блин, ну вот пишет у вас кто-то тестовые материалы, ну пусть этот человек записывает в паспорт ВСЁ! Вот просто абсолютно ВСЁ! Созвонились и порешили что логику предъявления заданий надо переделать? Не удаляй то, что было написано, сделай новыцй абзац и напиши "вот такого-то числа поменяли логику на такую-то". Ну вот всем же потом проще разобраться будет "что откуда вытекает арифметике в почёт" (это из мультика Вовка в тридевятом царстве).
Если встает вопрос нужно ли вообще что-то писать в паспорт - не мучайтесь, ДА НУЖНО, просто запишите! в худшем случае это никому не понадобится, в лучшем - следующий тест-девелопер не будет плакать, а маркетолог не будет ебать мозг бесконечными созвонами.
Всё, отлегло, пасибо что послушали, пойду дальше пазл собирать
Частая тест-девелоперская задача - доработать уже имеющийся тест. Ну под новую цель, целевую аудиторию или конкретного заказчика, например.
Собираешь значит все документы по имеющемуся тесту, а там - пиздец. 141 документ, 87 из которых про одно и то же (и чаще всего это маркетинговые материалы), а методология не описана, свидетельства валидности только на словах, а в спецификации (или как ее еще называют "паспорте") описание заданий без всякой связки с тем, что они измеряют.
И ты сидишь с этим пазлом в котором половину кусков потеряли, ставишь миллион созвонов, чтобы собрать недостающую инфу, плачешь кровавыми слезами и вопрошаешь "ну почему нельзя нормально все описать в одном документе?!". От этого же было бы легче всем - вам понимать что в тесте происходит (что с ним можно делать, а что - нельзя), вашим маркетологам тест будет продавать, вашим клиентам проще довериться вашей методике и экспертизе...
Блин, ну вот пишет у вас кто-то тестовые материалы, ну пусть этот человек записывает в паспорт ВСЁ! Вот просто абсолютно ВСЁ! Созвонились и порешили что логику предъявления заданий надо переделать? Не удаляй то, что было написано, сделай новыцй абзац и напиши "вот такого-то числа поменяли логику на такую-то". Ну вот всем же потом проще разобраться будет "что откуда вытекает арифметике в почёт" (это из мультика Вовка в тридевятом царстве).
Если встает вопрос нужно ли вообще что-то писать в паспорт - не мучайтесь, ДА НУЖНО, просто запишите! в худшем случае это никому не понадобится, в лучшем - следующий тест-девелопер не будет плакать, а маркетолог не будет ебать мозг бесконечными созвонами.
Всё, отлегло, пасибо что послушали, пойду дальше пазл собирать
❤5🔥2😁1💯1
Вот вам кстати полезные ссылки про спецификацию и наша с Дианой Колесниковой памятка.
Хз правда откроются ли ссылки из России, если нет, напишите в личку, кину пдфку
O'Neil Jr, H. F., & Schacter, J. (1997). Test specifications for problem-solving assessment.
https://files.eric.ed.gov/fulltext/ED418103.pdf
Testcraft: A Teacher's Guide to Writing and Using Language Test Specifications
Gorin, J. S. (2007). Test construction and diagnostic testing. Cognitive diagnostic assessment for education: Theory and applications, 173-201.
Хз правда откроются ли ссылки из России, если нет, напишите в личку, кину пдфку
O'Neil Jr, H. F., & Schacter, J. (1997). Test specifications for problem-solving assessment.
https://files.eric.ed.gov/fulltext/ED418103.pdf
Testcraft: A Teacher's Guide to Writing and Using Language Test Specifications
Gorin, J. S. (2007). Test construction and diagnostic testing. Cognitive diagnostic assessment for education: Theory and applications, 173-201.
❤9
В Воронеже школьниц заставили раздеться перед сдачей ЕГЭ.
Поскольку это только по касательной про тест-девелопмент, то и комментарий у меня будет короткий:
Это пиздец
Поскольку это только по касательной про тест-девелопмент, то и комментарий у меня будет короткий:
Это пиздец
🤡7
Нет, всё-таки эта новость не по касательной про тест-девелопмент, поэтому ща будет длинный пост.
Эта новость касается тест-девелопмента с двух сторон.
1) бумажно-организационная сторона.
Чтобы от такой хрени не страдали никакие респонденты, нужно тщательно описывать правила администрирования теста. Обычно эти правила упаковывают в инструкции для разных участников тестирования, например, наблюдателей в аудитории, ОХРАННИКОВ, координаторов школы, города, региона и тп. И в этих инструкциях по этапам (до тестирования, во время, после) прописывается всё, что может и должен делать каждый человек.
2) содержательная сторона.
А нафига вообще кого-то проверять на шпаргалки? Мы что, в жизни без Гугла и chatGPT живем? Делайте блин тесты на анализ, умение делать выводы, сравнение, выявление факторов, поиск причин, установление отличий и разрешите бедным школьникам и студентам пользоваться на экзаменах калькуляторами, учебниками, справочниками. Ну серьезно, мы к жизни в реальном мире готовим учеников или к тюрьме, где тебя шмонают в поисках лишней ручки?
составляйте инструкции, котики🌸
Эта новость касается тест-девелопмента с двух сторон.
1) бумажно-организационная сторона.
Чтобы от такой хрени не страдали никакие респонденты, нужно тщательно описывать правила администрирования теста. Обычно эти правила упаковывают в инструкции для разных участников тестирования, например, наблюдателей в аудитории, ОХРАННИКОВ, координаторов школы, города, региона и тп. И в этих инструкциях по этапам (до тестирования, во время, после) прописывается всё, что может и должен делать каждый человек.
2) содержательная сторона.
А нафига вообще кого-то проверять на шпаргалки? Мы что, в жизни без Гугла и chatGPT живем? Делайте блин тесты на анализ, умение делать выводы, сравнение, выявление факторов, поиск причин, установление отличий и разрешите бедным школьникам и студентам пользоваться на экзаменах калькуляторами, учебниками, справочниками. Ну серьезно, мы к жизни в реальном мире готовим учеников или к тюрьме, где тебя шмонают в поисках лишней ручки?
составляйте инструкции, котики🌸
❤🔥8