Как создать анкету для научного исследования: дизайн, выборка и анализ данных

Саммари мастер-класса участницы сообщества Наталии Щербаковой о работе с анкетными инструментами: как выбрать дизайн исследования, разработать анкету с нуля, проверить её валидность и надёжность, сформировать выборку, рассчитать необходимое число респондентов и корректно проанализировать полученные данные.

Каким может быть дизайн исследования:

▪️Смешанный (mixed methods) — комбинация количественных данных (анкеты) и качественных методов (интервью, фокус-группы). Используется, когда важно не только измерить показатели, но и понять причины и контекст.

▪️До и после (pre-post design) — сравнение показателей до и после. Часто применяется в терапии и для оценки эффективности программ обучения.

▪️Поперечный (cross-sectional) — сбор данных однократно в определённый момент времени. Подходит для изучения распространённости явлений и выявления связей между переменными.

Как подойти к разработке анкеты — есть два пути:

▪️Использовать существующий инструмент — найти анкету в научной литературе и адаптировать её под свою исследуемую группу (если это полноценный валидированный инструмент, например, шкала депрессии Бека, то изменение вопросов и формулировок не допускается).

▪️Создать анкету de-novo, самостоятельно с нуля.

Как разработать анкету с нуля и что делать на каждом этапе

Шаг 1. Проведите качественное исследование

Перед созданием анкеты важно понять, как респонденты воспринимают изучаемый феномен.

Для этого подойдут: глубинные интервью, фокус-группы или просто обсуждения с представителями интересующей вас группы.

Зачем нужно: выявить ключевые аспекты явления, понять язык респондентов и корректно сформулировать вопросы.

Шаг 2. Разработайте черновик анкеты

На основе собранных данных сформируйте структуру и блоки вопросов.

Распространённые типы вопросов:

▫️дихотомические (да/нет, верно/неверно)

▫️множественный выбор (один или несколько вариантов ответа)

▫️шкальные вопросы (например, шкала Ликерта — оценка степени согласия с утверждением по шкале, обычно от 1 до 5 или 7)

▫️ранжирование (распределение вариантов по степени важности)

Шаг 3. Проведите пилотное анкетирование

Апробируйте анкету с небольшой выборкой будущих респондентов на предмет ясности вопросов и времени для заполнения анкеты.

Шаг 4. Определите способ набора выборки

Выборка — способ отбора участников из генеральной совокупности, всего количества людей, связанных с изучаемым феноменом.

Подходы к формированию выборки:

▫️вероятностные выборки (probability sampling) — каждый участник имеет известную и ненулевую вероятность попасть в исследование, что позволяет обобщать результаты

а) простая случайная выборка (simple random sampling) — каждый участник имеет равный шанс быть выбранным (реализуется, например, с помощью генератора случайных чисел из полного списка потенциальных респондентов)

б) систематическая выборка (systematic sampling) — отбор по заданному шагу (например, каждый 10-й человек в списке)

в) кластерная выборка (cluster sampling) — генеральная совокупность делится на группы, после чего случайным образом выбираются некоторые из них, и исследуются все участники внутри выбранных групп или подвыборка внутри них (например, университеты, больницы и компании)

▫️невероятностные выборки (non-probability sampling) — используются, когда невозможно определить или охватить всю генеральную совокупность

а) стихийная или удобная выборка (convenience sampling) — формируется из наиболее доступных исследователю участников (например, своих студентов, коллег, подписчиков в соцсетях)

б) квотная выборка — отбор по заданным характеристикам (например, исследователь формирует процентное соотношение по полу, возрасту, региону проживанию)

в) снежный ком (snowball sampling) — участники исследования по личным контактам привлекают новых респондентов (подходит как для труднодоступных маргинализированных групп, так и для закрытых профессиональных сообществ)

Шаг 5. Рассчитайте необходимое число респондентов

Минимальный размер выборки считается по формуле, основанной на теории вероятностей: N = P (100-P) Z² / E²

N — необходимое число респондентов

P — предполагаемая распространённость явления

Z — уровень достоверности (1.96 для 95% доверительного интервала)

E — допустимая погрешность (например, 5%)

Эти параметры позволяют рассчитать минимальное количество участников для статистически корректного исследования.

Шаг 6. Получите одобрение этического комитета

Одобрение исследования этическим комитетом необходимо получить до начала сбора данных (научные журналы нередко требуют приложить копию такого одобрения при подаче рукописи).

Шаг 7. Начните сбор данных

После того как уточнены и утверждены все формулировки, проверены структура анкеты и корректность шкал, можно запускать сбор данных.

На этом этапе важно обеспечить равные условия для всех респондентов и по возможности контролировать качество ответов (минимизировать пропуски, некорректные ответы).

Шаг 8. Проверьте валидность анкеты (важно при создании формальных инструментов для будущего практического использования в медицине и образовании)

Валидность — мера пригодности и обоснованности, показывающая, действительно ли инструмент измеряет исследуемый феномен. Она подтверждает, что анкета даёт точные и адекватные цели исследования ответы, а не случайные данные.

Основные типы валидности:

▫️лицевая (face validity) — самый поверхностный критерий, субъективная оценка респондента, выглядит ли для него анкета подходящей исследуемому вопросу

▫️содержательная (content validity) — оценивает, охватывает ли инструмент все важные аспекты, относящиеся к феномену

▫️конструктная (construct validity) — проверяет, согласуется ли новый инструмент с существующими теоретическими моделями и ранее валидированными шкалами

▫️критериальная (criterion validity) — сравнение результатов анкеты с внешними показателями (например, совпадает ли низкий/высокий балл по шкале депрессии Бека с клиническими проявлениями депрессии)

Шаг 9. Оцените надёжность анкеты (важно при создании формальных инструментов для будущего практического использования в медицине и образовании)

Надёжность — способность инструмента давать стабильные и согласованные результаты.

Как можно проверить:

▫️ретестовая надёжность — повторное заполнение анкеты через некоторое время даёт схожие результаты

▫️внутренняя согласованность — показывает, насколько вопросы измеряют один и тот же феномен, обычно оценивается с помощью коэффициента Кронбах альфа (надёжная шкала — α ≥ 0,7)

Шаг 10. Проанализируйте результаты

Для обработки собранных данных используются два уровня анализа:

▫️описательная статистика (descriptive) — для описания полученных результатов (частота, процент, средние значения и стандартные отклонения)

▫️аналитическая статистика (inferential) — для поиска взаимосвязей между исследуемым феноменом и другими переменными, нахождения факторов, которые влияют на проявление феномена

Метод в Telegram | Метод в Max

Последние два года исследования ИИ в образовании повторяли: чем чаще студенты используют ИИ, тем хуже становятся их критическое мышление и память. Но проблема не в том, что студенты делегируют часть умственной работы, а в том, что они делают с освободившимися когнитивными ресурсами.

В статье Pedagogical Partnerships with Generative AI in Higher Education авторы задались вопросом: что на самом деле происходит с мышлением и обучением, когда студенты используют ИИ как интеллектуального соавтора, а не просто как пассивный инструмент с готовыми ответами.

Учёные ожидали подтвердить прежнюю гипотезу: если ИИ снижает когнитивную нагрузку, значит, студенты прикладывают меньше усилий и испытывают меньше трудностей, а следовательно, хуже обучаются. Однако результаты показали противоположное.

Когда студенты относились к ИИ как к интеллектуальному партнёру — спорили с ним и перепроверяли его выводы, — у них включались две реакции:

▪️когнитивная бдительность — критическая оценка ответов ИИ

▪️когнитивная разгрузка — делегирование рутинных задач для решения более сложных вопросов

Эти механизмы оказались связаны с трансформирующим обучением: студенты не просто запоминали материал, а пересматривали собственные убеждения и больше погружались в изучаемую тему.

ИИ помогает не всегда

Авторы обнаружили, что связь между делегированием задач и глубиной обучения имеет U-образную форму: важно не просто использовать ИИ, а то, как именно это делать.

Вариант 1 — без когнитивной разгрузки

Студент всё делает сам: ищет литературу, читает источники, пишет черновики и структурирует данные. Обучение происходит, но медленно. Большая часть ресурсов — времени, внимания и когнитивных усилий — уходит на рутинные операции. На размышления, анализ и рефлексию их почти не остаётся.

Вариант 2 — поверхностная разгрузка

Студент использует ИИ точечно: поправить формулировку, проверить факт. Парадоксально, но этот сценарий оказался самым неэффективным. Студент по-прежнему выполняет почти всю работу сам, но теперь дополнительно тратит силы — формулирует запросы, оценивает ответы, переключается между собственным мышлением и подсказками ИИ.

Вариант 3 — стратегическая когнитивная разгрузка

Студент отдаёт ИИ крупные блоки работы: первичный обзор литературы, подготовку черновиков, организацию данных. Высвободившиеся ресурсы он направляет на то, с чем не способен справиться ИИ: критический анализ, поиск противоречий, построение оригинальной аргументации, принятие решений, переосмысление выводов.

Что в результате: небольшая помощь ИИ менее полезна, чем полный отказ. А вот стратегическое делегирование действительно создаёт пространство для мышления. Исследователи назвали это парадоксом когнитивной разгрузки.

❕Разгрузка может привести к более качественному и глубокому обучению при двух условиях:

▪️студенты делегируют достаточно большой объём работы, чтобы действительно освободить когнитивные ресурсы

▪️освободившиеся ресурсы направляются на задачи более высокого уровня, а не просто на экономию времени

Что это значит для преподавателя — принципы дизайна обучения с ИИ

▫️Представлять ИИ как интеллектуального соавтора, а не как инструмент для получения готового ответа.

▫️Встраивать проверку ответов ИИ в учебный процесс (критическая оценка результатов — сильный фактор глубокого обучения и одновременно наименее развитый навык среди пользователей ИИ).

▫️Сохранять порядок: «сначала думает человек, потом — ИИ».

▫️Использовать ИИ для обнаружения ошибок, а не для их исправления.

Именно дизайн обучения, а не технология, решает, станет ли когнитивная разгрузка заменой мышления или, наоборот, создаст для него больше пространства. Студенты, которые делегировали значительную часть умственной работы ИИ, не учились меньше — они чаще пересматривали собственные предположения, меняли свою точку зрения, глубже анализировали материал и погружались в предмет.

ИИ — ещё одна переменная педагогического дизайна. И его влияние полностью зависит от решений, принимаемых человеком.

Метод в Telegram | Метод в VK | Метод в Max