https://ags.ht.ru/?p=4322

Название статьи:

"Сколько и как может заработать в Интернете разработчик тестов знаний?"

Сегодня я попытался перенести на свой "авторский блог А.Г.Шмелева" некоторые старенькие статьи, зависшие на непосещаемом теперь моем Дзен-канале (попавшем в так называемый "неявный бан").

Забавно сравнить расценки на создание тестовых заданий в конце 2022 года и теперь. Как Вы сами считаете, что случилось за эти три года с появлением ИИ (нейросетевых ассистентов)? Расценки упали?

ПОЯСНЕНИЕ: статейка была написана накануне "Зимней Психометрической Школы" 2022 года. Тогда еще не был закончен набор. Прошу не перепутать с нынешним сезоном! Мы с Вами находимся в феврале 2026 уже, то есть набор завершен, школа давно идет и прошла переходный момент - переход от лекционного цикла к практикуму.

Дорогие коллеги - подписчики этого ТГ-канала, здравствуйте!

Разрешите воспользоваться таким особым "информационным поводом", которым является сегодняшний ДР Александра Шмелева, и предложить Вам сделать мне (новорожденному) небольшой подарочек - пройти вот этот коротенький тест-опосничек:

https://test.ht-inc.ru/test/0d3b33daf1f52c72c90bc7a4dc35f477

Эта методика не займет у Вас больше 5-7 минут. Все семь вопросов (7 экранов) крутятся так или иначе вокруг факторов HEXACO ("Большая шестерка"). Поэтому особенно рекомендую принять участие тем, кто хотел бы поглубже вникнуть, что это за факторы.

Обещаю обсудить собранную статистику и раскрыть маленькие секреты этой методики на "блоге Шмелева". Заранее благодарю всех, кто откликнется.

P.S.
Без паники: методику можно пройти под каким-нибудь псевдонимом, так что никто ничего не узнает!

В рамках проекта "КВАЛИМИН-26" мы проводим в эти дни экспертный опрос по типу "Свободная классификация"

https://test.ht-inc.ru/test/9f0efb00cdb2ee75dc5a4110021024ea

Речь идет о структуре будущего экзамена для психологов - о составе тематических разделов такого экзамена. Надо расклассифицировать 25 видов практической деятельности (прикладных задач). Работа займет не более 10 минут.

ПИЛОТНАЯ ВЕРСИЯ "КВАЛИМИН-26"

Уважаемые коллеги, в эти 2 дня - 18 и 19 февраля - мы проводим пилотные испытания совсем свежего банка тестовых заданий для практических психологов "КВАЛИМИН-26". В тесте 50 заданий по 5 разделам, включающим как теорию ( по общей, дифференциальной, социальной, организационной и клинической психологии), так и некоторые миникейсы (последние собраны в разделе 5 "Этические стандарты"). Уже измерена средняя продолжительность сеанса - примерно 25 минут. Трудность 73% на шкале ППО. Респондент немедленно после окончания узнает свои результаты - процент правильных ответов по каждому разделу теста и общий балл.

Где ссылка для выполнения? - Увы, мы пока ограничиваем число лиц, получающих доступ к этому банку еще сырых заданий (в будущем создаваемая демоверсия станет открытой). Чтобы получить персональную одноразовую ссылку для запуска этой методики, пишите заявку на следующий адрес почты - lk@ht.ru.

Сегодняшняя статья на "блоге Шмелева" получила название:

"Почему нет ничего более практичного, чем хорошая теория?"

Она посвящена обсуждению неадекватных ожиданий от теста КВАЛИМИН - теста для измерения уровня теоретической подготовки практических психологов.

Коллеги, нашу пилотную версию теста КВАЛИМИН-ПП прошли на данный момент 35 человек. Поясняю, что "ПП" означает, что это теоретический минимум знаний Практических Психологов.

Выборка пока очень небольшая, но уже сейчас видно, что разделы этого сырого варианта у нас не сбалансированы пока по трудности: более трудные задания - в разделе 4, а более легкие - в разделе 5. Хотя в целом трудность близка к оптимальному уровню, комфортному для большинства (это ППО=70%).

Напоминаю, что желающие могут получить одноразовую персональную ссылку, если пошлют свою заявку на почтовый адрес lk@ht.ru. Сам тест не требует регистрации под реальными ФИО (!).

Итак, противники НОК для психологов обрушивают на своих оппонентов горы демагогии, облаченной в "юридическую аргументацию". При этом они ничего не говорят малообразованных психологам (в области права малообразованным), что согласно "Закону об образовании в РФ" каждый дипломированный специалист должен регулярно в течение профессиональной жизни проходить повышение квалификации, после которого эффективность его повышения должна подвергаться объективной оценке (!). А если специалист этого не делает, то согласно ТК РФ может быть... .уволен (!). Почему-то профи в других областях (медики, например) это понимают, но психологи - это люди, которые категорически отказываются это понимать. Почему? - Вы догадываетесь, в чем причина? До нее вовсе не трудно "докопаться". Ведь все дело в том, что вузы очень плохо контролируют уровень подготовки своих выпускников-психологов на своих выпускных экзаменах (!). А еще хуже это делают разные "укороченные курсы дополнительного образования"... Чтобы в этом убедиться достаточно пригласить для выполнения элементарных тестов массовых выпускников этих вузов и этих курсов.

https://psy.su/feed/13555/?utm_campaign=news&utm_medium=email&utm_source=Психологиподписчики&utm_content=

КОММЕНТАРИЙ А.Г.ШМЕЛЕВА

Что лично меня привлекло в этом объявлении, коллеги? Ведь сама по себе методика PiF уже давно не новая (как и сам подход, лежащий в ее основе). А привлекло меня в этот раз такое грозное предупреждение: "Запись вебинара вестись не будет" (!). Мда...не слишком гуманно, но, видимо, правильно. Ибо в последнее время доля тех, кто рассчитывает именно посмотреть видеозапись, все время растет, а когда видишь, что на вебинар из 100 записавшихся приходят 5 человек, то ...гм...настроение у ведущего (у лектора) как-то невольно падает...

https://disk.360.yandex.ru/i/Kvgnj2BFLyAL8w

По просьбе автора публикую здесь ссылку на PDF-файл со статьей Нины Александровны Пастернак. Название:

"Побочный эффект рефлексивного тренинга : почему студенты стали давать слишком много ответов?

Наши коллеги из компании "Иматон" продолжают рекламировать известную методику парных сравнений. 8 ценностно-мотивационных конструктов образуют 8*7/2 = 28 парных сочетаний в рамках некого "турнира высказываний". У нас в методике СТМ задействованы уже 12 конструктов, что дает 12*11/2=66 парных сочетаний (экранов). Помнится, как к нам пришел в конце тяжелого десятилетия 1990гг еще молодой Саша Горбачев и как он начал увлеченно продвигать СТМ (Структура Трудовой Мотивации). Настолько, что эта методика на какой-то время у нас выбилась в лидеры продаж (!). Но... до сих пор сохраняется концептуальная неопределенность относительно того, а что же на самом деле измеряет такая методика (?!) См. опрос-голосование в следующем сообщении.

https://ags.ht.ru/?p=4359

Сегодняшняя статья на блоге Шмелева называется:

"Продолжается эксперимент «Пожилой Шмелев и английский язык»"

Итак, коллеги, проделана большая работа коллективом авторов из 24 человек. Наша с Вами группа ПЕРВОЙ получает возможность познакомиться с продуктом - с демоверсией КВАЛИМИН-26:

https://test.ht-inc.ru/test/e4151d9069a4f128d49681c770ed50a1

В пяти разделах этого теста 50 заданий (по 10 в каждом разделе). На каждое задание отводится не более 70-80 секунд, но большинство заданий решаются гораздо быстрее (в среднем за 35 секунд). Всего сеанс займет у Вас не более 25-35 минут. Тест можно пройти полностью АНОНИМНО.

ПРОСЬБА. Да, это не слишком популярное занятие - читать инструкции, но в данном случае просьба прочесть их полностью и внимательно! Нам очень важно получить ваши замечания и рекомендации. Будет специальное поле на странице с отчетом для вашего отзыва.

СПАСИБО!

P.S. Если Вы хотите измерить свой уровень и сопоставить его с результатами остальных, то просьба отнестись максимально ответственно именно к первой попытке. Результаты второй и следующих попыток уже НЕ будут включены в демо-рейтинг.

ПОЯСНЕНИЕ НАСЧЕТ ДЕМОВЕРСИИ "КВАЛИМИН-26/50"

Коллеги, очень вяло пошел сегодня процесс знакомства с созданной демоверсией. Догадываюсь, что во многом это результат того, что совсем недавно (в феврале) мы открыли в клубе КИТТ тестирование по пилотной версии. Но, коллеги, я не объяснил Вам, чем данная демоверсия СУЩЕСТВЕННО отличается от пилотной (!).

Пилотная (экспериментальная) версия включала 127 заданий. Из них случайным образом подбирались и предъявлялись в одном сеансе 50 заданий. Все эти 127 заданий были еще "сырыми" авторскими заданиями. Что это значит "сырыми"? - А это значит, что по ним не были накоплены еще данные в ходе реального, скоростного выполнения теста. Какие данные? - Это прежде всего ППО (процент правильных ответов) и КД (коэффициент дискриминативности). Коротко поясню (для тех, кто пока не учился этому в наших психометрических школах), что КД означает "разницу в процентах правильных ответов в группе с высокими и группе с низкими результатами".

Пилотную версию у нас выполнили 125 человек. На основании этой статистики в демоверсию вошли лучшие 50 заданий. Это такие, у которых КД был выше 30%, а ППО выше 50% (то есть легкие). Как видим, в результате такого отбора тест стал и лучше (точней) и легче! А это значит, что тестовые нормы по этому тесту необходимо теперь набирать ЗАНОВО, то есть прежние результаты по 127 сырым заданиям в этом не могут участвовать.

Пока созданную легкую и скоростную демоверсию (с ограничением на время ответов) прошли у нас только 10 человек (да к тому же большая часть из них - это пока участники-соавторы проекта, которые следили за тем, как использованы в проекте созданные ими задания, хотя сами уже являются "испорченными испытуемыми" - не первый раз читают и понимают задания других авторов). Поэтому результаты у большинства пока - в районе 80% правильных ответов. Но запланировано ожидаемое снижение среднего ППО до 70%.

Зачем я все это объясняю? - Затем, чтобы те, кто сомневается, не слишком опасались получить низкий балл и ... расстроиться. Даже на сырой пилотной версии результат ниже ППО=50% встречался у нас крайне редко (так как авторы были сориентированы на создание именно легких ознакомительных тестовых заданий).

Еще раз повторяю ссылку на демоверсию:

https://test.ht-inc.ru/test/e4151d9069a4f128d49681c770ed50a1

И еще раз повторяю, что ее выполнение не требует ввода подлинных ФИО и даже не требует ввода почтового адреса (это по желанию).

А что такое "демо-рейтинг"? - Ну об этом, пожалуйста, почитайте в подробной инструкции к тесту. Для этого надо кликнуть на ссылку и почитать инструкцию :)

P.S.
Возможно, что надо изменить терминологию: назвать пилотную версию из сырых заданий более правильно было бы "экспериментальной версией", а данную демоверсию - "пилотной версией" (!). Подобные возможные изменения в терминологии мы как раз сегодня обсуждаем в нашей авторской группе.

https://ags.ht.ru/?p=4377

На блоге Шмелева сегодня появилась статья под названием "Открытая демоверсия КВАЛИМИН-26/50 создана и доступна для психологов"

Кроме того, что уже известно читателям ТГ-канала "Компьютерная психодиагностика", здесь впервые опубликованы результаты выполнения данного теста таким своеобразным испытуемым, каким является нейросетевой ИИ, а также подробный диалог о проекте между автором и нейронкой DeepSeek. Авторскому коллективу этот ИИ рассыпал кучу комплиментов (а сам-то сидит довольный свои результатом).

Высоким ли оказался тестовый балл, полученный "нейронкой"? - Почитайте!

Уже и QWEN, и Гигачат тоже справились с тестом и тоже показали очень высокий результат... Позднее абсолютный результат 50 из 50 показали нейронки ChatGPT и Perplexity.

КАКОВА ВАЛИДНОСТЬ МЕТОДИКИ КВАЛИМИН?

Коллеги, пошло такое обсуждение методики, что мне пришлось уже сегодня дописать во вчерашнюю статью данные о том, насколько уже на сырых заданиях пилотной версии различались результаты в двух группах испытуемых:

Группа А численностью в 64 человека имеет и психологическое образование, и опыт практической работы. Средний балл на шкале ППО = 67%

Группа D численностью в 35 человек НЕ имеет ни психологическое образование, ни опыта практической работы. Средний балл на шкале ППО = 48%

С учетом величины стандартного отклонения в двух выборках различие средних по критерию Стьюдента оказалось значимым на самом высоком уровне p<0,001 (гипотеза о равенстве средних отвергается с пренебрежимо малой вероятностью ошибки менее 0,1% процента). Соответствующий точечно-бисериальный коэффициент для различения этих двух групп равен 0,603. Грамотные в тестологии люди в курсе, что это ОЧЕНЬ высокий коэффициент валидности (!).

Повторяю вчерашнюю ссылку на статью и демоверсию

https://ags.ht.ru/?p=4377

Пока демоверсию прошли 18 человек из этого ТГ-канала.

https://ags.ht.ru/?p=4415

Сегодняшняя статья на блоге Шмелева носит название:

"Кластеризация видов деятельности психолога и перспективы проекта КВАЛИМИН"

https://vk.com/ags12?w=wall2100855_8276

Сегодня на моей "стене" в сети ВК я собрал результаты "цифровых ученых котов" в одном месте.

ХОРОШАЯ НОВОСТЬ И ВОПРОС


Сегодня с помощью моего младшего сына (который очень ловко научился подсовывать в диалоговое окно ChatGPT графический файлы) мы проверили сразу несколько вещей.

1) Оказалось, что ChatGPT прекрасно разбирается в очень большом и мелком тексте, когда надо выполнять методику "свободная сортировка 25 видов деятельности психолога". По этой методике этот "цифровой мудрец" занял почетное 4-е место (из 32 участников) и на одну позицию обошел результат, показанный DeepSeek. Между прочим очень закономерное превосходство: почти во всех наших состязаниях ChatGPT на полкорпуса впереди. Мда... эта новость так себе, конечно. Выяснилось, что не надо даже предъявлять нейронке список видов деятельности в текстовом формате, а достаточно сделать фотку с экрана, сократив размер шрифта до минимума (чтобы экран не роллировать) (!).

2) А вот хорошая новость. Заключается она в том, что, как выяснилось, ChatGPT пока еще не умеет играть в шахматы. Поэтому для пользователей этой "нейронки" наш проект "Шахтест" вовсе еще не умер. Решая шесть наших откалиброванных шахматных этюдов "мат в один ход", эта нейронка справилась только в 2-х случаях (а в четырех предложила ошибочный ход), а общее время решение отбрасывает этого "мудреца" в последний самый нижний дециль - на уровень начинающих игроков, которые едва изучили, как ходят фигуры (!).

ВОПРОС к читателям. Может быть Вы подскажите такую нейронку, которая уже хорошо обучилась играть в шахматы? Не хочется самому перебирать среди всяких Gemini (говорят эта Gemini получше разбирается в графических файлах) и т.п.

3) Но есть и самая хорошая новость! - Она заключается в том, что найден такой режим выполнения тестов, когда знающий пользователь, не получающий подсказок от нейронки, работает значительно быстрей (в разы!), чем невежественный пользователь, который тратит время на то, чтобы фотографировать экран в диалоговом окне с нейронкой. Какой это режим? - Предпочитаю пока придержать эту новость в секрете. Она поможет нам без особых оргзатрат обеспечить так называемый "народный рейтинг" в проекте КВАЛИМИН (!).

======================

В следующем сообщении предъявляю картинку с одним из о-очень известных и простых шахматных этюдов, который "мудрец" не может решить (решает, но со второй попытке и расходует на 2 попытки очень много времени).

Эта смешная позиция известна в народе под названием "мат в три хода" или "Детский мат". Но "мудрец" предложил сделать ход белым слоном на f7 вместо выигрышного хода ферзем на эту же клетку (!). Видимо, цифровой товарищ не совсем понимал в этот момент, что такое...гм... мат черному королю. Он весьма охотно признался в своей ошибке и со второй попытки выигрышный ход нашел-таки, но время потратил очень много на эти поиски...

А я не знал, что такая мощная ИИ-система совсем пока еще не обучена играть в шахматы. Ведь известно, что специализированные обученные нейросети легко обыгрывают любого гроссмейстера...