https://disk.360.yandex.ru/i/Kvgnj2BFLyAL8w

По просьбе автора публикую здесь ссылку на PDF-файл со статьей Нины Александровны Пастернак. Название:

"Побочный эффект рефлексивного тренинга : почему студенты стали давать слишком много ответов?

Наши коллеги из компании "Иматон" продолжают рекламировать известную методику парных сравнений. 8 ценностно-мотивационных конструктов образуют 8*7/2 = 28 парных сочетаний в рамках некого "турнира высказываний". У нас в методике СТМ задействованы уже 12 конструктов, что дает 12*11/2=66 парных сочетаний (экранов). Помнится, как к нам пришел в конце тяжелого десятилетия 1990гг еще молодой Саша Горбачев и как он начал увлеченно продвигать СТМ (Структура Трудовой Мотивации). Настолько, что эта методика на какой-то время у нас выбилась в лидеры продаж (!). Но... до сих пор сохраняется концептуальная неопределенность относительно того, а что же на самом деле измеряет такая методика (?!) См. опрос-голосование в следующем сообщении.

https://ags.ht.ru/?p=4359

Сегодняшняя статья на блоге Шмелева называется:

"Продолжается эксперимент «Пожилой Шмелев и английский язык»"

Итак, коллеги, проделана большая работа коллективом авторов из 24 человек. Наша с Вами группа ПЕРВОЙ получает возможность познакомиться с продуктом - с демоверсией КВАЛИМИН-26:

https://test.ht-inc.ru/test/e4151d9069a4f128d49681c770ed50a1

В пяти разделах этого теста 50 заданий (по 10 в каждом разделе). На каждое задание отводится не более 70-80 секунд, но большинство заданий решаются гораздо быстрее (в среднем за 35 секунд). Всего сеанс займет у Вас не более 25-35 минут. Тест можно пройти полностью АНОНИМНО.

ПРОСЬБА. Да, это не слишком популярное занятие - читать инструкции, но в данном случае просьба прочесть их полностью и внимательно! Нам очень важно получить ваши замечания и рекомендации. Будет специальное поле на странице с отчетом для вашего отзыва.

СПАСИБО!

P.S. Если Вы хотите измерить свой уровень и сопоставить его с результатами остальных, то просьба отнестись максимально ответственно именно к первой попытке. Результаты второй и следующих попыток уже НЕ будут включены в демо-рейтинг.

ПОЯСНЕНИЕ НАСЧЕТ ДЕМОВЕРСИИ "КВАЛИМИН-26/50"

Коллеги, очень вяло пошел сегодня процесс знакомства с созданной демоверсией. Догадываюсь, что во многом это результат того, что совсем недавно (в феврале) мы открыли в клубе КИТТ тестирование по пилотной версии. Но, коллеги, я не объяснил Вам, чем данная демоверсия СУЩЕСТВЕННО отличается от пилотной (!).

Пилотная (экспериментальная) версия включала 127 заданий. Из них случайным образом подбирались и предъявлялись в одном сеансе 50 заданий. Все эти 127 заданий были еще "сырыми" авторскими заданиями. Что это значит "сырыми"? - А это значит, что по ним не были накоплены еще данные в ходе реального, скоростного выполнения теста. Какие данные? - Это прежде всего ППО (процент правильных ответов) и КД (коэффициент дискриминативности). Коротко поясню (для тех, кто пока не учился этому в наших психометрических школах), что КД означает "разницу в процентах правильных ответов в группе с высокими и группе с низкими результатами".

Пилотную версию у нас выполнили 125 человек. На основании этой статистики в демоверсию вошли лучшие 50 заданий. Это такие, у которых КД был выше 30%, а ППО выше 50% (то есть легкие). Как видим, в результате такого отбора тест стал и лучше (точней) и легче! А это значит, что тестовые нормы по этому тесту необходимо теперь набирать ЗАНОВО, то есть прежние результаты по 127 сырым заданиям в этом не могут участвовать.

Пока созданную легкую и скоростную демоверсию (с ограничением на время ответов) прошли у нас только 10 человек (да к тому же большая часть из них - это пока участники-соавторы проекта, которые следили за тем, как использованы в проекте созданные ими задания, хотя сами уже являются "испорченными испытуемыми" - не первый раз читают и понимают задания других авторов). Поэтому результаты у большинства пока - в районе 80% правильных ответов. Но запланировано ожидаемое снижение среднего ППО до 70%.

Зачем я все это объясняю? - Затем, чтобы те, кто сомневается, не слишком опасались получить низкий балл и ... расстроиться. Даже на сырой пилотной версии результат ниже ППО=50% встречался у нас крайне редко (так как авторы были сориентированы на создание именно легких ознакомительных тестовых заданий).

Еще раз повторяю ссылку на демоверсию:

https://test.ht-inc.ru/test/e4151d9069a4f128d49681c770ed50a1

И еще раз повторяю, что ее выполнение не требует ввода подлинных ФИО и даже не требует ввода почтового адреса (это по желанию).

А что такое "демо-рейтинг"? - Ну об этом, пожалуйста, почитайте в подробной инструкции к тесту. Для этого надо кликнуть на ссылку и почитать инструкцию :)

P.S.
Возможно, что надо изменить терминологию: назвать пилотную версию из сырых заданий более правильно было бы "экспериментальной версией", а данную демоверсию - "пилотной версией" (!). Подобные возможные изменения в терминологии мы как раз сегодня обсуждаем в нашей авторской группе.

https://ags.ht.ru/?p=4377

На блоге Шмелева сегодня появилась статья под названием "Открытая демоверсия КВАЛИМИН-26/50 создана и доступна для психологов"

Кроме того, что уже известно читателям ТГ-канала "Компьютерная психодиагностика", здесь впервые опубликованы результаты выполнения данного теста таким своеобразным испытуемым, каким является нейросетевой ИИ, а также подробный диалог о проекте между автором и нейронкой DeepSeek. Авторскому коллективу этот ИИ рассыпал кучу комплиментов (а сам-то сидит довольный свои результатом).

Высоким ли оказался тестовый балл, полученный "нейронкой"? - Почитайте!

Уже и QWEN, и Гигачат тоже справились с тестом и тоже показали очень высокий результат... Позднее абсолютный результат 50 из 50 показали нейронки ChatGPT и Perplexity.

КАКОВА ВАЛИДНОСТЬ МЕТОДИКИ КВАЛИМИН?

Коллеги, пошло такое обсуждение методики, что мне пришлось уже сегодня дописать во вчерашнюю статью данные о том, насколько уже на сырых заданиях пилотной версии различались результаты в двух группах испытуемых:

Группа А численностью в 64 человека имеет и психологическое образование, и опыт практической работы. Средний балл на шкале ППО = 67%

Группа D численностью в 35 человек НЕ имеет ни психологическое образование, ни опыта практической работы. Средний балл на шкале ППО = 48%

С учетом величины стандартного отклонения в двух выборках различие средних по критерию Стьюдента оказалось значимым на самом высоком уровне p<0,001 (гипотеза о равенстве средних отвергается с пренебрежимо малой вероятностью ошибки менее 0,1% процента). Соответствующий точечно-бисериальный коэффициент для различения этих двух групп равен 0,603. Грамотные в тестологии люди в курсе, что это ОЧЕНЬ высокий коэффициент валидности (!).

Повторяю вчерашнюю ссылку на статью и демоверсию

https://ags.ht.ru/?p=4377

Пока демоверсию прошли 18 человек из этого ТГ-канала.

https://ags.ht.ru/?p=4415

Сегодняшняя статья на блоге Шмелева носит название:

"Кластеризация видов деятельности психолога и перспективы проекта КВАЛИМИН"

https://vk.com/ags12?w=wall2100855_8276

Сегодня на моей "стене" в сети ВК я собрал результаты "цифровых ученых котов" в одном месте.

ХОРОШАЯ НОВОСТЬ И ВОПРОС


Сегодня с помощью моего младшего сына (который очень ловко научился подсовывать в диалоговое окно ChatGPT графический файлы) мы проверили сразу несколько вещей.

1) Оказалось, что ChatGPT прекрасно разбирается в очень большом и мелком тексте, когда надо выполнять методику "свободная сортировка 25 видов деятельности психолога". По этой методике этот "цифровой мудрец" занял почетное 4-е место (из 32 участников) и на одну позицию обошел результат, показанный DeepSeek. Между прочим очень закономерное превосходство: почти во всех наших состязаниях ChatGPT на полкорпуса впереди. Мда... эта новость так себе, конечно. Выяснилось, что не надо даже предъявлять нейронке список видов деятельности в текстовом формате, а достаточно сделать фотку с экрана, сократив размер шрифта до минимума (чтобы экран не роллировать) (!).

2) А вот хорошая новость. Заключается она в том, что, как выяснилось, ChatGPT пока еще не умеет играть в шахматы. Поэтому для пользователей этой "нейронки" наш проект "Шахтест" вовсе еще не умер. Решая шесть наших откалиброванных шахматных этюдов "мат в один ход", эта нейронка справилась только в 2-х случаях (а в четырех предложила ошибочный ход), а общее время решение отбрасывает этого "мудреца" в последний самый нижний дециль - на уровень начинающих игроков, которые едва изучили, как ходят фигуры (!).

ВОПРОС к читателям. Может быть Вы подскажите такую нейронку, которая уже хорошо обучилась играть в шахматы? Не хочется самому перебирать среди всяких Gemini (говорят эта Gemini получше разбирается в графических файлах) и т.п.

3) Но есть и самая хорошая новость! - Она заключается в том, что найден такой режим выполнения тестов, когда знающий пользователь, не получающий подсказок от нейронки, работает значительно быстрей (в разы!), чем невежественный пользователь, который тратит время на то, чтобы фотографировать экран в диалоговом окне с нейронкой. Какой это режим? - Предпочитаю пока придержать эту новость в секрете. Она поможет нам без особых оргзатрат обеспечить так называемый "народный рейтинг" в проекте КВАЛИМИН (!).

======================

В следующем сообщении предъявляю картинку с одним из о-очень известных и простых шахматных этюдов, который "мудрец" не может решить (решает, но со второй попытке и расходует на 2 попытки очень много времени).

Эта смешная позиция известна в народе под названием "мат в три хода" или "Детский мат". Но "мудрец" предложил сделать ход белым слоном на f7 вместо выигрышного хода ферзем на эту же клетку (!). Видимо, цифровой товарищ не совсем понимал в этот момент, что такое...гм... мат черному королю. Он весьма охотно признался в своей ошибке и со второй попытки выигрышный ход нашел-таки, но время потратил очень много на эти поиски...

А я не знал, что такая мощная ИИ-система совсем пока еще не обучена играть в шахматы. Ведь известно, что специализированные обученные нейросети легко обыгрывают любого гроссмейстера...

DeepSeek долго-долго ворочал своими мозгами, глядя на простейший этюд типа "линейный мат ладьей". При этом он минут пять обсуждал сложную для него проблему не на русском, а на английском языке (я устал читать эти рассуждения уже через полминуты). Ниже цитирую полностью его заключение, когда он все-таки вернулся к диалогу на русском языке. Единственная полезная информация от него состоит в том, что он посоветовал поизучать специализированную нейросетку ChessGPT.


===========================
К сожалению, я не могу видеть изображения, поэтому не могу определить позицию на шахматной доске по файлу «Этюд 1.jpg». В предоставленном текстовом содержимом указаны только координатные обозначения (буквы a–h и цифры 8–1), но нет информации о расположении фигур.
Чтобы я мог решить задачу, пожалуйста, опишите позицию текстом, например, в виде списка фигур (например, «Белые: Крc1, Фb2; Чёрные: Крa1») или в формате FEN. Тогда я с радостью найду мат в один ход.

В связи с праздником мы предлагаем в нашем клубе КИТТ очередной шуточный тест.

Напомним официальный сайт этого проекта:

https://kitt-club.ru

А ЗНАЕТЕ ЛИ ВЫ ЧТО...

Чем хороши современные интеллектуальные поисковики, так это тем, что они могут осмыслить непростые вопросы и дают осмысленные справки.

Сегодня я решил спросить Алису насчет происхождения "черных шаров" при голосовании. Вопрос я сформулировал так:

Алиса, откуда взялась традиция называть отрицательный голос при голосовании в ученых советах "черным шаром"?

Ответ Алисы:

Традиция называть отрицательный голос при голосовании «чёрным шаром» восходит к историческому методу тайного голосования с использованием шаров разного цвета. Эта практика зародилась в Венеции, где с помощью белых и чёрных шаров выбирали дожей. Белые шары символизировали голос «за», а чёрные — голос «против». Такой способ голосования обеспечивал тайну волеизъявления, так как никто не знал, кто именно проголосовал тем или иным образом.
ru.wikipedia.org* +2

Со временем метод распространился и на другие сферы. В XIX веке баллотирование (голосование шарами) использовалось при выборах на общественные должности, в члены различных корпораций или обществ, а также при решении вопросов, не требовавших единогласного утверждения. В России этот способ применялся при выборе на общественные должности среди дворян, купцов, городских и сельских обывателей. Также он использовался при решении некоторых вопросов в правлениях или общих собраниях различных обществ и корпораций. Правила проведения такого голосования были подробно изложены в статьях 137–167 тома III Свода законов в «Уставе о службе по выборам дворянским».
ru.wikipedia.org* +1

Практика голосования шарами также нашла применение в масонских ложах. В масонской традиции при принятии новых членов, выборе руководства или решении важных вопросов использовали белые и чёрные шары. Один чёрный шар мог стать препятствием для принятия решения, а в некоторых случаях требовалось несколько чёрных шаров для отклонения кандидатуры или предложения.
vk.com +1

В Советском Союзе система голосования с чёрными и белыми шарами применялась в диссертационных комиссиях при защите диссертаций.

Таким образом, выражение «чёрный шар» как символ отрицательного голоса уходит корнями в давнюю традицию тайного голосования, где цвет шара служил визуальным и символическим обозначением позиции голосующего.

============================

КСТАТИ, а знаете, как Алиса справилась с нашим тестом КВАЛИМИН? - Не хуже, чем Гигачат, а также DeepSeek и QWEN, то есть выдала 49 правильных ответов из 50. Хотя ошиблась в достаточно простом вопросе, в котором никакая другая "нейронка" до нее не ошибалась - в вопросе про функцию мотива в теории деятельности А.Н.Леонтьева.

https://ags.ht.ru/?p=4455

Сегодняшняя статья на блоге Шмелева получила название:

"Как добиться, чтобы тест знаний был и нестрашным, и небесполезным?"

https://psy.su/feed/13592/

В этой статье дается даже более подробный отчет о работе, проделанной по созданию демоверсии КВАЛИМИН - теста знаний для психологов. Впервые здесь излагается также идея такого "эксперимента в эксперименте", которая получила название "Народный рейтинг".

https://ags.ht.ru/?p=4473


Сегодняшняя статья на блоге Шмелева называется:

"Проблема перевода баллов в оценки (на материале теста КВАЛИМИН-26)"

В этой статье читатель сможет почитать 2 стенограммы моих диалогов с двумя "нейронками". Ну и еще раз желающие получат возможность по прямым ссылкам познакомиться с нашей пробной открытой методикой "КВАЛИМИН-26" - тестом знаний для психологов.

https://ags.ht.ru/?p=4488

Название сегодняшней статьи:

"О валидности и эффективности тестов предварительного отсева кандидатов"

Дается числовой пример такой структуры ЧТС, когда фи-коэффициент низкий, но тест при этом на самом деле работает ЭФФЕКТИВНО (!?)

Показываю результат, а комментарий к этому изображению у меня не помещается. Читайте следующее сообщение.

Указанный на скриншоте результат я получил вот по этому адресу:


https://testometrika.com/professions/test-osnovy-psikhologii/


Я только что осилил 25 легких заданий теста знаний по психологии на сайте "Тестометрика".

Одна ошибка, допущенная мной, оказалось явно спорной (по моему убеждению). Термин "эмоции" я склонен трактовать как родовое понятие для всех типов эмоциональных явлений, а термины "настроения", "аффект", "чувства" и т.п. - как разновидность эмоциональных состояний. Автор задания, увы, так не думает...

Вы можете сами пройти и убедиться, что это уровень предмета "Обществознание" для средней школы. Есть очень наивные вопросы, когда, например, ключевые слова повторяются и в вопросе, и в правильном ответе ("образное мышление", "долговременная память"). Судя по отчету, я потратил меньше 5 минут на 25 заданий, значит отвечал в среднем быстрей 12 секунд (!) - темп работы, превосходящий по скорости тот средний темп, который доступен пользователям "нейросетевых подсказок".

Задания в этом тесте оказались явно покороче (многие ответы из одного слова) и явно легче, чем в нашей демоверсии КВАЛИМИН, по которой на сегодня у нас собрано уже около 200 протоколов. Хотя март еще не завершен, уже ясно, что в апреле мы опубликуем довольно-таки массовый "экспериментальный народный рейтинг". В нем можно будет увидеть только номера сеансов тестирования, отсортированные по убыванию балла (без самих баллов). Вот по этой ссылке желающие еще могут пройти наш КВАЛИМИН и получить свой результат.

https://test.ht-inc.ru/test/e4151d9069a4f128d49681c770ed50a1

Ожидаемая продолжительность нашего "КВАЛИМИН-26демо" - 20-30 минут (в этот интервал укладываются почти 90 процентов участников). Наш тест позволяет проходить его совершенно анонимно. Но желающие могут указать свой email, на который получат доступ к "обучающей версии" - с правильными ответами на каждое задание и с точными ссылками на страницы в эталонных источниках.