❓Почему NPS не лучший (и, тем более, не единственный) способ оценки качества обучения

👩‍💻 Многие наши подписчики учились на разных образовательных программах, в т.ч. в ВШГУ или преподают сами. И они прекрасно знают, что в последнее время все чаще для оценки качества обучения используется такой инструмент как NPS.

💡Для тех, кто не знает. Суть метода заключается в том, что респонденту задается вопрос, какова вероятность того, что он порекомендует какую-либо услугу (в нашем случае - образовательную программу) своим коллегам или знакомым. Оценка ставится по 10-балльной шкале. Причем, ответы 9-10 засчитываются как ответы с высокой оценкой (ответы "промоутеров"), 7-8 - как нейтральные, а 6 и ниже - как ответы с негативной оценкой ("ответы критиков"). Затем по формуле (% промоутеров минус % критиков) расчитывается NPS.

➕/➖ В чем его преимущества и недостатки?

➕ Вначале о плюсах:
1⃣ Как известно, "мы не можем управлять тем, что мы не измеряем". Если мы хотим управлять качеством обучения, мы в системе должны оценивать качество каждой образовательной программы. Именно в системе, а не эпизодически. Это значит, что процедура должна быть стандартной и регулярной. NPS для этого очень хорошо подходит. Это быстро и это стандартиризировано.

2⃣ NPS позволяет сравнивать разных спикеров/темы/форматы, и это помогает держать "в тонусе" всех - и преподавателей, и организаторов программы. Особенно, если обучение поставлено на поток. Данные NPS позволяют подбирать для программ "сильных" спикеров и, наоборот, больше не звать "провалившихся" или со стабильно низкими оценками.

3⃣ Это очень правильно для программ открытого набора с коммерческой точки зрения. Т.е. если участники программы платят за себя сами, то NPS это "must", т.к. даже сама формулировка основного вопроса "порекомендуете ли Вы..." эту программу другим - про создание и поддержание потока клиентов/пользователей на входе.

🔜 О недостатках расскажем в следующем посте.


Илья Шебураков,
декан ФОиР ВШГУ РАНХиГС

#обучение

➖ Теперь о недостатках NPS.

1⃣ То, что мы чаще всего обсуждаем с коллегами: к сожалению, NPS зависит не столько от качества собственно содержания программы, сколько от качества ее организации и, в первую очередь, качества кейтеринга. И это факт. Программа с хорошим питанием и средним содержанием получает гораздо более высокий NPS, чем глубокая и содержательная программа с растворимым кофе и печеньками.

2⃣ NPS никак не настроен на слушателей программы. Неизбалованная качественными программами аудитория поставит спикеру-шоумену запредельно высокий NPS. "Прокаченная" аудитория, напротив, довольно скупа на высокие оценки. Т.е. сравнивать внутри программы разных спикеров по NPS можно, а вот разные программы между собой надо уже с бОльшей осторожностью.

3⃣ NPS измеряет только удовлетворенность. А оценка удовлетворенности это базовый, самый простой, но самый поверхностный показатель качества (эффективности) образовательной программы. Есть еще, как минимум, 3 уровня оценки качества: прирост знаний, изменение реального поведения и изменение результативности на рабочем месте. Чем выше по этим уровням продвигаться, тем релевантнее оценка эффективности обучения. Но тем сложнее ее получить. Поэтому и используется не самый точный, но зато самый простой способ.

4⃣ Если это не программа открытого набора, а программа, на которую слушателей отправили по разнарядке, надо понимать, что и NPS как инструмент "создания потока на входе" становится достаточно бессмысленным. Поток и так будет. По крайней мере, зависит этот поток не от слушателей и их удовлетворенности, а от реальных заказчиков этой программы.

✍ Подводя итог, можно сказать, что NPS - это больше про эмоциональное, ситуативное отношение к программе, а не про реальную эффективность. Это "программа минимум", которую желательно дополнять другими инструментами (например, Пульс-ЛПР ФОИР).

📈И еще. NPS - это очень хороший инструмент для бизнеса. Но бизнес ли мы делаем?

💬 P.S. И все-таки я радуюсь, когда вижу свой высокий NPS как спикера или NPS ЛПД, которую мы с коллегами проводим на образовательных программах 🙂

🧰 А с какими инструментами оценки эффективности обучения сталкивались Вы?

Илья Шебураков,
декан ФОиР ВШГУ РАНХиГС

#обучение

​​Шоумен VS Лектор
Тренер VS Личность

В продолжение темы обучения. Что обеспечивает действительно высокое качество образовательной программы?

Я предлагаю выделить 3 ключевых фактора:
🔹 Хороший, качественный контент
🔹Вовлекающие формы (форматы) обучения
🔹Личность спикера

📊 На основе первых двух факторов можно построить объясняющую матрицу, в которой по оси Х - внимание, уделяемое преподавателем содержанию, а по оси У - форме обучения.

👨‍🏫 Преподавателей, которые "зациклены" на содержании и полностью игнорируют форму, к сожалению, большинство и в современных ВУЗах, и, что еще обиднее, в школах. Для "предметника" главное - выдать материал, идеально, если под запись. Какая мотивация у аудитории, интересно или неинтересно, его не волнует. Такую форму обучения условно можно назвать "лекцией". На лекциях значительная часть аудитории спит или сидит в телефонах.

🤹Второй тип преподавателей - это шоумены. Почти "0" полезного контента, но зато весело. Никаких записей. И после занятия почти никаких полезных знаний.

👨‍💼Третий тип - самый эффективный тип преподавателя, который делится тщательно подобранным контентом и использует для этого вовлекающие формы обучения - тренинги, деловые/ролевые игры, практические упражнения, кейсы и т.п.

🗣Когда я рассказываю об этой схеме меня часто спрашивают: а как назвать четвертый тип преподавателей или занятий - когда минимум внимания контенту и минимум внимания форме. Это "громкая читка". Когда я служил в армии (это было самое начало 90-х), меня познакомили с такой формой подготовки личного состава: надо посадить бойцов в ленинской комнате, дать одному из них "Материалы XXVII съезда КПСС" (или аналог), и пусть читает вслух остальным. Главное, что все чем-то заняты. К счастью, такое в сегодняшней жизни, я надеюсь, уже не встречается. То есть, хороший сильный профессионал, это не лектор и не шоумен, это тренер. И в принципе, при желании, любой преподаватель может освоить эту роль, т.к. это дело техники.

⭐️ Но при всем этом, уже перейдя на работу в ВШГУ, я увидел действие еще одного фактора влияния на качество обучения взрослых руководителей - это личность другого человека. Не буду сейчас приводить примеры, но иногда сам факт встречи и общения (в аудитриии) с выдающейся личностью оказывает мощный развивающий эффект. Часто это короткий рассказ и продолжение втречи в формате "вопросов и ответов".

🚀А вообще, если развивать эту мысль, то я предложил бы такой вывод: если тренер - это следующий уровень лектора или шоумена, то личность - это следующий уровень тренера.

Илья Шебураков,
декан ФОиР ВШГУ РАНХиГС

#обучение

В продолжение поста предлагаем вспомнить, подумать и ответить на несколько вопросов. Опрос анонимны.

💡 Контекстный подход в оценке

🔗 Любое качество может быть как сильной, так и слабой стороной в определенном контексте. С этой точки зрения почти любое качество может быть сильной стороной в подходящем контексте. Например, низкая командность = высокая автономность. При этом, чем лучше мы понимаем контекст, тем более точной будет оценка. Но чем более универсальной является методика или модель оцениваемых качеств, тем сложнее точно прогнозировать успех руководителя.

⚖ Основная проблема качественных, достаточно точных и применимых в широкой практике инструментов оценки, это поиск компромисса между универсальностью и точностью.

🔓И эта проблема в методологии ФОИР в значительной степени решена за счет использования модели управленческой готовности руководителей, учитывающей специфику именно госсферы, ее контекст и опирающейся на ресурсный подход.


Илья Шебураков,
декан ФОиР ВШГУ РАНХиГС

#ЛПД

📄21 закон лидерства

📚Понимаем высокую занятость нашей аудитории, но очень хотим делиться полезными знаниями. Поэтому предлагаем вашему вниманию небольшие выжимки из книг интересных авторов. Одна из таких книг "21 неопровержимый закон лидерства" Джона Максвелла – одного из ведущих экспертов по вопросам лидерства.

☀️ Под лидерством Максвелл чаще всего подразумевает способность вести за собой людей. В самом начале своей книги он обратить внимание на 4 принципа, в соответствии с которыми работают выделенные им законы лидерства.

1⃣ Все законы можно усвоить и научиться применять в той или иной степени
2⃣ Законы взаимно дополняют, но не зависят друг от друга.
3⃣ Следование законам (со слов автора) гарантирует, что люди пойдут за вами. И, наоборот, нарушение или игнорирование законов снижает лидерство.
4⃣ И, конечно, никакие законы не работают без использования в жизни, поэтому автор рекомендует неукоснительно применять их на практике.

⬆️ Собственно, первый описанный в книге закон - это закон потолка. Если кратко, то уровень эффективности руководителя определяется его способностью к лидерству (т.е. умению вести за собой людей).

🎱 Условно, если уровень эффективности в деятельности руководителя оценивается на 8 баллов из 10, то не стоит бросать все усилия на "выбивание" максимума. Скорее всего, на получение недостающих 2 баллов ресурсов уйдёт гораздо больше, чем на уже имеющиеся 8. Куда более разумный шаг - вложение сил в раскрытие своего лидерского потенциала. Это по крайней мере выведет руководителя из одномерного измерения в двухмерное, позволит расширить свои возможности, то есть увеличить их потолок (см. картинки ниже).

✈️ Как показывает практика, многое в организации зависит от способности руководителя к лидерству, с которым потолок эффективности можно отодвигать все выше и выше.

#лидерство

​​📃 Закон влияния и закон процесса

🗣 Продолжим разговор о законах лидерства, расскажем сразу о двух.

🗝 Согласно Максвеллу, важная черта лидера – способность оказывать влияние на людей. Чем больше влиятельность, тем сильнее проявлено лидерство. С этой точки зрения существует 5 мифов о лидерстве, мешающих реалистичному восприятию этого феномена. Это мифы управления, предпринимателя, знания, первопроходца, должности.

💁‍♂️ По закону влияния роли менеджера, предпринимателя, ученого, первопроходца и высокий должностной статус сами по себе не делают человека лидером. Автором справедливо замечено, что менеджеры и руководители, как правило, отлично справляются с управлением и поддержанием определенного направления компании/организации, а вот на осуществление позитивных перемен или изменение курса способен только лидер. К слову, отсутствие у первопроходца в той или иной области последователей тоже означает отсутствие у него лидерских качеств. Да и «не должность создает лидера, а лидер должность». История знает много примеров, когда из компаний именно в след за топ-менеджерами и гендиректорами уходили их подчиненные. Таково действие закона влияния.

⏳ Лидер, как и Москва, «строится» не сразу. Для этого нужно время и неустанная работа над развитием в себе необходимых качеств. Об этом гласит закон процесса. Здесь важно отметить, что успешные лидеры, как правило, умеют и любят учиться.

📉 С этой точки зрения, по мнению Максвелла, есть 4 стадии развития лидерства (см. рисунок):
🔹 Я не знаю, чего именно я не знаю. Большинство склонны думать, что лидерство для избранных. Люди не знают, что ежедневно оказывают влияние минимум на 4-х лиц, и это не предел. Но из-за незнания они упускают возможность стать лидерами.
🔹 Я знаю, чего не знаю. Оказавшись в роли лидера, люди часто осознают, что им не хватает знаний о том, как вести за собой людей.
🔹 Я расту, многое узнаю, и это начинает сказываться. Дисциплинированные попытки восполнить пробелы в знаниях и умениях помогают лидерам стать более эффективными, но необходимо начинать прямо здесь и сейчас.
🔹 Я просто пользуюсь тем, что знаю. В этой точке навыки лидерства становятся практически автоматическими. Это, пожалуй, стадия огромной отдачи за предыдущие труды. Если конечно лидер следовал закону процесса.

⭐️ Лидерство требует огромной и последовательной работы, настойчивости и терпения. Его не наработать даже за короткий срок, но и вознаграждение за него исполинское.

#лидерство

Друзья!

Факультет оценки и развития управленческих кадров ВШГУ РАНХиГС приглашает принять участие в серии вебинаров, посвящённых решению вопросов, связанных с кадровыми ресурсами в органах государственной и муниципальной власти.

Вебинары будут проходить по четвергам, длительность каждого - около 1 часа. Просим желающих отметить в голосовании ниже, в какое время было бы удобно присоединяться к мероприятиям. Отмечайте, пожалуйста, все удобные слоты.

🎗Можно без ложной скромности утверждать, что РАНХиГС сегодня является реальным лидером в применении методологии оценки личностно-профессиональных качеств, в первую очередь, госслужащих и руководителей госсферы.

📔 Технология личностно-профессиональной диагностики (ЛПД), разработанная на факультете оценки и развития управленческих кадров ВШГУ и основанная на ресурсном подходе, изначально применялась для оценки руководителей высшего звена, но сегодня применима к задачам оценки руководителей всех уровней, а также к поиску и выявлению управленческих талантов в широкой аудитории. С 2014 г. она применяется для работы с высшими резервами (президентский, кадровый управленческий ("школа губернаторов"), высший резерв управленческих кадров, в ближайшей перспективе - ФКР (федеральный кадровый резерв)), а так же в масштабных проектах - "Лидерах России", управленческих конкурсах в регионах, для оценки как управленческих команд, так и для массовой оценки госслужащих.

📇 Всего в этой оценке приняло участие более 200 тыс. руководителей. Из них более 3 тыс. человек, включая многих действующих высших должностных лиц субъектов РФ, прошли углубленную ЛПД на основе целого комплекса инструментов (опросник управленческого потенциала, тесты, интервью, эссе, кейсы и др.), а не только "тестирование".

🖋 В основе ЛПД лежит оригинальная модель управленческой готовности, включающая 3⃣ ключевых составляющих: Лидер, Менеджер и Эксперт, которые разбиты на 9⃣ кластеров личностно-профессиональных качеств (метакомпетенций).

О ключевых особенностях методологии ЛПД писали здесь, о контекстном подходе в оценке здесь

📊 Такой подход и валидизация инструментов оценки относительно реальных уровней управления позволяет получать сопоставимые данные как по руководителям разных уровней, так и в разрезе по отраслям, регионам или управленческим командам, а также использовать так называемые бэнчмарки для оценки кадрового состава того или иного региона, ведомства или отрасли в целом.

📉 При этом, применяемая практика оценки позволяет с высокой точностью не только оценивать управленческую готовность, но и делать прогноз дальнейшего развития управленческого потенциала конкретного руководителя. Например, на факультете разработана и применяется предикативная модель, построенная на основе алгоритмов машинного обучения (ИИ), прогнозирующая готовность к работе на определенном уровне управления с точностью до 94%.
Основной целью и предназначением оценки является не только принятие или корректировка кадровых решений, но, в первую очередь, развитие участников. Поэтому такая оценка является ключевым элементом практически всех образовательных программ для руководителей в системе госуправления, которые реализует РАНХиГС.

👥 Обратная связь по результатам оценки позволяет не только повысить осознанность участников, но и сфокусировать их на индивидуальных задачах своего личностно-профессионального развития, сделать сами программы более индивидуализированными и сосредоточенными на развитии ресурсов и сильных сторон участников.

Илья Шебураков,
декан ФОиР ВШГУ РАНХиГС

#модельуправленческойготовностиФОИР #управленческиекомпетенции #ЛПД

ℹ️ Ценность участия в форумах лично для меня заключается в том, что подготовка к выступлениям (как правило, в последний момент) заставляет напрягать извилины из-за желания поделиться с аудиторией какой-то принципиально новой информацией. В свою очередь, это рождает маленькие инсайты. А общение с аудиторией показывает насколько эти инсайты ценны для внешней среды.
👏 За что я сорвал скромные аплодисменты в этот раз?
Обсуждали клиентоцентричность, которая была одной из центральных тем международного форума, посвященного человеческому капиталу, проходившего в одном из моих самых любимых городов - Ханты Мансийске.

1⃣ Мысль номер раз. Мы много говорим о стандартах клиентоцентричности, процессах и компетенциях. Но! На мой взгляд, гораздо важнее мотивация. В кулуарах общался с коллегой из региона. Она сказала гениальную вещь: "Хорошо бы, чтобы внедрение клиентоцентричности было чуть более клиентоцентричным в отношении тех, кто ее должен внедрять. Иначе чиновники на местах начинают говорить - пережили внедрение проектного управления, пережили цифровизацию, переживем и клиентоцентричность. Главное дайте форму отчета, который надо заполнить".

2⃣ Мысль номер два. Если продоложать тему мотивации и связывать ее с компетенциями, то нормальный чиновник должен понимать, как успешное внедрение клиентоцентричности отразится на нем. Если есть компетенции клиентоцентричности, то какие и как он должен развивать, чтобы продвинуться по карьере.

3⃣ Бог любит троицу. Поэтому третья мысль. К счастью, получилось так, что модель компетенций цифрового профиля клиентоцентричности построена на той же "платформе", что и наша модель управленческой готовности. А мы получили эмпирические данные о том, какие компетенции и как связаны с карьерой. Теперь и госслужащий может узнать, от развития каких компетенций будет зависеть его карьера. И это может подтолкнуть его к развитию, в частности, и компетенций клиентоцентричности.

🔜 Но какие это компетенции, об этом в одном из следующих постов.

Илья Шебураков,
декан ФОиР ВШГУ РАНХиГС

#размышленияпоповоду