Измеряем систему обучения: ROI недостаточно

Если не знать, что происходит в результате тех или иных действий, невозможно выстраивать дальнейшую стратегию или принимать решения. А чтобы знать, нужны данные. Как получить данные, которые покажут эффективность корпоративной системы обучения, и какие именно данные понадобятся?

Традиционный подход

Традиционный подход основывается на оценке того, как полученные знания влияют на бизнес, иными словами, как растет вклад людей в эффективность компании и как компания возвращает инвестиции в обучение и развитие сотрудников.

Напомним, модель оценки эффективности обучения Киркпатрика-Филипса измеряет:

1. Удовлетворение. Понравилось ли участникам обучение?
2. Усвоение. Произошла ли передача знаний?
3. Поведение. Изменилось ли поведение участников в результате обучения?
4. Результаты. Оказало ли обучение серьезное влияние на производительность?
5. ROI. Выгодными ли оказались инвестиции в обучение?

Еще одна популярная модель оценки обучения – модель Андерсона – определяет, насколько оправдались ожидания, были ли удачны вложения, оказалась ли программа обучения результативной (вернулись ли инвестиции) и каковы показатели на фоне рыночных, оценивая:

• Веру топ-менеджмента в ценность обучения для компании и требования к точному подсчету степени влияния обучения на результаты компании.
• Краткосрочные и долгосрочные эффекты от обучения.

В связи с этим может возникнуть ряд вопросов, например, как отделить эффект от обучения от результата удачного назначения на должность или хорошо выстроенных процессов. Оценка знаний и поведения людей до и после обучения тоже не даст полной картины.

Чтобы понять, как оценивать эффективность обучения, разберемся, какие задачи компания может ставить перед системой обучения:

• Приводить сотрудника в соответствие требованиям и стандартам через осуществление процесса обучения.
• Определять новые требования, проектировать новые стандарты, составлять путь к их достижению, отвечая на потребности бизнеса, через формирование проекта развития обучения.
• Повышать удобство и доступность обучения через постоянное повышение качества обучения как продукта.

Процессы, проекты и продукты

Мы видим в системе обучения процессы, проекты и продукты. Все они направлены на обучение и развитие сотрудников, однако у каждого объекта свои метрики и свести их к общему знаменателю вряд ли получится. Кроме того, в разных системах обучения разные метрики будут иметь разную значимость.

Рассмотрим, какие метрики могут интересовать компанию в связи с оценкой системы обучения. Вероятно, значимость каждого параметра системы обучения будет зависеть от запроса. Система обучения отвечает на запросы:

• Внутренней и внешней среды.
• Бизнеса.
• Пользователя (участника процесса обучения).

Учитывая все эти запросы, система обучения в каждом случае предусматривает свой результат.

На запросы среды создают стандартизированное регулярное обучение. На запросы бизнеса решают новые задачи, развивая сотрудника в нужном направлении. На запросы пользователя улучшают удобство обучения.

В каждом случае свои требования к результатам. От стандартов ожидают обеспечения как можно более высокого качества при как можно более низких затратах. В результате получаем процесс, качество которого можно оценивать, исходя из ожиданий.

От совершенствования системы обучения как продукта ожидают повышения удовлетворенности участников процесса и управления экономичностью. В результате получаем продукт, который можно измерить на соответствие этим ожиданиям.

Учет новых требований бизнеса предполагает реализацию бизнес-требований через их учет в процессе и продукте обучения. В результате инициируется проект, который обеспечивает учет бизнес-требований в процессе обучения и продукте обучения.

Оценивать можно качество процесса, качество продукта и успех проекта.

Ограничения классических метрик

Типичная метрика эффективности обучения – затраты на одного обучаемого. Чтобы вычислить нужное значение, нужно соотнести вложенные затраты с количеством обучаемых. Для давно и хорошо настроенных процессов, которые не меняются, эта метрика может дать информацию для принятия решений. А как быть с новыми технологиями (внедрение чат-бота, допустим), которые меняются сами, что требует постоянного изменения самой программы обучения? Причем изменения внедряются неравномерно, потому что в связи с внешними событиями компании регулируют интенсивность набора новых специалистов, их обучения и развития. Что получаем? Сама программа меняется, количество обучаемых нестабильно, рабочие процессы только настраиваются и не могут служить стабильным параметром. Ясно, что при традиционном подходе мы получим неважные или недостоверные результаты, но значит ли это, что компания набрала не тех людей, что программа обучения не станет эффективнее или что сам внедряемый продукт не даст в ближайшем будущем ожидаемого эффекта?

Еще одна распространенная метрика – показатель доходимости Сompletion Rate (COR). Она показывает, сколько участников курса дошли до конца. COR показывает, насколько учтены запросы обучаемого. Какую же пользу для бизнеса можно получить от этой метрики? Если это подготовка новичков к старту, мы узнаем, насколько соответствует образ компании, транслируемый в общество, реальному положению вещей, и, возможно, сможем сделать выводы о качестве набора новых сотрудников. Будет ли в этих двух случаев оценка доходимости оценкой качества самой обучаемой программы?

Если мы будем использовать COR для корпоративных курсов по повышению квалификации, метрика скажет о другом. Что может заставить сотрудника остановить обучение, зная, что результаты обучения могут повысить его доход? Анализ показателя COR поможет выявить причину. Это может быть качество работы преподавателя, качество составления курса, целесообразность такого курса для сотрудников, качество отбора участников.

Показатель будет полезным, если учитывать:

• условия, в которых он применяется,
• факторы, влияющие на обучающего,
• бенчмарк.

Оценка обучения как процесса

Обучение как процесс должно обеспечить удовлетворение внутренних и внешних требований, таких как: допускать к должности после достижения сотрудниками необходимого уровня, обеспечивать соответствие процесса и результата общепринятым стандартам. Затраты на обучение – операционные, при этом они не оказывают прямое влияние на прибыль, зато обеспечивают компании стабильность. Вероятно, самое важное при контроле затрат на обучение – удерживать стоимость корпоративного обучения в плановых границах, соотносить их с объемами обучения и учитывать нужное качество.

Если внешние требования менять нельзя, то система обучения должна их учесть, ставя это своей основной задачей, жертвуя при необходимости другими параметрами – стоимостью обеспечения обучения, количеством обучаемых за период времени.

Измерять в таком случае можно:

• Затраты на одного обученного.

• Долю успешно завершивших обучение от числа начавших.
• Эффективность загрузки помещений, преподавателей, организаторов.

Самым полезным показателем эффективности будут операционные расходы – затраты без учета новых программ, инструментов, проектов, обучения преподавателей.

Однако такое измерение будет удобным для стабильных направлений, где долгое время не меняются требования к сотрудникам и основная задача – стабильный результат.

Если же стабильность низкая, операционные затраты уходят на второй план. При постоянном введении новых курсов, основными затратами будут затраты на инвестиции. Такие затраты трудно разложить на отдельных учащихся. При цифровом способе обучения учитывают затраты на поддерживающую инфраструктуру. Это важно, и все же это не играет определяющей роли в качестве передачи знаний.

Оценка обучения как проекта

Адаптируясь к новым вызовам, компания реализует изменения и через обучение. В таком случае система обучения выступает партнером, который поддерживает инициатора-заказчика. Она занимается планированием, организацией и отбором экспертов и методологов, пилотированием и корректировкой, ведя проект от начала и до завершения.

Партнерская позиция системы обучения позволяет ей быстро реагировать за запрос и быть способной быстро проектировать обучение, независимо от его требуемого содержания. Чтобы оценить решение таких задач, достаточно использовать классические проектные метрики. Это оценка планирования, соответствие плану, способности рационально оценивать перспективы, гибко использовать и высвобождать ресурсы.

Обучающие проекты можно также оценивать с точки зрения влияния обучения на бизнес-результат. Если при запуске проекта указать его цель как изменение поведения сотрудников таким образом, чтобы изменились результаты компании, то оценивать результаты можно, используя А/В-анализ.

Для этого проводится определенная работа:

• Замеряются стартовые показатели.
• Группа обучаемых делится на несколько частей так, чтобы состав каждой группы был равным («середнячки», слабые, успешные).
• Одних обучают по новой, других по старой программах, третьих не обучают.
• Повторяют измерение.

Если группа обученных по первой программе показала самые высокие результаты – проект оправдал ожидания. Если проектом была разработка курса – можно применять его для всей компании.

Следующая задача – превращение нового подхода в стандарт. После этого проект переходит в стадию процесса, а затраты на его поддержание переходят к системе обучения. Сам курс становится продуктом, его поддержка – тоже затраты системы обучения.

Таким образом, если запрос от бизнеса первичен, метрики могут быть следующими:

• Уровень отклонения от плана и бюджета.
• Оценка заказчика.
• Продолжительный эффект на целевой показатель.

Определяющим показателем в таком случае будет оценка бизнес-заказчиком качества взаимодействия с проектной группой.

Основная ценность образовательных проектов – внедрение нового. Чем более эффективно оно проходит в компании – тем более высокую оценку получает. Чем изменчивее внешняя среда и внутренние процессы компании, тем важнее отслеживать проектные показатели эффективности обучения.

Оценка обучения как продукта

Важно оценивать и то, насколько качественны средства обучения, которые используют сотрудники. Видеокурс, ведение группы в Telegram, эксперт, учебный центр – все это для участников процесса средства обучения. Они должны быть востребованными, постоянно поддерживаться и улучшаться – это повышает их ценность для компании и пользователей.

Для обеспечения такого требования постоянно ведется работа по:

• Пополнению баз знаний.
• Проработке контента.
• Добавлению новых функций и опций.
• Доработке оформления и стиля.
• Сбору отзывов.
• Проведению регулярной оценки.
• Привлечению экспертов.

При этом ориентируются на собранную обратную связь, результаты диагностики и аудитов, лучшие практики компании, выдвигаемые гипотезы.

Активность пользователей системы помогает проверять ее эффективность и гипотезы ее востребованности.

Можно использовать метрики:

• Оценка качества сервиса.
• Количество уникальных пользователей в месяц.
• Обратная связь.
• Доходимость.
• Результаты наблюдений.

Основной будет общая оценка качества сервиса его пользователями.

Контролировать показатели продукта нужно, чтобы вовремя фиксировать моменты, когда пользователь перестает воспринимать свой опыт взаимодействия с системой как приятный и полезный и теряет мотивацию пользоваться этой системой или отдельными ее элементами. Если инструмент внедрен, но не используется, это расценивается как потеря вложенных в него средств.

Тут важно учитывать разные факторы. Если обучение обязательно и формат предлагается только один, у обучаемого нет выбора, идти на курс или не идти. Однако если курс не будет соответствовать его ожиданиям о хорошем и правильном, это может вызвать у него отказ обучаться. Результат – падение эффективности обучения как процесса.

Какие метрики использовать

Чтобы оценивать систему обучения более объемно, стоит выбирать метрики всех трех объектов системы обучения – процессов, проектов, продуктов, помня, что за экономическую составляющую в основном отвечают процессы, за создание новых стандартов – проекты, за комфорт пользователя – продукты. Все три уровня важны, существуют в связке, и при этом не сводятся один к другому. В разных условиях эффективность каждого имеет для компании разный вес.

Заказать разработку программы, проведение геймифицированного тренинга, купить деловую игру для проведения внутри можно в ManGO! Games.