Промежуточные и конечные результаты

Эйнштейн, как известно, отмечал, что не все, что считается, можно посчитать. В отношении оценки программ обучения это означает, что то, что вы можете что-то посчитать, не означает, что подсчет будет ответом на вопрос, стоила ли программа обучения вложенных затрат или нет.

Существует две крупные категории того, что подразделение обучения может измерить: промежуточные результаты (процессные метрики) и конечные результаты (Таблица Д6.3). Процессные метрики, такие как количество участников программ, затраты на программу и реакция аудитории, важны для управления функцией обучения и определения возможностей для улучшения. Тем не менее, они не являются теми результатами, которые интересуют бизнес (рисунок Д6.7) и не должны быть представлены таким образом.

Документируйте результаты, которые интересуют бизнес.

Промежуточные результаты сами по себе недостаточны, так как с их помощью невозможно оценить ценность активностей, без знаний о том, привнесли ли они вклад в достижение результатов (тех, которые отвечают бизнес-потребностям). Например, представьте, что сотрудники закончили вдвое больше модулей электронного обучения, чем в прошлом году (100%-ый рост промежуточного результата). Это хорошо тогда, и только тогда, когда завершение этих модулей способствовало увеличению результативности. Если, с другой стороны, не было никакого наблюдаемого результата (изменения в результативности), то в результате проведенного электронного обучения было потеряно вдвое больше времени, чем в прошлом году. Ван Адельсберг и Троллей отметили: «Если вы тратите даже 1$ на обучение, но не получаете взамен никакой бизнес-ценности, вы тратите слишком много»³⁴⁴.

Таблица Д6.3. ПРИМЕРЫ ВНУТРЕННИХ ПРОЦЕССНЫХ МЕТРИК ОБУЧЕНИЯ (ПРОМЕЖУТОЧНЫХ РЕЗУЛЬТАТОВ) И БИЗНЕС-РЕЗУЛЬТАТОВ

Рисунок Д6.7. ПОКАЗАТЕЛИ ПРОМЕЖУТОЧНЫХ РЕЗУЛЬТАТОВ, ТАКИХ КАК РЕАКЦИЯ ИЛИ КОЛИЧЕСТВО ПРИОБРЕТЕННЫХ ЗНАНИЙ, НЕ ЯВЛЯЮТСЯ РЕЗУЛЬТАТАМИ, КОТОРЫЕ ИНТЕРЕСУЮТ БИЗНЕС

Схожим образом тест на усвоение знаний по окончании обучения может быть важен для соблюдения требований по регулированию или для гарантии того, что материал усвоен, однако само по себе обучение – и оценка второго уровня – не является бизнес-целью; это просто контрольный рубеж в логической карте на пути к увеличению результативности. Возможно, поэтому Центр обучения армии США Center for Lessons Learned даже не считает, что-либо изученным, пока не задокументированы изменения в поведении³⁴⁵. Даже если участники могут положительно ответить на вопрос «Могу ли я?», «знания о необходимых действиях часто не приводят к действиям или поведению в соответствии с этими знаниями»³⁴⁶.

Не важно, сколько вы потратили, как заняты вы были и даже сколько людей вы обучили. Важно только то, что программа предоставила ценный результат (превышающий затраты). Доказательство ценности программы требует оценки результатов, определенных в «Д1: Диагностика», а не просто оценки деятельности или промежуточных результатов.

Практическое применение:

• Измеряйте и конечные результаты, и процессные метрики, но не путайте их между собой.

• Сообщайте бизнесу о конечных результатах программы.

• Используйте процессные метрики для управления обучающей организацией, повышения ее результативности и определения возможностей для совершенствования.

Утверждение подхода «Сделай сам»

Заключительное препятствие для эффективной оценки программ обучения – это тенденция профессионалов в области обучения все делать самостоятельно и «выплывать в одиночку». Оценка – это профессиональный навык. Существует огромное количество книг на эту тему (например, книга Русс-Эфта и Прескилла³⁴⁷), университетских дисциплин по оценке и даже профессиональным сертификациям для оценщиков³⁴⁸. Неразумно ожидать, что каждый профессионал в области обучения будет таким же экспертом в оценке, как в области обучения взрослых, педагогическом дизайне, фасилитации и многих других областях.

Если в вашем подразделении нет эксперта, обладающего этим конкретным навыком, обратитесь за помощью. «Если вы не прошли обучение или не обладаете навыками для проведения достоверной оценки, привлеките других специалистов из вашей организации, например тех, кто обучался оценке и статистике. Обычно вы можете найти таких специалистов в подразделении оценки качества»³⁴⁹. Вовлечение эксперта из области оценки не только усилит результаты вашей оценки, но и обогатит ваше понимание и навыки в рамках вашей совместной работы.

Практическое применение:

• Не считайте, что вы должны быть экспертом во всем; попросите помощи у экспертов из подразделений исследований рынка или повышения эффективности процессов.

• Начните с простого и обучайтесь в процессе работы.

6 шагов процесса оценки

В практике «Д6. Документирование: Документирование и оценка эффективности обучения» всего 6 шагов (рисунок Д6.8):

1. Подтвердите результаты, которые действительно имеют значение.

2. Составьте план проекта.

3. Соберите и проанализируйте данные.

4. Отчитайтесь о результатах.

5. Продавайте ожидания.

6. Внедрите меры по совершенствованию.

Рисунок Д6.8. ШЕСТЬ ШАГОВ ПРОЦЕССА ОЦЕНКИ РЕЗУЛЬТАТОВ

1. Подтвердите значимость результатов

Решение о том, что измерять, является важнейшим решением в процессе оценки программ обучения. В идеале, обсуждение критериев успешности программы должно обсуждаться в рамках «Д1: Диагностика» со спонсором. Если вы использовали Колесо планирования результатов (рисунок Д6.9), тогда в рамках «Д6: Документирование» вам предстоит только просмотреть резюме обсуждения и при внесении изменения в программы снова подтвердить критерии. Если критерии успешности еще не были определены, используйте логическую карту³⁵⁰, методологию GAPS!³⁵¹ или инструмент шести сигм, как QFD³⁵², или любой другой метод для определения важнейших результатов. Ключ к успеху лежит в том, чтобы не начинать сбор данных до того, как вы совместно со спонсорами не определите критерии успеха и то, что нужно будет измерить.

Больше не всегда лучше.

Конечно, для любой программы можно измерить большое количество критериев. Вызов состоит в том, чтобы уменьшить вселенную того, что может быть измерено, до «нескольких важнейших» показателей, которые и будут измерены. Больше не всегда лучше. Чем больше параметров вы отслеживаете, тем выше стоимость оценки (как во времени, так и в денежном эквиваленте), тем больший массив параметров вам нужно будет увязать и интерпретировать и тем с большей вероятностью вам встретится то, что вы объяснить не сможете. По этим причинам мы не согласны с предложением Киркпатрика о необходимости последовательной оценки всех четырех уровней. Хотя это и строит «цепочку доказательств» и имеет смысл в теории, это затратно, затруднительно и не обязательно. Поэтому в модели Киркпатрика New World (Новый мир) уделяется гораздо меньше внимания показателям первого и второго уровней и больше – измерению «отдачи от ожиданий», показателям третьего и четвертого уровней. Если вы можете продемонстрировать, что соответствующие целям результаты были достигнуты, вам нет необходимости доказывать, что участники освоили материал: это становится очевидным.

Рисунок Д6.9. КОЛЕСО ПЛАНИРОВАНИЯ РЕЗУЛЬТАТОВ

С другой стороны, не стоит «класть все яйца в одну корзину» и измерять только один параметр. В любой программе обучения могут возникнуть непредвиденные проблемы при сборе данных и анализе, убедитесь, что вы предусмотрели дополнительные и альтернативные показатели для измерения. Используйте схему процесса из рисунка Д6.10 для помощи в выборе.

Рисунок Д6.10. СХЕМА ПРОЦЕССА ДЛЯ ПОМОЩИ В ВЫБОРЕ ТОГО, ЧТО ИЗМЕРЯТЬ

Также вам необходимо определиться, что измерять, помимо количества участников программ, чтобы оценить результативность и найти возможности для совершенствования. Вернитесь к логической карте и цепочке создания ценности для выявления ключевых закономерностей, которые будут влиять на конечный результат.

Один из подходов, который мы используем с успехом – это написание сводных результатов для руководства до проведения оценки. Поделитесь черновиком со спонсорами для того, чтобы подтвердить, что планируемый анализ оценит результаты, которые они ценят больше всего. Мы, конечно же, оставляем секцию результатов пустой, но описываем методологию, типы данных и способ их сбора, а также примеры выводов, которые можно будет построить на основании данных. Возможность увидеть такое резюме помогает спонсорам решить, отвечает ли описанный подход их потребностям.

Практическое применение:

• Выберите небольшое количество показателей результативности, которые ответят на вопрос: «Сработала ли программа?».

• Выберите небольшое количество промежуточных результатов (процессных метрик), которые ответят на вопрос: «Какие части процесса можно бы было улучшить в дальнейшем?».

2. Составьте план проекта.

Как только вы выберите несколько важнейших показателей для оценки программы, вы можете закатать рукава и приступить к разработке детального плана оценки, который включает:

A. Решение о том, когда собирать данные.

B. Выбор базы для сопоставления.

C. Выбор техник по сбору данных.

D. Планирование анализа

E. Создание плана по реализации проекта.

А. Определитесь, когда собирать данные. Решение о том, когда собирать данные, почти так же важно, как решение о том, какие данные собирать. Учитывая, что «Д6: Документирование» направлена на документирование релевантных для бизнеса результатов, релевантные результаты могут быть собраны только после того, как участникам было предоставлено достаточно времени для переноса знаний и навыков на работу, а их применение практиковалось достаточно долго, чтобы результаты были очевидны. Для некоторых типов программ обучения, как, например, направленных на повышение качества клиентской поддержки или производственных процессов, улучшение может быть продемонстрировано в течение нескольких дней. Для других, таких как обучение лидерским навыкам или стратегическим продажам, могут потребоваться недели и месяцы, пока ожидаемые результаты можно будет задокументировать.

Решение о том, когда, почти так же важно, как что.

Временной фактор играет определяющую роль. Чем быстрее эффект может быть оценен, тем более полезными будут данные для принятия решений о расширении, продолжении, пересмотре или прекращении программы. Для программ, в которых для проявления результатов требуется большое количество времени, выберите опережающие индикаторы. Концепция опережающих индикаторов берет свое начало в прорывной работе Каплана и Нортона по «Balanced Scorecard», посвященной сбалансированной системе показателей³⁵³. Идея состоит в том, что опережающие индикаторы, как, например, уровень удовлетворенности клиентов или число новых продуктов в процессе подготовки, могут быть лучшими прогнозными параметрами, чем финансовые отчеты, которые только отражают результативность в прошлом.

«Опережающими индикаторами» успеха обучения являются изменения в поведении (рисунок Д6.11), так как сотрудники должны делать свою работу новыми и более совершенными способами для повышения результативности. Хотя Гилберт сразу обратил внимание, что реальная цель состоит в достижении, а не в самом по себе поведении³⁵⁴, изменения в поведении всегда предшествуют изменениям в результативности. Во многих случаях демонстрация значимых изменений в поведении – это все доказательства, которых требует менеджмент, так как, как показано на логической карте, они уже приняли корреляции между определенным поведением и бизнес-результатами.

Рисунок Д6.11. ИЗМЕНЕНИЯ В ПОВЕДЕНИИ ПРЕДШЕСТВУЮТ ИЗМЕНЕНИЯМ В РЕЗУЛЬТАТАХ

Дэвид Бреннан, генеральный директор AstraZeneca объяснил это следующим образом:

«Очевидно, люди стремятся дать количественную оценку бизнес-результатам. Я полагаю, что, хотя это и является важным показателем, есть вещи куда более измеримые, – это изменение поведения как очевидный результат программы».

«Если мы верим, что коучинг – это важная часть процесса управления результативностью сотрудников, и мы реализовали программу по развитию навыков коучинга, далее мы хотим измерить качество коучинга, не по мнению коучей-руководителей, а по мнению сотрудников, с которыми были проведены сессии».

«Если мы говорим, что нам важно, чтобы сотрудники демонстрировали способность к взаимодействию и достижению наилучших результатов всей командой, тогда нам стоит протестировать среду, чтобы увидеть, демонстрируют ли сотрудники желаемое поведение и поддерживается ли такое поведение менеджментом. Есть и другие, более сложные, методы оценки, которые можно развернуть… но с точки зрения операционной среды организации, оценка должна быть гораздо больше сконцентрирована на поведенческих результатах, к которым вы стремитесь».

Оценка должна больше концентрироваться на изменении поведения.

Логическая карта обычно проводит грань между краткосрочными и долгосрочными результатами³⁵⁵. Изменения поведения – это краткосрочные результаты. Помимо того, что они доступны ранее других, другим преимуществом использования изменений в поведении в качестве индикатора результативности является то, что они меньше зависят от других факторов, кроме как обучения и поддержки результативности.

Иногда может быть трудно изолировать эффект от обучения на широкие бизнес-метрики, например продажи, удержание и репутацию бренда. Таким образом, хотя идеальным показателем для программы повышения продаж на первый взгляд кажется непосредственно уровень продаж, проблема состоит в том, что доходы от продаж подвержены влиянию многих факторов, помимо обучения, например эффективности рекламной кампании, сезонности, действиям конкурентов, производственным проблемам и так далее. Если продажи увеличатся, то каждое подразделение может утверждать, что причиной стала именно их работа. Если продажи не увеличатся, это будет проблемой подразделения обучения.

Оценка изменений поведения предлагает более прямое доказательство вклада обучения. Представьте, что цель программ была в увеличении продаж путем обучения торговых представителей задавать больше пробных, «прощупывающих» вопросов, которые важно задавать непосредственно перед переходом к активной продаже. Ранним показателем успеха было бы увеличение количества и качества вопросов, которые торговые представители задают при реальном общении с клиентами. Документирование существенного роста ожидаемого поведения стало бы более достоверным показателем влияния обучения и поддержки результативности, чем увеличение продаж, так как на последнее оказывают влияние и другие факторы.

Практическое применение:

• Проводите оценку, как только результаты могут сказать, работает ли программа.

• Если спонсор согласен, используйте изменения в поведении в качестве показателей результативности, так как они доступны скорее и менее подвержены влиянию внешних факторов.

B. Выбор базы для сопоставления. Заявление о том, что программа обучения улучшила результативность, ставит вопрос: «В сравнении с чем?». Это является утверждением того, что результативность сотрудников стала лучше после обучения, чем до него? Или вы утверждаете, что те, кто прошел обучение, работают результативнее в сравнении с теми, кто обучение не прошел? Так или иначе, оценка всегда подразумевает какую-либо форму сравнения.

Поэтому частью составления (или подписания) программы оценки является решение о том, с чем будут сравниваться результаты, для демонстрации результативности. Это решение важно, так как каждый раз при сравнении вас могут попросить доказать правомерность выводов.

Обучение всегда подразумевает какую-либо форму сравнения.

Сравнения могут быть историческими и совпадающими по времени. Типичным примером исторического сравнения будет измерение результативности каждого сотрудника до и после обучения. Другим подходом будет просьба сотрудникам оценить свою результативность в сравнении с результативностью в прошлом. Этот подход используется Голдсмитом и Морганом для демонстрации важности последующих действий³⁵⁶.

Так как каждый участник вовлечен в процесс оценки, историческое сравнение позволяет избежать искажений, которые могут потенциально возникнуть при сравнении двух различных групп людей. Такое сравнение показывает высокий уровень внешней валидности: если большинство сотрудников стали работать результативнее после обучения, это достаточно убедительный аргумент в пользу того, что обучение принесло ценность.

Тем не менее, этот подход не идеален. Результативность людей будет повышаться при условии большего опыта работы в любом случае, поэтому часть улучшений или все улучшения из вашего списка могут просто быть следствием большей практики, а не самой программы обучения. Также в подходах, основанных на опросе мнения людей о результативности в сравнении с прошлым, может скрываться ошибочное суждение, как свойство человеческой памяти. Наконец, улучшение во времени может быть результатом изменений среды и не иметь отношения к обучению. Тем не менее, сравнения «до-после» являются в целом хорошим выбором, так как они понятны бизнес-лидерам и принимаются ими.

Одновременные оценки устраняют многие проблемы исторических сравнений. Исследования типа «случай-контроль» являются классикой экспериментальных лабораторных исследований, где результаты экспериментальной группы (в этом случае – участников обучения) сравниваются с результатами контрольной группы (не прошедшей обучение). Идеальным будет случайное распределение участников по группам во избежание системных различий (искажений). Тем не менее, такая строгость редко практикуется в корпоративных программах обучения и для практических целей может быть необязательной, если приложены усилия для гарантии того, что обе группы построены схожим образом.

Рекомендуем обратиться к книгам по оценке ³⁵⁷ и дизайну экспериментов³⁵⁸ для более глубокого обсуждения. Ключевая мысль состоит в том, что для того, чтобы оценка вызывала доверие, любые сравнения должны восприниматься правомерно. Когда полностью избежать искажений не удается, признайте это и опишите потенциальное их влияние в выводах.

Много было написано о важности эффекта изоляции в обучении. Наш взгляд схож с подходом Бринкерхоффа³⁵⁹. Мы считаем, что попытки посчитать процент улучшения, который можно приписать обучению, является тщетным упражнением. Когда обучение успешно, это результат обучения и поддержки для переноса знаний и умений на рабочее место; когда обучение проваливается, это обычно провал в процессе переноса. Обучение и перенос неотделимы друг от друга. «Когда мы оцениваем программы или меры, мы на самом деле оцениваем вклад систем оценки…»³⁶⁰.

Следовательно, мы не рекомендуем пытаться изолировать вклад обучения, призывая участников прикинуть процент того, что результат был достигнут благодаря обучению. Надежность таких оценок никогда не была строго продемонстрирована; их использование может потенциально подорвать доверие и полезность всей оценки результативности.

Цель оценки – поддержка процесса принятия обоснованных решений.

Такие рекомендации касаются не только академической среды. Цель оценки – поддержка процесса принятия обоснованных решений. Выбор неправильных показателей или неправильной базы для сравнения может привести к ошибочным выводам, а значит и невыгодным решениям. Оценка, преувеличивающая реальную ценность программы, может привести к экономически неэффективному решению о продолжении программы. Наоборот, плохо подготовленная оценка, не показывающая реальную ценность эффективной программы, может стать вкладом в решение об уменьшении финансирования или его прекращении.

Практическое применение:

• Определите, с чем вы будете сравнивать результаты программы обучения.

• Не пытайтесь подсчитать процент вклада обучения; это не целесообразно, не достоверно и не полезно.

С. Выберите техники по сбору данных. Как вы будете осуществлять сбор данных в выбранных группах и по выбранным показателям? Как обычно, «дьявол кроется в деталях». Что вы выбрали как предмет для оценки и будет определять целесообразность оценки; как вы будете измерять будет влиять на то, заслужит ли она доверие. Таким образом, вам необходимо убедиться, что клиент согласен не только с тем, что вы предлагаете измерять, но и тем, как вы предлагаете осуществлять сбор информации.

Например, спонсор может согласиться, что определенные изменения в поведении будут означать успех конкретной программы. Однако существует ряд способов документирования изменений в поведении. Будет ли достаточно отчетов участников («Я делаю гораздо больше таким образом»)? Требуется ли подтверждение прямых руководителей? Или, возможно, необходимо привлечение третьих лиц для ведения наблюдений и оценки поведения?

Схожим образом спонсор может ожидать увидеть финансовый анализ влияния программы на бизнес-результат. Насколько беспристрастным должен быть анализ? Достаточно ли будет предоставить консолидированные оценки от участников программы или требуется привлекать финансовое подразделение? «Правильный» ответ на эти вопросы будет зависеть от ситуации; это будут зависеть от того, что будет оправданно при доступных ресурсах и что будет принято целевой аудиторией.

Всего существует пять базовых типов данных для сбора: бизнес-метрики, наблюдения, оценки, мнения и примеры. Когда будет понятно, в какую категорию попадают результаты, которые вы планируете измерять, способы их сбора последуют, так как для каждого типа есть ограниченный спектр методов (Таблица Д6.4).

Таблица Д6.4. ТИПЫ ДОКАЗАТЕЛЬСТВ И МЕТОДЫ СБОРА ДАННЫХ

Бизнес-метрики. Бизнес-метрики – это данные, которые компания регулярно собирает в рамках операционной деятельности. Это включает данные от информации по продажам (количество и выручка) до количества ошибок, затрат на брак, операционных издержек, времени выполнения заказа, дефицита товара, потерях, точности прогнозирования и так далее. Если существующая бизнес-метрика отвечает критериям целесообразного результата программы и не будет полностью подвержена другим факторами, непременно используйте ее. Бизнес-метрики имеют преимущество мгновенного доверия и важности для бизнеса. Так как они уже собираются, нет никаких дополнительных издержек для их сбора.

Рисунок Д6.12. САМАЯ ЦЕЛЕСООБРАЗНАЯ И НАДЕЖНАЯ ОЦЕНКА ПОВЕДЕНИЯ – ПРЯМОЕ НАБЛЮДЕНИЕ

Если вы планируете использовать бизнес-метрики в качестве показателя результативности, убедитесь, что вы можете получить доступ к необходимому вам уровню детализации (на уровне конкретного участника). Такая степень конкретизации вам потребуется для реализации сравнения на уровне до-после или прошедшие-не прошедшие обучение. Проведите встречи с подразделениями IT, финансов или той функцией, которая контролирует данные, обсудите ваши потребности в данных, упомянув сотрудников и период сбора данных. Используйте псевдонимы или кодовые номера для участников, если требуется защита персональных данных.

Наблюдения. Для программ обучения, где результатом будет изменение действий или поведения на рабочем месте, самая целесообразной и надежной оценкой будет прямое наблюдение (рисунок Д6.12). Это может быть самонаблюдение с низким уровнем надежности до заполнения чек-листов результативности специальными наблюдателями с высоким уровнем надежности, как, например, использование «тайных покупателей» для оценки уровня поддержки покупателей³⁶¹. Обычно наблюдений средней строгости достаточно, как, например, вопросов клиентам: «Поприветствовали ли вас, когда вы зашли в магазин?» или «Помог ли вам продавец-консультант должным образом?» Другим примером может быть опрос менеджеров, коллег или прямых подчиненных о конкретном поведении. Может использоваться целый ряд форматов сбора данных, включая прямой подсчет, шкалы оценок или запросы конкретных примеров.

Чтобы данные наблюдений были убедительными, оценщики должны иметь возможность лично провести наблюдение за поведением, они должны четко понять, что вы запрашиваете, а временной отрезок должен быть таким, чтобы воспоминания были точны. Надежность может быть увеличена путем предоставления оценщикам листа поведенческих индикаторов для наблюдения, которые четко показывают, что вы стремитесь узнать и как это оценивать³⁶².

Предварительная оценка. Предварительные оценки широко применяются в бизнесе с целью планирования: «Как вам кажется, сколько это займет времени?», «Каков ваш прогноз продаж на следующий квартал?». Иногда оценки применяются для измерения результативности, например: «Сколько раз вы использовали что-то, что вы изучили в рамках программы?», «Насколько ценным это было для вас?».

Тем не менее, так как это предварительные оценки отдельных лиц, они обязательно будут заслуживать меньше доверия, чем бизнес-метрики и прямое наблюдение. Чтобы оценки заслуживали доверия, необходимо, чтобы респонденты обладали достаточными знаниями и навыками прогнозирования для формирования достоверной оценки. Тот, кто обрабатывает запросы, может, возможно, весьма достоверно оценить, сколько требуется для обработки запроса. С другой стороны, оценка эксперта по экономии финансовых средств в результате проведения программы обучения будет, скорее всего, слишком неточной.

Если вы решите использовать оценки, основанные на мнении, в качестве показателя результативности в вашей оценке эффективности, убедитесь, что с вами согласен ваш клиент, а затем приступайте к разработке анкет или инструкций по проведению интервью для людей, которые будут предоставлять оценки, в соответствии с их компетенциями и видением.

Мнения. Мнение, или восприятие, кажется, должно заслуживать меньше всего доверия. Однако временами мнения заслуживают больше всего доверия и являются наиважнейшими для измерения. Помните, что люди принимают решения, основываясь на восприятии, а не на объективной реальности. Следовательно, мнение клиентов является лидирующим индикатором их готовности покупать услуги или товары снова или рекомендовать компанию другим. Данные о мнениях обычно собираются с помощью опросов или интервью, с применением какой-либо рейтинговой шкалы.

Иногда мнения являются важнейшим результатом с наибольшим кредитом доверия.

Например, вы можете попросить людей отметить, с какой долей вероятности они порекомендуют продукт или услуги по шкале от 0 до 10. В самом деле, разработчики Net Promoter Score® (Индекса потребительской лояльности), который основывается на ответах на этот вопрос, заявляют, что он является лидирующим показателем будущего роста компании³⁶³. Сильвен Ньютон из центра Crotonville Leadership Center компании GE использует NPS для оценки того, как программа по развитию лидерства отвечала потребностям стейкхолдеров, а также для определения возможностей для непрерывного улучшения³⁶⁴.

Экспертное мнение. Отдельной подкатегорией является «экспертная оценка» – оценка результатов кем-то, кто является профессионалом в данной области. Экспертная оценка может быть подходящим показателем для программ, которые стремятся улучшить конкретные результаты работы сотрудников, например проведения презентаций, качество программного кода или точности стратегических планов. Только эксперты в области презентаций, программного обеспечения и стратегического планирования могут адекватно оценить, было ли изменение в качестве работы после обучения. Когда ожидаемым результатом является улучшенный продукт работы, тогда стратегией измерения является нахождения человека (или, если возможно, объективной системы экспертных оценок), способного предоставить обоснованное мнение о качестве результата.

Примеры. Пятой категорией, которая идет в какой-то степени вразрез с другими, являются примеры кейсов. В бизнес-среде растет признание силы историй для разъяснения, обучения, мотивации и создания запоминающихся впечатлений³⁶⁵.

Истории лежат в основе метода успешных кейсов (Success Case Method), разработанного Робом Бринкерхоффом (рисунок Д3.12). Процесс прямолинеен. Спустя достаточное время после обучения (в зависимости от природы обучения и целей), участники опрашиваются. Их спрашивают, использовали ли они отдельные аспекты программы, и просят оценить успех от «никакого» до «наблюдаемого успеха, описанного в измеряемых показателях»³⁶⁶. С рядом тех, кто заявил о наличии реальных успехов, проводится интервью для выявления деталей, подтверждения мнения, и в соответствующих случаях, документируется или оценивается финансовая выгода.

Также проводятся интервью и с некоторыми из тех, кто не достиг успехов, чтобы понять, что привело к невозможности достичь успешных результатов. Выявленные препятствия являются целью для непрерывного совершенствования. Сравнение ценности, созданной долей успешных участников, к доле не достигших успеха помогает менеджменту оценить реальные затраты на брак обучения и то, насколько много потенциальной выгоды все же «осталось за столом».

Рисунок Д6.13. МЕТОД УСПЕШНЫХ КЕЙСОВ БРИНКЕРХОФФА

Истории успешных кейсов запоминаются и побуждают к действиям.

Критичным предупреждением при использовании этого подхода, тем не менее, является необходимость убедиться в независимом подтверждении историй успеха, которые вы планируете использовать в качестве примеров. Если участник сообщил, что обучение помогло ему привлечь нового крупного клиента, проверьте данные о продажах или свяжитесь с клиентом. Если сотрудник утверждает, что уговорил ключевого сотрудника не покидать компанию, сверьтесь с этим сотрудником. Почему? Да потому, что в человеческой природе заложена тенденция к завышению собственных успехов, а ничто не дискредитирует вас быстрее, чем представление примера успеха, который будет сильно преувеличен.

Практическое применение:

• Выберите метод сбора данных, который больше всего совпадает с ожидаемыми результатами и с большей вероятностью предоставит целесообразные, заслуживающие доверия и побуждающие к действию данные.

• Используйте регулярно отслеживаемые бизнес-метрики, где это возможно, поскольку они заслуживают доверия и не требуют дополнительных затрат.

• Включите в оценку побуждающие и запоминающиеся примеры в форме историй.

D. Запланируйте фазу анализа. Важным аспектом дизайна эффективной оценки является тщательное предварительное планирование фазы анализа данных. А именно, как данные будут сопоставлены, при необходимости зашифрованы, переработаны и обобщены? Какие статистические методы вы будете использовать (если будете)? Проконсультируйтесь со специалистами по статистике из других подразделений, специалистами по исследованию рынков или внешними экспертами, которые обладают навыками оценки, до реализации плана, чтобы убедиться, что дизайн достаточен для определения различий и предоставления достоверных и объективных результатов.

E. Создайте план по реализации проекта. Наконец, нарисуйте диаграмму Ганта или календарный план в другой форме, который будет включать ключевые действия (когда будут высланы опросы и напоминания, назначены последующие интервью, завершен анализ и так далее). Сейчас доступен целый ряд систем комплексного программного обеспечения управления проектами, например Microsoft Project, чтобы помочь в составлении календарного плана. Если вы новичок в оценке или используйте такой подход впервые, покажите ваш план эксперту. Возможно, есть пути оптимизации процесса или усиления этапа анализа.

Практическое применение:

• Продумайте, как вы планируете анализировать результаты, ДО начала сбора данных.

• Обратитесь к экспертам, чтобы убедиться, что данные могут быть проанализированы.

3. Соберите и проанализируйте данные

Когда план оценки будет рассмотрен и согласован, вы можете приступить к его реализации. Кто-то должен быть назначен ответственным за управление проектом и реализацию плана, потому что даже относительно простой дизайн, например сбор мнения внутренних клиентов, имеет достаточное число переменных.

Если отдельных ресурсов для управления проектом нет, вам предстоит самостоятельно управлять проектом или найти внешних подрядчиков. В любом случае, не недооценивайте важность корректного выполнения плана; слабая реализация является гораздо более частой причиной провала в бизнесе, нежели слабое планирование ³⁶⁷.

Соберите данные. Если вы используете специально разработанный опрос или систему сбора данных, сначала протестируете ее, чтобы убедиться, что вопросы доступны для понимания, а ответы записываются корректно³⁶⁸. Если вы используйте интервью, примите меры для гарантии устойчивого результата и объективности, как описывается в исследованиях, наподобие проведенного Бабби³⁶⁹. Кроме этого, процесс сбора данных в основном состоит из периодического отслеживания поступающих данных для того, чтобы убедиться в адекватности результатов и корректной работе систем.

Проанализируйте данные. После сбора данных начинается самое интересное: анализ результатов, чтобы увидеть, в какой мере программа выполнила свои обещания. Процесс включает сравнение одного ряда данных (например, после обучения) с другим (например, перед обучением или без обучения). Если данные количественные (числа, рейтинговые шкалы, доллары и так далее), анализ потребует некоторого уровня статистического анализа для подтверждения того, что разница не является результатом случайной вариации. Если результаты качественные, то их необходимо проанализировать по темам и примерам. Также важно проанализировать ключевые метрики процесса для определения возможностей для улучшения. Например: Были ли менеджеры активно вовлечены? Воспринимали ли участники обучение как актуальное? Была ли реализована поддержка результативности?

Всегда есть вероятность, что оценка не покажет очевидную пользу.

Помните, что всегда существует вероятность, что оценка покажет, что программа не привнесла очевидной пользы или польза была слишком маленькой в сравнении с затратами. Принимать решение о том, что делать с негативными результатами, необходимо до начала оценки. До реализации плана ответьте на вопрос: «Если оценка будет неблагоприятна, что вы будете делать?» После того, как данные были собраны, они не могут быть «захоронены» и проигнорированы. На вас возложена моральная ответственность и ответственность как руководителя проекта за информирование как о негативных, так и положительных результатах, включая рекомендации для изменений: исправьте программу или рекомендуйте отказ, если программа является «собакой» (см. страницу 71).

Негативные результаты также ценны. Вероятность того, результат будет неблагоприятен, не должна останавливать обучающую организацию от решения сложных вопросов. Как лидер по обучению в General Mills, Кевин Уайльд, объяснил нам: «Некоторые исследования увенчались успехом, другие нет. Но если я не ставлю вопрос и не провожу исследование, я не знаю точно, где скрыта ценность. Делая такую работу, я напрямую взаимодействую с генеральным директором в практичной манере, так же как и все другие бизнес-лидеры: получая результаты, предоставляя аналитические выводы. Некоторые программы срабатывают, некоторые – нет. Вам нужна смелость, чтобы задавать вопросы и разбираться в результатах»³⁷⁰.

Практическое применение:

• Продумайте, как вы будете анализировать данные, до начала оценки.

• Заранее решите, как вы справитесь с негативными результатами или доказанным отсутствием эффекта.

4. Отчитайтесь о результатах менеджменту

Как только у вас готовы результаты, хорошие, плохие или нейтральные, необходимо отчитаться о них так, чтобы это привело к обоснованному принятию решений. Презентация результатов должна служить двум целям. Первая – представить результаты менеджменту, а вторая – строить бренд обучающей организации (к чему мы вернемся в следующей секции «продавайте ожидания»).

Спонсоры хотят знать, какую ценность они получат взамен вложенного времени и ресурсов в программу обучения. Им требуется адекватное, вызывающее доверие и побуждающее к действиям доказательство, которое поможет им предпринять соответствующие меры (рисунок Д6.14). Конечно, вне зависимости от того, насколько хороши ваши результаты, руководство захочет узнать, что вы планируете для достижения еще лучших результатов в будущем. Долго почивать на лаврах в бизнесе не получится.

Презентация результатов менеджменту должна состоять из краткого и взвешенного анализа, основанного на фактах, и рекомендаций. Результаты должны быть изложены на понятном бизнес-лидерам языке, без профессионального жаргона (как, например, «третий уровень» и так далее). Салливан выразился недвусмысленно: «История неоднократно подтверждала, что менеджеры не научатся говорить на вашем языке и не посмотрят с вашей позиции, поэтому это вам следует адаптироваться»³⁷¹.

Рисунок Д6.14. НА ОСНОВЕ РЕЗУЛЬТАТОВ ОЦЕНКИ МЕНЕДЖМЕНТ ПРИМЕТ ОДНО ИЗ ЧЕТЫРЕХ РЕШЕНИЙ

Такое же предостережение относится и к использованию статистики. В большинстве случаев потребуется провести статистический анализ некоторого уровня, чтобы доказать, что результаты не являются простой случайностью. Тем не менее, знания и доверие к статистике в среде бизнес-лидеров варьируется в широком диапазоне. Не пытайтесь поразить менеджмент сложными аналитическими материалами. Что бы вы ни делали, убедитесь, что вы в состоянии уверенно обсуждать презентуемый вами аналитический отчет. Ничто так не дискредитирует вас, как неспособность разъяснить вами же подготовленные результаты.

Никогда не презентуйте то, что вы не можете с уверенностью объяснить.

Наконец, быстро переходите к делу. Бизнес-лидеры чаще всего являются «направляющими»: у них нет ни времени, ни терпения блуждать по страницам из десяти или сотни слайдов в попытках найти информацию, на основе которой можно принимать решения. Если они не могут найти суть документа в первых нескольких параграфах, они с высокой долей вероятности отложат его или выбросят. Поэтому всегда размещайте на первой странице резюме для руководства. Это все, что прочтет большинство старших менеджеров. Четко, кратко и недвусмысленно изложите ключевые выводы и рекомендации; не стоит сохранять для читателя интригу.

Далее, в самом отчете, предоставьте данные в поддержку рекомендаций, представленных в резюме для руководителей, включая педагогический дизайн полного опыта обучения, методологию оценки, таблицы с данными, истории успеха и аналитические исследования. Бизнес-лидеры имеют дело с цифрами. Показывайте количественную информацию в хорошо структурированных, понятных таблицах и графиках. Обязательно выразите признательность руководителям участников программы и будьте прямолинейны в отношении ограничений метода оценки или выводов. Поясните, какие уроки вы вынесли из опыта и какие действия предпримете, чтобы сделать последующие программы еще более эффективными. Не забудьте включить ключевые и запоминающиеся примеры в форме историй.

При этом официальный отчет для старшего руководства является обязательным, но недостаточным. Чтобы убедиться, что ваши ключевые сообщения услышаны среди конкурирующего шума, они должны быть усилены. Если возможно, попросите представить результаты лично. Быстро переходите к делу; используйте такое количество времени и слайдов, которое минимально необходимо; лаконично передайте ключевые сообщения и закончите презентацию раньше отведенного срока.

Практическое применение:

• Отчитайтесь о результатах менеджменту понятно и кратко.

• Кратко изложите результаты и рекомендации к действиям на одностраничном резюме для руководителей.

5. Продавайте ожидания

Оценка, показавшая великолепные результаты, не имеет большой ценности, если никто о ней не узнает. Эффективное распространение и продвижение результатов жизненно важно для построения бренда обучающей организации. Применение концепции «бренда» в отношении обучения может показаться странным, однако в официальном отчете Корпоративного Университета Xchange прекрасно сформулировано следующее:

«У всего есть бренд, обучающая организация не исключение. Это потому, что бренд состоит из мнений, а предотвратить формирование мнений у людей невозможно»³⁷².

Мнение лидеров о «бренде» обучения формирует их готовность вкладывать деньги, время и усилия в программы обучения. Поэтому для вас важно знать состояние бренда обучения в вашей организации и активно им управлять. Вы должны «продать ожидания» и продвигать ценность обучения; «вы не можете быть едва заметны или наивны, если хотите, чтобы руководство обратило внимание на ваши показатели»³⁷³.

У всего есть бренд, обучающая организация – не исключение.

В целом, эксперты часто полагают, что их работа должна говорить сама за себя. Им была привита мысль, что маркетинг ниже их достоинства. Это очень наивная точка зрения. Согласно Крису Квинну, президенту Imprint Learning Solutions, «Бренд – это то, что существует в голове клиента и резюмирует все свойства, преимущества и ценность продуктов. Бренд имеет значение. А так как бренд имеет значение, им нужно управлять. Стратегический маркетинг – это интегрированный ряд целевых действий и коммуникаций, которые позитивно влияют на восприятие бренда»³⁷⁴.

Как подчеркнула Сью Тодд, «у вашей обучающей организации есть бренд, выбрали ли вы им управлять или нет»³⁷⁵. Если не удается стратегически продвинуть преимущества проведенного обучения, то бренд обучения остается недооцененным. Президент и руководитель работы с персоналом в Reliance Industries Прабир Джа пояснил это следующим образом: «Если вы не дудите в горн, кто-то может из него сделать и плевательницу».

Бренд живет в голове клиента.

Компания Mars использовала свой маркетинговый опыт для создания бренда Mars University. От этого выиграла и обучающая организация, и вся компания: «С большей целенаправленностью нам удалось прояснить наши принципы, то, чем мы занимаемся, а чем нет. Мы превратили нашу стратегию в формат обсуждаемой истории, которая захватывала внимание, сердца и головы наших сотрудников, какова бы ни была их бизнес-роль. Это помогло нам быть ЗАМЕЧЕННЫМИ»³⁷⁶.

«Тем не менее, брендинг – это гораздо больше, чем логотип, остроумный рекламный слоган и симпатичный дизайн»³⁷⁷. Восприятие бренда зависит от суммы всех взаимодействий клиентов с продуктами или услугами. Построение бренда обучающей организации высокого качества требует гарантии того, что на самом высоком уровне будет каждый результат: каждое обучающее решение, все материалы, все инструменты поддержки и каждый отчет. Построение бренда, как и доверие, требует времени и усилий, а его поддержание – активного внимания. Один единственный негативный опыт, поверхностная оценка или некачественный отчет могут серьезно навредить бренду.

Создание положительной репутации бренда также требует повторения ключевых сообщений. Специалисты по рекламе понимают, что как бы привлекателен ни был продукт, для построения бренда и удержания доли завоеванного внимания требуется повторение. Успешные в маркетинге компании повторяют одно и то же ключевое сообщение снова и снова всеми способами и по всем каналам (в журналах, по телевидению, в прямой рассылке и так далее). Эффективные руководители компаний используют схожий подход: они обращают внимание на несколько ключевых тем снова и снова, пока сообщение не дойдет до каждого сотрудника компании.

Обучающим организациям необходимо делать то же самое, чтобы убедиться, что их «сообщения донесены». Транслируйте ценность программ, проводимых подразделением обучения и развития, множество раз в различных форматах и ситуациях.

Практическое применение:

• Решите, каким вы хотите видеть бренд обучающей организации (чем вы хотите быть известны?); затем активно работайте над построением такой репутации.

• Транслируйте результаты обучения широко, результативно и много раз.

6. Внедрите меры по совершенствованию

Последний и важнейший шаг процесса – внедрение обнаруженных в процессе оценки возможностей для улучшения. Не важно, насколько эффектными были результаты, насколько убедительными были истории успеха, насколько результативным был перенос результатов обучения в ежедневную рабочую жизнь, всегда можно найти, что улучшить. Непрерывный поиск и внедрение мер по улучшению – это то, что отличает действительно выдающиеся организации от средних. Японская практика кайдзен (непрерывные малые и нарастающие изменения) со временем приводит к существенному конкурентному преимуществу³⁷⁸.

Самые эффективные обучающие организации выстроили процесс, который гарантирует, что промежуточные и конечные результаты каждой программы периодически пересматриваются, с целью разработки конкретного плана действий для внедрения мер по совершенствованию.

Используйте следующие вопросы как помощь в процессе разработки плана действий по непрерывному совершенствованию:

1. Это тенденция или изолированные и индивидуальные комментарии? Вы никогда не сможете удовлетворить потребности и угодить предпочтениям каждого обучающегося. Сконцентрируйте ваши усилия на тех проблемах, которые вы обнаружили при анализе процессных показателей или тех, которые важны для максимального числа участников. Убедитесь, что вы рассматриваете полный опыт обучения.

2. Стоит ли это исправлять? Не все, что можно улучшить, должно быть улучшено. Найдите области с наибольшим потенциалом для оказания влияния на бизнес.

3. Какова ключевая причина? Смотрите в корень. Если участники сообщили, что то, чему они обучились, обладало низкой степенью полезности, что за этим скрывается? На самом ли деле это материалы? Может ли быть что-то не то с участниками или, может, со временем обучения? Определите ключевую проблему до начала разработки решений.

4. Какие у вас варианты? Не чувствуйте себя обязанными «изобретать велосипед». Ознакомьтесь с литературой и обсудите с профессионалами в области обучения, которые уже сталкивались со схожими проблемами.

5. На что направить усилия в первую очередь? Начните с одной или двух областей. Найдите «низко висящие фрукты» – те возможности, которые относительно легки в реализации и недороги, но могут дать существенную отдачу.

6. Определите, как вы узнаете. Включите цикл PDCA как часть плана. Решите, что вы будете измерять, чтобы узнать, улучшили ли вы на самом деле ситуацию или нет.

7. Повторите. Повторяйте цикл для каждой программы, чтобы строить шаг за шагом конкурентное преимущество вашей организации.

Наконец, практикуйте проактивный подход к непрерывному совершенствованию. Отвлекайтесь периодически от каждодневной рутины и дайте команде обучения время, разрешение и пространство для рефлексии. Критично посмотрите на ваши сегодняшние программы и проверьте среду на предмет новых возможностей или разработок, которые могут стать прорывом (Кейс Д6.7). Любопытство, объективность, интеллектуальная честность и открытость к изменениям – это отличительные черты настоящего профессионала.

Кейс Д6.7

Честность

Мы попросили Терезу Рош, руководителя подразделения обучения в Agilent Technologies с многолетним опытом, которую прозвали «светилом обучения» на круглом столе по корпоративному обучению и развитию в Азии, озвучить совет для тех профессионалов в области обучения, которые действительно хотят внести вклад. Она отметила важность честности на всех организационных уровнях, до уровня индивидуального сотрудника.

«Agilent дает моей команде и мне ресурсы, чтобы играть важнейшую роль в развитии наших сотрудников. Поэтому я чувствую себя обязанной, с моральной и этической точки зрения, убедиться, что мы используем этот подарок правильно. Это включает ценное время людей, как участников, так и лидеров, которые управляют вместе с нами. Когда люди вкладывают свое время в обучение, я обязана убедиться, что каждому будет предоставлена возможность приобрести навыки, которые позволят им достичь их целей и стремлений. И я обязана убедиться для компании, что ресурсы используются правильно. Я считаю это очень важным. Для меня хорошо иметь возможность заявить, что 95% наших новых сотрудников по всему миру получают опыт вводного обучения в течение 60-ти дней, но это просто операционный показатель. Генеральный директор должен возлагать на нас ответственность и запрашивать, сократили ли мы время на адаптацию новых сотрудников и их выход на максимальную результативность. Если вы честны и действительно заботитесь о результате, тогда вам необходимо идти до финишной линии».

Также Тереза подчеркнула необходимость для профессионалов в области развития и обучения и организаций мыслить проактивно о своем ремесле и том, как меняющаяся среда влияет на него: «Одно из великих дел, нами сделанных за последние годы, было найти время и сказать: Что мы знаем? То, что мы знаем, как-то изменилось с годами? Вследствие этих изменений должны ли мы делать что-то иначе? И мы делаем это сообща. Потому, что один урок я точно усвоила: развитие всегда происходит сообща. Оно реализуется в межличностном пространстве. Мы даем некоторые время для рефлексии на индивидуальном уровне, но диалог протекает в коллегиальной атмосфере».

«Контроль на уровне Исполнительных Директоров, наша ориентация на задачу – это одна из частей нашего мозга. Но если мы никогда не уделяем времени рефлексии, созерцанию, поиску смыслов, не используем другие части мозга, тогда мы оказываем себе и миру медвежью услугу. Для всех, кто создает программы обучения, это проблема – убедиться, что достаточно времени на рефлексию. Но это первоочередная задача, необходимая нашему мозгу. Иначе я не знаю, как можно найти смыслы, заметить закономерности и разобраться в чем-то. Думаю, компании, умеющие лучше всего развивать свои таланты, умеют создавать среду, где люди могут взращивать свое мнение и делиться своими инсайтами».

Практическое применение:

• Создайте конкурентное преимущество, превратив выводы из оценки в действия.

• Реализуйте изменения в областях, дающих максимальную отдачу от инвестиций и приносящих пользу.

• Найдите время на рефлексию и изучение среды на предмет угроз и возможностей.