Основополагающие принципы

Известно, что Г. Л. Менкен заметил: «Для каждой сложной задачи существует решение, которое является быстрым, простым и неправильным». Учитывая весь спектр организационных целей и разнообразие обучающих решений, призванных их достичь, использование единой методики оценки для каждой программы обучения несомненно покажет себя «быстрым, простым и неправильным» решением. Как заметил Ридж: «Не существует готовых формул для оценки программ обучения, единых инструментов оценки. Огромное количество переменных делает большинство программ уникальными, и поэтому они не могут быть оценены тем же методом, которым были оценены другие программы»³¹⁰.

С другой стороны, можно определить небольшой ряд универсальных принципов, которые могут быть использованы для определения общего направления дизайна и оценки любого обучающего решения. Для того, чтобы доказать или опровергнуть эффективность обучения, оценка должна удовлетворять следующим четырем критериям:

• Соответствовать целям

• Вызывать доверие

• Побуждать к действию

• Быть эффективной

Рисунок Д6.3. ОЦЕНКА ДОЛЖНА ПРЕОДОЛЕТЬ ЧЕТЫРЕ ПРЕГРАДЫ, ЧТОБЫ СТАТЬ УСПЕШНОЙ

Ваша стратегия оценки должна преодолеть все четыре преграды (рисунок Д6.3), чтобы поддерживать обоснованные решения. Так, например, не имеет значения, насколько актуальны данные, представленные в оценке, или настолько эффективно проходил ее сбор, если она не вызывает доверия у целевой аудитории.

Соответствие целям. Первая характеристика эффективной оценки – это то, что она соответствует целям, то есть напрямую и однозначно связана с бизнес-целями («Д1: Диагностика») и логической картой программы. В литературе по оценке эта характеристика известна как внешняя валидность³¹¹. Соответствие оценки бизнес-целям кажется настолько очевидным, что мы постеснялись бы ее упоминать, если бы этот принцип не нарушался настолько часто.

То, что измеряется, должно отражать цели программы.

Самое частое нарушение принципа соответствия целям встречается по отношению к позитивным результатам оценки по первому уровню так, будто бы она является доказательством эффективности программы. Информация о мгновенной реакции релевантна только тогда, когда цель состоит только в том, чтобы мотивировать участников вернуться на другие программы, например для развлечений, вроде кино, тематических парков или футбольного матча. Корпоративные программы обучения не оплачиваются организацией с развлекательными целями; они создаются для решения проблем с результативностью, поиска новых возможностей в бизнесе, улучшения сервиса, повышения эффективности или других способов совершенствования результативности бизнеса. Измерение того, нравятся ли они людям и считают ли они программы ценными, не отвечает на животрепещущий вопрос руководства: достигла программа или нет поставленных бизнес-целей? (Кейс Д6.2).

Кейс Д6.2.

Настоящий сигнал тревоги

Когда Крис Койнс был исполнительным директором по развитию руководителей и обучению отдела продаж в компании Wueth, он получил настоящий сигнал тревоги о важности документирования результатов. Однажды руководитель пригласил его на совещание и сказал: «Крис, что бы ты сказал, если бы я объявил, что планирую передать функцию вашего подразделения на аутсорс?»

Сначала Крис не знал, что ответить. Затем, запинаясь, он попытался привести доводы, почему организация работы через внешних подрядчиков была бы плохой идеей: «Людям нравится наше обучение», «У нас много хороших ребят, много отличных талантов», «Посмотрите, сколько программ мы провели» и так далее. Чем больше он пытался объяснить, что функция обучения не должна передаваться внешним подрядчикам, тем более осознавал, что у него нет аргументированных доказательств.

Его руководитель выждал паузу, позволяющую пережить состояние неопределенности, прежде чем заявил: «Крис, расслабься. На самом деле я не планирую передавать реализацию вашей функции на аутсорс. Но ко мне обращаются подрядчики и убеждают меня сделать это. И они приходят ко мне с фактами, данными и аргументами в поддержку своих предложений».

«Помни, что я не всегда буду оставаться на этой позиции, и твой следующий руководитель может придерживаться другой точки зрения. Поэтому в следующий раз было бы хорошо, если бы ты был готов ответить лучше, чем в этот раз. На твоем месте я бы убедился, что у меня есть данные для обоснования бизнес-кейса об обучении, помимо того, что «мы им нравимся».

Оценка реакции не соответствует целям. Несмотря на почти повсеместное использование, оценка реакции (первый уровень по Киркпатрику) не имеет по сути связи ни с изменениями в поведении, ни с бизнес-вкладом. Диксон, к примеру, не обнаружил существенной корреляции между результатами опросов после обучения и восприятием участниками релевантности программы, их оценкой объема обучения, удовлетворенностью и навыками преподавателя³¹². Аллигер с коллегами проанализировали тридцать четыре исследования и обнаружили слабую корреляцию между данными по реакции и объективными показателями обучения и переносом обучения на рабочее место³¹³. Руона и коллеги изучили связь между реакцией обучающихся и переносом обучения и пришли к следующему выводу: «Результаты данного исследования продолжают ставить вопрос о роли и ценности оценки реакции»³¹⁴. Это не должно удивлять, учитывая огромное количество факторов, влияющих на перенос обучения.

Гендиректора отдали опросам по завершении программ обучения последнее место в рейтинге по эффективности.

Среди восьми возможных оценок эффективности обучения генеральные директора отметили оценку реакции первого уровня самой последней среди тех, которые они хотели бы видеть³¹⁵. Почему тогда функции обучения и развития настойчиво продолжают собирать, анализировать и документировать данные по оценке реакции? Во-первых, потому что они кажутся важными. Кажется логичным, что люди усвоили обучение лучше, если оно им понравилось. Это предположение не только неверное, но и потенциально опасное, потому что максимизация результатов оценки реакции может на самом деле привести к снижению результативности обучения (Кейс Д6.3).

Конечно, очень низкая или негативная оценка реакции может подчеркивать проблему. Как нам сказал один руководитель обучающей организации, «Если люди ненавидят пилот, я не стану запускать программу». Но обратное не является правдой: если людям понравился пилотный проект, это не обязательно значит, что программа должна быть запущена. Полагаться только на реакции – это тенденция к предпочтению развлечения содержанию.

Кейс Д6.3

Улучшение реакции участников не обязательно означает улучшение результативности

У одной европейской технологической компании были серьезные проблемы с одним из преподавателей. Преподаватель постоянно получал негативный рейтинг в опросах по окончании обучения, где у участников спрашивали «Оцените свою удовлетворенность работой преподавателя» и «Как вы считаете, был ли он эффективным»? Тогда они обратились за рекомендацией к Нилу Рэкхему, автору бестселлера SPIN Selling. Когда он проанализировал проблему с точки зрении эффективности, а не реакции, результаты были поразительные.

Когда все преподаватели были оценены по вкладу в обучение, непопулярный преподаватель оказался в команде лучших. Рэкхем отметил: «В конечном счете, оценка эмоциональной реакции обучающихся по первому уровню давала менеджменту неправильное представление»³¹⁶.

История Рэкхема была дополнена работой Роберта Шевалье в Century 21 Real Estate. Шевалье и его команда оценивали выпускников программы, основываясь на бизнес-результатах (количестве размещений, продаж и комиссий после обучения). Они обнаружили, что преподаватель, занимающий место в последней трети по результатам опроса уровня удовлетворенности студентов, был одним из самых эффективных в том, как обучающиеся достигали результатов в первые три месяца после окончания программы. По данным Шевалье, «оказалось, что существует очень небольшая корреляция между оценкой первого уровня и тем, что участники действительно достигли в своей области»³¹⁷.

Откуда берется такое расхождение? Дело в том, что те самые вещи, которые делают преподавателя, внутреннего тренера, эффективным (требование участия в ролевых играх, создание условий для высокой умственной нагрузки, предоставление честной обратной связи) не обязательно делает его или ее популярным.

C другой стороны, преподаватели и педагогические дизайнеры могут стараться угодить участникам для повышения рейтинга оценки после обучения, включая чрезмерное количество шуток, отпуская участников пораньше с занятий, не требуя много при оценке участников, включая не создающие ценности развлекательные элементы и так далее, что на самом деле может негативно сказываться на усвоении материала и применении знаний. Выплата бонусов преподавателям и подрядчикам на основании высокой оценки реакции участников может на самом деле привести к снижению результативности обучения.³¹⁸

Суть в том, что вы «получаете то, что вы измеряете». Достижение наивысших из возможных рейтингов по реакции не равно предоставлению самого результативного обучения.

Возможно, основная причина того, что оценка реакции первого уровня используется настолько часто, состоит в том, что сбор информации прост и не затратен настолько, что Стив Линдиа из подразделения организационного развития и аналитики в Bank of America называет его «удобной оценкой» (Кейс Д6.4). Автоматизированные системы сделали оценку первого уровня еще проще и еще более широко распространенной. Большинство организаций считают, что «реакции первого уровня – это все, что они могут получить, и это лучше, чем ничего». Как демонстрируется в кейсе Д6.3, они тем не менее не всегда лучше, чем ничего. В любом случае, мы можем и должны добиваться большего.

Что соответствует целям? Если оценка эмоциональной реакции не соответствует целям оценки обучающих решений, то что же соответствует? Релевантной оценкой является та, которая напрямую связана с бизнес-целями, и та, которую спонсор считает релевантной. Последнее является важным, учитывая субъективную природу оценки ценности. Именно поэтому обсуждение критериев успеха со спонсором является частью дисциплины «Д1: Диагностика». Решение о том, какие результаты документировать, всегда должны приниматься совместно с бизнес-спонсорами. Профессионалы в области обучения не должны полагать, что они знают, что их клиент хочет и ценит.

Принцип согласованности в педагогическом дизайне требует того, чтобы цели обучения были связаны с оценкой результативности программы³¹⁹. Принцип согласованности в равной мере применяется к оценке программ обучения в целом. Должна присутствовать полная согласованность между бизнес-целями и тем, что измеряется; дисциплины «Д1: Диагностика» и «Д6: Документирование» должны замыкать с обеих сторон любую программу обучения (рисунок Д6.4).

Рисунок Д6.4. ДИСЦИПЛИНЫ «Д1: ДИАГНОСТИКА» И «Д6: ДОКУМЕНТИРОВАНИЕ» ДОЛЖНЫ ЗАМЫКАТЬ С ОБЕИХ СТОРОН И ПОДДЕРЖИВАТЬ ЛЮБУЮ ПРОГРАММУ ОБУЧЕНИЯ

В зависимости от целей программы, ожидаемые результаты могут включать наблюдения, мнения, бизнес-метрики, примеры, оценки или их комбинацию (Таблица Д6.1). Например, если ожидаемым результатом является улучшение удовлетворенности клиентов, вам следует каким-то способом измерить разницу в уровне удовлетворенности клиентов и их мнение о качестве полученного сервиса. Если цель состоит в повышении соблюдения производственных инструкций, вы должны измерять соблюдение инструкций и так далее. Нет необходимости оценивать каждое обучающее решение до уровня влияния на финансовые показатели и рассчитывать отдачу от инвестиций; это зависит от того, ценят или нет ваши спонсоры такие оценки (Кейс Д6.6, стр. 264). Исследование бизнес-школы Ashridge, например, показало, что профессионалы в области обучения часто переоценивают интерес бизнес-лидеров к финансовому расчету отдачи от инвестиций при оценке результативности обучения³²⁰.

Таблица Д6.1. ТИПЫ ДОКАЗАТЕЛЬСТВ И МЕТОДЫ СБОРА ДАННЫХ

Соответствующие целям параметры для измерения и соответствующие методы сбора данных различаются для разных программ обучения, но принцип остается един; вы должны прийти к определению критериев успеха (например, что означает улучшение клиентского опыта), а затем найти (и применить) методы для оценки этого настолько надежно, тщательно и результативно, насколько это возможно.

Вывод. Соответствие целям – это то, без чего невозможна эффективная оценка результативности. Если спонсор не считает вашу метрику релевантной для ответа на вопрос: «Сработала ли программа», не важно, сколько у вас данных и насколько впечатляющие результаты, ваша оценка результативности провалилась.

Практическое применение:

• Тщательно следуйте дисциплине «Д1: Диагностика»; от этого зависит релевантность оценки.

• Используйте здравый смысл. Согласится ли рассудительный человек с тем, что предложенные вами критерии оценки напрямую отвечают на вопрос «Сработало ли?».

• Сверьтесь с заинтересованными лицами, чтобы убедиться, что предложенные критерии оценки для них релевантны и являются тем, что они хотят видеть в виде доказательства.

Кейс Д6.4

Соединяя потоки

Когда Стивен Линдиа был главой подразделения по оценке персонала в компании, предоставляющей финансовые услуги, глава подразделения обучения прозвал его «водопроводчиком» за его настойчивость в соединении всех метрик, касающихся оценки персонала, так как необходимо убедиться, что оценка, используемая в одном подразделении HR, например в обучении, связана с оценкой, используемой где-то еще, например с оценкой по модели компетенций в рамках оценки результативности, или организационной диагностикой, или опросами по культуре. Он всегда хотел знать наверняка, «каким образом та или иная оценка вписывается в больший организационный контекст и жизненный цикл сотрудников?». Он утверждал, что поражен тем, что до сих пор различные функции внутри HR не говорят друг с другом и не согласуют друг с другом усилия и критерии оценки.

Стив, который сейчас является руководителем высшего звена в Bank of America и отвечает за функцию организационного развития и аналитики, делится с нами некоторыми наблюдениями, полученными в результате более чем пятнадцатилетнего опыта оценки усилий по развитию талантов.

Он сказал: «Вы должны сделать шаг назад и подумать о поведении, которое вы на самом деле хотите изменить, и измерять его в течение некоторого времени, чтобы убедиться, что предложенный вами опыт имеет эффект. Вы должны подумать о том, «какие ключевые индикаторы результативности», «как они влияют на бизнес и клиентский опыт». Вы не можете просто полагаться на «удобную оценку», легко получаемую, как оценка эмоциональной реакции после проведения обучения, которая не связана напрямую с содержанием или целями программы и конкретными целями организации».

«Вы должны также подумать о том, что может быть валидным. Заманчиво сравнить результаты участников программы со «всеми остальными», но участвовавших в программе сотрудников нельзя сравнивать со «всеми остальными», и подобный подход точно завуалирует реальный вклад программы. Вам необходимо сравнивать результаты участников со схожими с ними по уровню, опыту, проживанию в регионе и так далее, чтобы обнаружить, присутствуют ли какие-либо изменения».

«Когда я думаю об оценке, я думаю о том, «какую проблему мы стремимся здесь решить». Когда вы сможете четко сформулировать желаемые изменения поведения в простых и четких терминах, оценка станет на порядок проще».

«Мы также должны предоставлять информацию таким образом, чтобы она позволяла руководству действовать. Самое большое внутреннее удовлетворение мне принес случай во время ревью результатов оценки новых руководителей в рамках общего процесса планирования кадрового резерва. Я проанализировал результаты всех оцениваемых, попавших в группу 10% из нижней части рейтинга, и выделил время для разговора с руководителями о том, что их прямые подчиненные испытывают трудности. Я подчеркнул те области, которые требовали внимания и предложил рекомендации по развитию и специфичным программам обучения для их прямых подчиненных».

«Несколько руководителей высшего звена даже позвонили мне и поблагодарили за то, что я обратил их внимание на это. Они, конечно же, видели результаты рейтинга, но на их рабочем столе столько данных, которые требуют немедленного внимания и действий. Важно, что они поддержали развитие молодых руководителей, которые испытывали трудности. Я этому поспособствовал, переведя данные в полезную информацию. Я полагаю, что это как раз то место, где мы можем принести максимальную пользу».

Вызывать доверие. Второй критерий для эффективной оценки – это то, что данные, их анализ и выводы должны вызывать доверие целевой аудитории, то есть быть достоверными и правдоподобными. Даже если оценка соответствует целям, а результаты впечатляют, оценка не сможет послужить цели принимать обоснованные решения, если принимающие решения лица ставят под сомнение корректность данных, анализа и выводов.

Вы, возможно, благодаря опыту знакомы с тем, что такое кредит доверия. Каждый день вас засыпают сообщениями от людей, которые хотят вам что-то продать, получить ваш голос или предпринять рекомендуемое ими действие. Некоторым вы верите, к некоторым настроены скептически, а некоторые сразу отвергаете. Критерии, которые вы используете, скорее всего будут схожи с теми, которые будут использовать стейкхолдеры при оценке ваших рекомендаций.

Хотя вас может это удивить, но одним из ключевых факторов при оценке того, заслуживает ли что-то доверия, является то, насколько результат соответствует устоявшимся убеждениям. Люди с большей готовностью принимают данные, которые поддерживают их точку зрения, чем те, которые противоречат устоявшимся у них убеждением³²¹. Для профессионалов в области обучения это означает, что те, кто уже скептически настроен по отношению к ценности обучения, будут более критично смотреть на ваши результаты, чем те, которые уже поддерживают обучающее решение. Возможно, это частично объясняет наблюдение Берсина о том, что чем больше бизнес убежден в том, что вы создаете условия для реализации их потребностей, тем меньше данных они запрашивают ³²².

Помните, что любая оценка политическая, так как деньги, власть, репутация и авторитет всегда поставлены на карту³²³. Если ценность инициативы горячо обсуждалась на уровне предложения, вы можете быть уверены, что результаты будут критически изучены, а достоверность оценки поставлена под сомнение.

Любая оценка политическая.

Дополнительные факторы, которые влияют на то, будет ли оценка заслуживать доверие, включают количество данных, правдоподобность результатов, когнитивные искажения, доступность к пониманию и репутацию оценщика.

Количество данных. В целом, чем больше сотрудников будет включено в исследование, тем больше доверия заслуживают результаты. Рекомендации, основанные на изучении сотни участников будут внушать больше доверия, нежели исследования пяти сотрудников. На это есть две причины: (1) чем крупнее сравниваемые группы, тем вероятнее они будут действительно сравнимы, и (2) чем крупнее группы, тем более уверены вы можете быть, что любая замеченная разница является чем-то большим, чем волей случая.

Существует и точка снижения эффекта, где стоимость сбора дополнительных данных будет выше их вклада в понимание проблемы и надежность исследования. Роб Бринкерхофф предложил применять нормы права: «вне всяких сомнений»³²⁴. Другими словами, нет необходимости доказывать результативность обучения так, чтобы не возникало никаких сомнений, а только до того уровня строгости, чтобы предоставить менеджменту уверенность в результатах. Нет необходимости в абсолютной обоснованности, что, впрочем, и недостижимо.

Достоверность результатов. Второй фактор, влияющий на доверительное отношение к результатам, – это правдоподобность. Как гласит народная мудрость, известная также как «тест на чутье», «Если что-то кажется слишком хорошим, чтобы быть правдой, скорее всего, так и есть». Это ведет к интересному парадоксу: чем лучше будут ваши результаты, тем с меньшей вероятностью они будут казаться правдоподобными. Исследование отдачи от инвестиций часто ставится под сомнение руководством, потому что в них отдача может превышать их ожидания, и поэтому они кажутся руководителям подозрительными.

Также если все ваши результаты указывают на выдающийся успех, достоверность будет также поставлена под сомнение. В бизнесе не все срабатывает, особенно с первого раза. Вы сможете заслужить доверие, если будете документировать провалы и ошибки наряду с успехами.

Когнитивные искажения. Доверие к результатам снижается, когда целевая аудитория считает, что в методах сбора, оценки и документирования данных присутствуют искажения. Позаботьтесь об этом и обратитесь за экспертным советом, выбирая объекты исследования и данные, чтобы избежать часто встречаемых искажений:

• Ошибка выборки – включение в выборку только положительных отзывов. Например, опрос только тех, кто высоко оценил программу, или обучение участников «с высоким потенциалом» и последующее сравнение со средними сотрудниками, не прошедшими обучение.

• Эффект интервьюера и анкеты – организация сбора данных и форм на основе «задавания наводящих вопросов», на которые с высокой долей вероятности можно получить положительный ответ.

• Искажение ответа – частая проблема в опросах, особенно когда количество респондентов невысоко. Когда только малая часть группы ответила на вопросы, это всегда ставит под сомнение репрезентативность выборки для выводов на всю группу.

• Предвзятое отношение к проводящему опрос – если сотрудники полагают, что опрос не анонимный, а негативные ответы могут привести к карательным мерам (даже если это не так), они стремятся «подсластить» свои ответы и выбирать «политкорректные» варианты. Например, исследования показали, что участники программ оценивают их лучше в присутствии фасилитатора, чтобы не задеть его/ее чувства.

Если программа на острие жгучего политического вопроса, рассмотрите вариант независимой оценки или оценщика для повышения доверия к результатам.

Доступность для понимания. Доверие также зависит от доступности результатов для понимания. В частности, если кто-то чувствует, будто его/ее «заносит снегом». Если люди не понимают, как проходила оценка результативности, или используемых в отчете терминов, они будут склонны сомневаться. Избегайте слишком сложного дизайна и заумных аналитических методов, насколько это возможно, используйте термины и концепции, известные бизнес-лидерам, исключите профессиональный жаргон и термины.

Репутация. Наконец, будут ли доверять результатам или нет, зависит от уровня вашей репутации и репутации обучающей организации, частью которой вы являетесь. Как звучит в первом законе лидерства Кузеса-Познера: «Если вы не верите вестнику, то не поверите и в его вести»³²⁵. При прочих равных отчет автора, заслужившего доверие в прошлом, будет казаться более достоверным, нежели отчет от неизвестного или ранее потерявшего доверие автора.

Если вы не верите вестнику, то не поверите и в его вести.

Построение репутации требует времени. Сохранение репутации требует активного внимания: «Заработать доверие – одна из самых сложных задач. И репутация – одно из самых хрупких человеческих качеств. Она нарабатывается от минуты к минуте, от часа к часу, от месяца к месяцу, из года в год. Но теряется практически в один момент…»³²⁶. Чтобы заработать право занимать место за столом переговоров, высказывать свою точку зрения в стратегически важных обсуждениях, получить ресурсы, необходимые для реализации своей миссии, функция обучения должна показывать устойчивый результат, доказывая свой вклад.

Практическое применение:

• Убедитесь, что заинтересованные лица считают ваш подход достаточно тщательным, доступным к пониманию и не подверженным когнитивным искажениям.

• Зарабатывайте и сохраняйте свою репутацию, демонстрируя непредвзятость при документировании результатов, успешных или нет.

Побуждать к действию. Третья характеристика эффективной оценки – это то, что она должна служить побуждением (убедить в необходимости) к конкретным действиям, например, продолжить, расширить, пересмотреть или отказаться от обучающего решения. Даже если оценка отвечает первым двум критериям (соответствует целям и вызывает доверие), она будет провалена, если недостаточно повлияет на мотивацию к действию.

Что сделает оценку убедительной? Как минимум, она должна быть непротиворечивая, запоминающаяся, действенная и краткая.

Однозначность. По нашему мнению, оценка должна включать однозначные рекомендации для действий. Если это ваша программа, вы являетесь экспертом. Вы должны предоставить руководству однозначные выводы по полученным данным и связанные с ними рекомендации для будущих действий. Это концепция «завершенной штабной работы», разработанная во время Второй Мировой войны для гарантии быстрых и эффективных решений. Фрэнсис Буайе старший, руководитель Smith, Kline & French, резюмировал идею концепции, обращаясь к исполнительному комитету, следующим образом: «Ваша задача – изучать, описывать, снова изучать и снова описывать, пока вы не выработаете рекомендацию по конкретному действию – лучшему, среди вами рассмотренных».

Вне зависимости от того, будут ли ваши рекомендации в конечном счете приняты, вы заслуживаете уважения в качестве стратегического мыслителя и человека действия, предлагая конкретные шаги и имея в своем распоряжении доказательства для подкрепления своей рекомендации. Сразу начните со своих рекомендаций в резюме доклада. Озвучьте их четко и смело и покажите аргументы в их поддержку. Не откладывайте их в конец презентации или отчета; немногие зайдут так далеко. И не принижайте себя, используя нерешительные формулировки, как «это может быть рекомендовано к рассмотрению». Выскажите свое мнение; именно в этом заключается ваша работа.

Запоминаемость. Менеджеры, даже больше чем все мы, постоянно подвергаются бомбардировке сообщениями, часто противоречивыми. Большинство из них сразу забываются; только некоторые остаются в памяти. Вы должны убедиться, что ваше сообщение будет выделяться из фонового шума и запомнится.

В своей книге-бестселлере Made to Stick («Создано запоминающимся») Чип и Дэн Хит стремились ответить на вопрос: «Почему некоторые сообщения запоминаются, когда другие умирают?». После анализа уймы «прилипших» сообщений, от городских легенд до басен Эзопа, они пришли к выводу, что запоминающиеся сообщения обладают шестью характеристиками³²⁷:

• Простота

• Неожиданность

• Конкретность

• Достоверность

• Эмоциональность

• Подача в формате истории

Большинство отчетов о программах развития слишком длинные, слишком скучные и просто неинтересные.

Эти характеристики резко отличаются от типичных корпоративных презентаций и отчетов, которые часто слишком сложные, предсказуемые, абстрактные, скучные и описывают только сухие факты. Салливан выразился предельно прямо: «Большинство отчетов о программах развития слишком длинные, слишком скучные и просто неинтересные»³²⁸.

Для создания убедительной оценки:

1. Упрощайте. Убедитесь, что вы предлагаете простые, ясные и однозначные рекомендации на основе анализа данных.

2. Удивляйте. Найдите неожиданные данные или ракурс, если это возможно, или презентуйте данные неожиданным способом. Используйте последнюю рекомендацию с осторожностью; существует тонкая грань между более интересной и неожиданной манерой, которую воспримут как находчивость, и слишком заумной для того, чтобы принимать всерьез.

3. Подавайте в формате истории, чтобы сделать результаты конкретными, эмоционально наполненными и запоминающимися. Даже если у вас просто количественные данные, дополните их парой историй, чтобы сделать более запоминающимися (Кейс Д6.5)

Кейс Д6.5

Слишком много данных, слишком мало историй

Мы совершили ошибку, став слишком формализованными и слишком научными в одном из наших ранних проектов, где мы оказывали консультационные услуги. К нам обратились с просьбой помочь оценить влияние масштабного проекта по управлению изменениями в организации. Чтобы оценить вклад программы, мы попросили участников предоставить примеры достигнутых результатов, если таковые были, на основе использования изученного материала.

Мы собрали сотни богатых, детализированных, подробных и конкретных примеров того, как обучение помогло ускорить процессы, сократить потери, порадовать клиентов и так далее. С помощью финансового подразделения мы привели ценность в долларах от данных результатов и сравнили с расходами на программу. Результаты анализа отдачи от инвестиций были впечатляющие.

Мы подготовили, как мы полагали, мощный ряд графиков, таблиц и слайдов. Но мы не включили никаких историй.

Презентация в конечном счете была представлена совету директоров компании Fortune 500. Совет директоров был положительно удивлен. Но очень маловероятно, что кто-то из них помнил хотя бы один график и приведенную статистику уже на следующий день. Хотя, если бы мы включили несколько историй успеха, результаты могли бы до сих пор оставаться на устах, спустя годы. Это сила формата историй.

Из этого кейса можно вынести то, что хотя истории сами по себе не заменяют количественный анализ, они являются тем разрыхлителем, который трансформирует ничем не примечательную презентацию в запоминающуюся.

Часто в бизнесе наблюдается тенденция игнорировать рассказывание историй как действие, не имеющее ценности или недостаточно серьезное для того, чтобы включать его в отчеты или презентации руководству³²⁹. Это очень серьезная ошибка. Это полностью противоречит тому, что делает информацию запоминающейся. Определение, сбор, обоснование и использование историй, «стоящих того, чтобы ими поделиться» – это ядро метода Успешного Кейса (Success Case) для документирования результатов и «рассказа истории обучения» запоминающимся и побуждающим способом³³⁰. Дэниел Пинк в книге A Whole New Mind поделился своими наблюдениями: «Истории легче запоминать, потому что во многом они построены так, как мы запоминаем»³³¹.

Вне зависимости от других методов сбора данных и аналитики, ищите возможности включить наглядные истории, отчитываясь о результатах. Это сделает ваше сообщение запоминающимся. Намного лучше, если в истории будет эмоциональный элемент.

Действенность. Влияние – это следствие и содержания, и стиля. Содержание – это необходимое условие; вы должны показать, что следование (или неследование) рекомендованным вами действиям будет иметь существенное влияние на лиц, принимающих решение.

Трагично, когда отличные результаты не транслированы эффективно.

Стиль – это то, как вы несете свое сообщение. Это означает трансляцию результатов на языке своей аудитории, с подчеркиванием важных для них моментов. Не принижайте свои выводы. Трагично иметь отличные результаты и не суметь их транслировать эффективно и действенно.

Краткость. Наконец, побуждающая оценка кратка и всегда в точку. Люди склонны принимать короткий, сжатый анализ, а не длинный и всеобъемлющий. Убедитесь, что за цепочкой вашей аргументации легко проследить, и включайте только те детали, которые необходимы для обоснования. Все остальное поместите в приложения или на вспомогательные слайды.

Практическое применение:

• Убедитесь, что ваш отчет однозначный, запоминающийся, действенный и краткий.

• Используйте истории, чтобы оживить результаты.

• Оценка только тогда полезна, когда она побуждает к действиям. Включите конкретные рекомендации, основанные на ваших выводах.

Быть эффективной. Действенность важна для любого бизнес-процесса, но она всегда должна рассматриваться как один из последних критериев. Эффективность оценки имеет смысл только тогда, когда соблюдены первые три критерия. Другими словами, измерение не того никогда не является эффективным, как бы недорого и быстро это не было бы реализовано. Как выразился Дрюкер: «Ничего нет настолько бесполезного, как эффективное выполнение того, что не стоило делать вовсе».

Ничего нет настолько бесполезного, как эффективное выполнение того, что не стоило делать вовсе.

Эффективность имеет значение, потому что оценка сама по себе требует ресурсов и времени. Основополагающий принцип – никогда не инвестировать больше, чем ценность, которую дает информация³³². Оценка должна быть проведена только до того уровня, который необходим для поддержки соответствующих бизнес-решений и для удовлетворения целевой аудитории. Цель состоит в предоставлении целесообразной, достоверной и побуждающей к действию информации настолько недорогой, насколько это возможно.

Эффективность важна также и потому, что результаты имеют ограниченное время действия. «Часть успеха любых усилий по оценке – это своевременность полученных на ее основании выводов… Иногда они [ограничения во времени] связаны с циклом формирования бюджета, сроками подачи заявок на инвестирование, датами запуска производства и доставки, или являются «необходимыми знаниями» только до принятия определенных мер. Когда оценка пропускает эти временные сроки, сделанные на ее основе выводы будут иметь ограниченную пользу»³³³.

Эффективность может быть получена путем использования уже собранных данных в рамках регулярных бизнес-процессов, индивидуальных оценок или систем управления переносом обучения на практику. Если требуется оценка дополнительных аспектов результативности, ищите автоматизированные пути сбора данных. Для крупных программ используйте случайную выборку из участников программы; попытки включить каждого участника существенно увеличивают бюджет оценки, а после определенного момента не несут дополнительной ценности. Обратитесь к эксперту, если вы не знакомы с нюансами и подводными камнями формирования выборок.

Опросы. Появление простых и недорогих онлайн-инструментов для проведения опросов существенно увеличило эффективность сбора информации от большого числа респондентов. К сожалению, эти инструменты также внесли вклад в снижение достоверности и доверия к результатам, потому что такие опросы часто используются неверно, непрофессионально разработаны и плохо организованы.

Например, просьба к участникам отметить, сколько, как они считают, они изучили, – это не то же самое, что измерение количества усвоенных знаний (оценка второго уровня), и это не должно позиционироваться в этом ключе (тем не менее, мы знаем одного поставщика, практикующего это). Также вопрос о том, насколько ценным, по ожиданиям респондентов, будет обучение, – это не то же самое, что оценка ценности действительных результатов.

Структура опроса влияет на достоверность и надежность результатов.

Структура опроса – выбранные слова, количество вопросов, варианты шкал и так далее – оказывает огромное влияние на достоверность и надежность результатов, а также оказывает влияние и процент заполнивших опрос до конца³³⁴. Филлипс, Филлипс и Аарон предложили полезное руководство по дизайну опросов, их администрированию и анализу³³⁵. Если вы не разбираетесь хорошо в методах социологических исследований, попросите помощи у подразделения маркетинговых исследований или других экспертов по сбору и анализу данных в вашей компании.