Системы оценки тренинга. Наиболее известной и повсеместно используемой к сегодняшнему дню была и остается система показателей для оценки эффективности тренинга, впервые предложенная Д. Киркпатриком в 1959 г. [Kirkpatrick, 1959]. Мы уже упоминали о подходе Киркпатрика в рамках данной главы при анализе отдельных тренинговых эффектов. Обсуждая связанную с темой эффектов проблему эффективности, имеет смысл дать более полное описание того, что на страницах специальной литературы принято именовать шкалой, или моделью, Киркпатрика. Напомним, что в этой шкале выделяются четыре уровня оценки тренинга, обозначаемые как уровень реакций участников тренинга, уровень приобретения знаний и умений к концу тренинга, уровень поведения на рабочем месте после тренинга и уровень результатов для организации.

Уровень реакций (откликов). Наиболее часто используемой и в то же время наиболее спорной является оценка на уровне реакций участников. Под последними понимаются мнения, суждения и оценки, которые выносятся участниками по ходу тренинга или сразу после его окончания. Эти суждения и оценки могут относиться к тренингу в целом или к его отдельным составным частям или аспектам. Наиболее распространенным способом сбора мнений и оценок являются всевозможные опросные листы, которые заполняются участниками сразу после каждой сессии или спустя некоторое (обычно очень короткое) время после окончания всего курса. Тем не менее существуют и другие способы фиксации оценок: ведение дневников, написание эссе, групповое обсуждение, проведение по завершении тренинга специального контрольного занятия.

Этот уровень оценки эффективности еще два десятка лет назад получал от специалистов весьма снисходительные и нелестные характеристики. Особенно уничижительных комментариев удостаивались опросные листы, которые именовались не иначе как «мажорные опросники» и «листки удачи». По-видимому, подразумевается, что участники тренинга, обрадованные тем, что все эти утомительные процедуры наконец-то завершились, на радостях и впопыхах выставляют высокие оценки по всем или почти по всем параметрам оцениваемой программы. Высказывалось мнение, что популярность такого подхода к оценке объясняется лишь тем обстоятельством, что его реализация сопряжена с наименьшими временны ми и финансовыми издержками и не вызывает серьезных трудностей у организаторов тренинга. До сих пор идут споры по поводу того, что же на самом деле фиксируется на уровне реакций: оценка содержания курса, уровень методического оснащения или же общая эмоциональная атмосфера? В настоящее время ряд весьма авторитетных специалистов уделяет большое внимание сбору и обработке информации, собираемой на уровне непосредственных (в том числе и эмоциональных) откликов участников тренинга [Петровская, 1989; Жуков, 2003; Brown, 2005;

Sitzmann et al., 2008]; а значительное число тренеров и тренинг-менеджеров тратят немалые усилия на разработку и совершенствование того, что иной раз столь уничижительно называется «мажорными опросниками». Пренебрежительное отношение к эмоциональным состояниям и мнениям участников о качестве тренинга представляется абсолютно неоправданным, особенно в современных условиях. Если члены тренинговой группы чувствуют себя на занятиях дискомфортно, а сам тренинг воспринимается ими как набор непонятных, скучных и бесполезных процедур, то что, кроме принуждения может заставить людей посещать занятия?

Уровень усвоения. На уровне усвоения оценке подлежит сам факт усвоения, или степень овладения знаниями и умениями, а также сформированность установок. Приобретенные знания, умения и установки сравниваются с установленными стандартами. Несмотря на то что именно на этом уровне и происходит прямое сопоставление результатов тренинга с его заявленными целями, находится немало авторов, которые стремятся поставить под сомнение значимость оценки того, насколько хорошо были усвоены знания и умения или сформированы установки. Утверждается, что не столь важно, как это все было усвоено, а важно, насколько эффективно все это будет использовано. Другой предмет дискуссий – относительная значимость различных компонентов компетентности: знаний, умений или диспозиций. Хотя по большинству ситуаций первенство отдается умениям, существуют и иные точки зрения. Так, С. Манн и И. Робертсон считают, что наиболее важным для оценки успешности тренинга является такое диспозиционное образование, как самоэффективность, или уверенность в эффективности [Mann, Robertson, 1996]. На ведущую роль таких диспозиционных образований, как отношение к себе и партнерам по общению, в формировании коммуникативной компетентности указывает и Л. Петровская [1999, с. 151]. Особое место в перечне усвоенного занимают когнитивные структуры. С одной стороны, они не являются в строгом смысле слова ни знаниями, ни умениями, ни диспозициями. И в то же время очевидна их связь со всеми вышеперечисленными образованиями. Когнитивные структуры являются способом систематической организации знаний, одним из средств построения поведения («когнитивная оснастка действия»), они определяют и направляют активность индивида. Поэтому не удивительно, что изменения характеристик когнитивных структур (когнитивная сложность, интегрированность, оценочная нагруженность) рассматриваются в качестве целей тренинга [Reid, 1979].

Уровень поведения. Здесь выясняется вопрос, насколько приобретенные знания, умения и установки используются или реализуются в ситуациях, отличных от тренинговых, «за стенами учебных классов». Чаще всего под этим подразумевается применение знаний и умений в рамках профессиональной деятельности или в социально-бытовом общении.

Уровень результатов. На этом уровне производится оценка того, что дало обучение организации в целом. Используются различные бизнес-показатели, как конечные, так и промежуточные: рост оборота или прибыли, увеличение доли рынка, снижение издержек, уменьшение текучести кадров, уменьшение числа конфликтов, снижение числа рекламаций или жалоб клиентов и потребителей и т. д.

Данная схема с теми или иными модификациями является исходной для построения многих систем оценок эффективности. В дополнение к четырем уровням Киркпатрика нередко добавляют еще один, пятый уровень: отношение прироста эффективности к уровню затрат как денежных, так и временных. И как отдельную проблему выделяют вопрос о переносе навыка. Д. Стюарт предлагает проводить оценку эффективности по пяти параметрам, которые обозначаются как приемлемость, обученность, потенциальные возможности, производительность, результативность [Стюарт, 2001, с. 100–114]. Два первых параметра, по сути, идентичны первым двум уровням шкалы Киркпатрика, а два последних (производительность и результативность) тождественны понятиям «уровень результатов» и «отдача на вложения». Интерес представляет специальное выделение уровня возможностей. Его необходимость аргументируется тем, что не все из освоенного в тренинге может быть использовано на рабочем месте или в привычных социально-бытовых ситуациях [Там же, с. 107–108]. Существуют еще более развернутые системы оценки, в которые включаются вопросы, связанные с определением релевантности и своевременности проведения тех или иных тренинговых программ [James, Rof e, 2000, р. 14]. И все же большинство практикуемых в настоящее время систем оценки результатов тренинга базируется на концепции четырех уровней, сформулированной в конце 50-х годов прошлого столетия.

Опубликованная в 2003 г. в «Journal of Applied Psychology» обзорно-аналитическая статья четырех авторов (три из которых представляли Техасский университет A&M, а один – исследовательскую лабораторию ВВС США) стала в последующие годы одним из самых цитируемых текстов в области оценки тренингов [Arthur, Bennett, Edens, Bell, 2003]. Обзор охватывает 40-летний временной диапазон, с 1960 по 2000 г., а в перечень анализируемых исследований изначально было включено 636 источников, если под последними понимать тексты, и более 30 тыс., если источниками считать членов тренинговых групп. Структурирование информации осуществлено с опорой на четырехуровневую модель Киркпатрика, т. е. с выделением таких компонентов, как отклики, усвоение, поведение и результаты. Адекватность использования именно этой модели в данном случае не вызывает возражения, так как в сферу анализа вошли данные, полученные при проведении преимущественно корпоративного тренинга. В рамках корпоративного (закрытого) тренинга возможно проведение оценки на третьем и четвертом уровнях, что в открытых тренингах представляется если не невозможным в принципе, то в большинстве случаев неосуществимым практически.

В качестве интегрального показателя эффективности в работе была использована D-статистика (основанная на анализе групповых средних и стандартных отклонений), а основной показатель – индекс d (размер эффекта) – варьировал в данном исследовании в диапазоне от –1,50 до +5,00, где 0 означал отсутствие каких-либо изменений, минус перед индексом говорил об уменьшении значения показателя, а наличие плюса значило, что наблюдается сдвиг позитивного характера. Индекс d рассчитывался либо на основе информации о значениях средних арифметических и стандартных отклонений, взятых из оригинальных статей или отчетов, либо получался путем пересчета из опубликованных в статьях значений таких показателей, как коэффициенты корреляции, критерии Стьюдента и Фишера и хи-квадрат. При интерпретации результатов исследователи ориентировались на такие опорные значения d, как +0,20, +0,50 и +0,80, понимая их, соответственно, как небольшие сдвиги, средние сдвиги и большие сдвиги.

Анализ данных проводился отдельно по четырем уровням модели Киркпатрика, и, кроме того, учитывалось содержание (когнитивные, межличностные и психомоторные умения) и методический жанр (лекция, аудиовизуальная презентация, инструктирование, дискуссия, телеконференция) тренинга. Что касается самых общих результатов, то прирост по первому уровню (уровню откликов) знаменовался показателем d, равным +0,60, по второму (усвоение) – +0,63, третий (поведение) получил значение +0,62, такое же значение, т. е. +0,62, оказалось присвоенным четвертому (результат). Что касается дифференцированной картины данных, то они, представленные в табличной форме, занимают несколько страниц в тексте обзора, что затрудняет их интерпретацию. Отметим наиболее интересные и, может быть, несколько неожиданные моменты. В тренингах когнитивных умений для уровня усвоения (второго уровня) наиболее эффективным оказалась аудиовизуальная подача материала, сопровождаемая либо самостоятельной его проработкой, либо групповым обсуждением (11 исследований; d от +1,56 до +1,35). Наименее эффективной оказалась групповая дискуссия (восемь исследований; d = +0,20). Что касается четвертого уровня (результативность), то показатель эффективности смог быть рассчитан на основании только четырех исследований и только для сочетания «лекция + дискуссия», и он оказался равным +0,54.

В тренингах межличностных умений (лидерские и коммуникативные умения, разрешение конфликтов, выстраивание команды) для второго уровня (усвоение) лучшими выглядели сочетания аудиовизуальных презентаций или лекций с телеконференциями и групповыми дискуссиями (от d +1,44 до d +0,71). На третьем уровне, т. е. уровне поведения, наиболее эффективным оказалось программированное инструктирование (d = +0,94), а наименее действенным – формат «лекция + аудиовизуальная презентация» с последующей групповой дискуссией (d = +0,22). Но что самое интересное, именно сочетания лекции и дискуссии, а также лекции, аудиовизуальной презентации и дискуссии, оказались самыми эффективными, если перейти на четвертый (результативный) уровень модели (d = +0,79 и d = +0,78). Правда, здесь следует иметь в виду, что исследований таких сочетаний было проведено три и два с участием 168 и 51 человека, соответственно, что не позволяет делать далеко идущие выводы в виде выстраивания каких либо авантюрных теорий, так как такие данные требуют проверки и перепроверки.

Из других «широкозахватных» (но временной диапазон здесь несколько скромнее – не 40, а «всего лишь» 20 лет) обзорно-аналитических работ выделим статью трех авторов, также опубликованную в начале третьего тысячелетия и также использующую метаанализ данных [Colquitt, LePine, Noe, 2000]. В ней используется не D-статистика, а корреляционная, и несколько по-иному расставлены акценты, а основное внимание уделено мотивационным аспектам тренинговой активности. Вместе с тем авторы не обошли и проблему организационной результативности. По их данным, из переменных, прямо влияющих на производственную продуктивность (job performance) наиболее значимыми оказались следующие: приобретение умений (коэффициент корреляции равен +0,44), аффективный компонент откликов (+0,29), самоэффективность (+0,14) и изменения в поведении (+0,59). Интересно, что наиболее влиятельные факторы относятся к разным уровням модели Киркпатрика, а именно: второму, первому и третьему; а один из них (самоэффективность) и вовсе не принадлежит ни к одному из уровней. Последнее, впрочем, не удивительно, ибо основной целью статьи было показать вклад индивидуально-личностных характеристик в повышение показателей организационной эффективности, и этими личностными характеристиками оказались когнитивные способности и мотивационный настрой.

Если исключить только что упомянутые детали, то в общем и целом полученные результаты вряд ли могут удивить профессионалов. То, что тренинги дают ощутимые эффекты и что от них больше пользы, чем вреда, было известно и до того, как квартет и трио североамериканских специалистов закончили свои эпохальные труды по анализу результативности тренинговых программ, проводимых во второй половине прошлого века. Но по ходу выполнения основной задачи были получены побочные продукты, заслуживающие внимания в связи с тем, что некоторые из них оказались неожиданными. Впрочем, первое, что стоило бы отметить, на первый взгляд выглядит вовсе не удивительным, но только на первый взгляд. Здесь имеются в виду пропорции в использовании различных уровней оценок эффективности и пропорции их представленности в публикациях. Согласно данным Американского общества тренинга и развития (ASTD), на год написания статьи 78 % оценок проводились на первом уровне, т. е. уровне откликов, 32 % относились к уровню усвоения, а поведенческий уровень и уровень результативности представлен 9 и 7 % соответственно. В то же время если судить по опубликованным работам, то соотношения выглядят несколько иначе. Первый уровень – 4 %, второй – 59 %, третий – 31 % и четвертый – 7 %. Впечатляет непропорционально малая представленность результатов оценивания на уровне откликов: что называется, «первые стали последними», к этому можно добавить заметное увеличение количества оценок усвоения и изменений поведения. Данное несоответствие явилось следствием широкого распространившихся к этому времени в бизнес-среде представлений о малой информативности и ценности обратной связи от участников тренинга в виде их оценок качества тренинга. И поэтому специализированные издания крайне неохотно печатают работы, выводы которых базируются только лишь на анализе мнений тренируемых. Тогда закономерен вопрос, а почему же тренеры, тренинг-менеджеры и другие заинтересованные лица «с упорством, достойным лучшего применения» делают никому не интересную и непонятно кому нужную работу по сбору и анализу откликов участников закончившегося тренинга? Ответы на этот вопрос можно найти в ряде публикаций, появившихся в течение первого десятилетия XXI в. В статье, являющейся совместным творением университетского профессора и специалиста по кадровому консультированию [Morgan, Casper, 2000, р. 303], сформулированы задачи, для решения которых могут быть полезны данные о восприятии участниками тренинга тех или иных характеристик обучающих программ, а также способов их предъявления. Во-первых, по мнению указанных авторов, отклики участников тренинга являются превосходным диагностическим инструментом, помогающим совершенствовать содержание программы и способ ее реализации; во-вторых, сам процесс сбора и анализа реакций учащихся формирует у тренера «ориентацию на потребителя», что, по мнению многих специалистов, способствует улучшению обучающего процесса. И в-третьих, данные об откликах участников в тех случаях, когда мы знаем, как они связаны с переменными других уровней, способны дать некоторую более-менее реалистичную оценку тех исходов, данные о которых получить по тем или иным причинам мы не в состоянии из-за ресурсных ограничений. Несколько по-иному видит положение дел К. Браун из Университета штата Айова. По его мнению, сбор и анализ откликов помогает организациям принять решение о продолжении или прекращении проведения тех или иных тренинговых программ. Кроме того, отзывы участников являются обратной связью, на основании которых можно осуществлять коррекцию содержания и способа проведения тренинга. И наконец, мнения участников могут быть использованы в маркетинговых целях, для продвижения тренинга на рынке образовательных услуг [Brown, 2005, p. 991].

То, что расчеты на полезность использования данных об отзывах пользователей небезосновательны, видно из результатов работы, проведенной во второй половине нулевых годов пятью авторами, представляющими различные университеты и исследовательские учреждения США [Sitzmann et al., 2008]. В их метаанализе, основанном на сопоставлении результатов 136 исследований, в которых изучались отклики более 27 тыс. участников тренингов, были получены данные, заслуживающие самого серьезного отношения. В фокусе внимания нашей пятерки оказались отзывы тысяч людей, прошедших тренинги. Авторы рассматривали не только те переменные, значения которых фиксировались уже после окончания тренинга и которые можно считать зависимыми переменными, но и ряд переменных, рассматриваемых в качестве независимых (помимо самого тренинга), предполагая, что они также вносят свой вклад в величины посттренинговых эффектов. Среди зависимых переменных были выделены три группы исходов: аффективные исходы, а также когнитивные и организационные. Аффективные исходы представлены двумя переменными: послетренинговая мотивация и послетренинговая самоэффективность. Когнитивная группа представлена тройкой переменных: декларативное знание (знание фактов и теорий), процедурное знание (знание алгоритмов действий) и отсроченное процедурное. Организационные исходы представляла пара – тренинговая репутация и место в рейтинге. Две группы независимых переменных были обозначены как характеристики тренируемых и ситуационные характеристики. У тренируемых замерялась мотивация, целевая ориентация, покладистость и тревожность. В качестве ситуационных переменных фигурировали тренерский стиль, интенсивность внутригруппового взаимодействия и организационная поддержка. При статистической обработке материала использовались методы корреляционного и регрессионного анализа.

Первое, что хотелось бы отметить, – это то, что полученные данные ставят под сомнение уже почти устоявшееся убеждение, что уровень реакций бесполезен, когда стоит задача прогноза реальных эффектов тренинга. Если результаты корреляционного анализа еще можно считать маловыразительными с точки зрения доказательств полезности отзывов для прогнозирования пророста декларативного и процедурного знания (малые, хотя и позитивные коэффициенты корреляции), то дополнительно проведенный иерархический регрессионный анализ не оставил никаких сомнений относительно ценности откликов участников, если речь идет об оценке прироста как декларативных, так и процедурных знаний. Помимо этого, в исследовании получены данные, говорящие о высокой степени связности таких показателей, как отзывы о полезности тренинга и послетренинговые мотивация и самоэффективность.

Авторами было получено достаточно строгое подтверждение того мнения, что уровень откликов является самым чувствительным к характеристикам обучающих программ и методам их проведения. Тренерский стиль, групповое взаимодействие и организационная поддержка наиболее сильно влияют именно на отзывы участников тренинговых программ. Показатели, взятые из других уровней, в меньшей степени связаны с ситуационными характеристиками проведения тренинга. А это говорит о том, что при проведении работы по совершенствованию тренинговых программ и методов их проведения отклики участников могут и должны учитываться едва ли не в первую очередь. А значит, разговоры о бесполезности и бессмысленности сбора и анализа мнений участников о тренинге следует прекратить и заняться делом. Имеется в виду дело совершенствования программ, процедур и оптимизация условий их проведения.

А сейчас стоит вернуться к обзорам начала нулевых годов и обратиться к тому, что заслуживает особого внимания и, более того, удивления, если не возмущения. Здесь имеется в виду положение дел с понятием «оценка потребностей в обучении», а точнее, с той реальностью, которая описывается этим понятием. Ближе к концу предшествующего столетия стало ясно, что одним из весьма весомых факторов эффективности тренинга является соответствие содержания и методического оформления этого содержания тому, в чем нуждаются заказчики и клиенты тренинга. Казалось бы, с ростом числа корпоративных тренингов понимание этого обстоятельства должно привести к конкретным действиям для использования того потенциала, который заложен в нехитрой формулировке: кого надо тренировать, чем должен овладеть тренируемый, каким методом лучше это сделать. Более того, за это время были созданы идеология и методология, разработаны конкретные методики для определения потребностей в тренинге, организованы специальные подразделения – всевозможные отделы обучения и развития персонала, а также корпоративные центры обучения и корпоративные университеты, отвечающие за обеспечение, сопровождение и поддержку тренингового процесса. Тем удивительнее было узнать от четверки авторов уже упомянутого повсеместно цитируемого обзора [Arthur, Bennett, Edens, Bell, 2003], что только в 6 % опубликованных работ присутствовало упоминание о том, что тренингу предшествовал анализ потребности в обучении и результаты этого анализа использовались для организации тренингового процесса. Разговоры о том, что, дескать, не все авторы публикаций удосужились упомянуть о факте проведения этой процедуры, нельзя воспринимать всерьез. Остается пребывать во мнении, что либо такой анализ вовсе не проводился, либо тренерское сообщество дружно решило не отвлекаться на всякие разные новые вызовы, а продолжать делать свое привычное дело привычным способом. Есть еще одно объяснение этому удивительному факту – понятие соответствия между тем, что может дать предлагаемый тренинг, и тем, что от него хотели получить не вписывается в так полюбившуюся если не всем, то очень многим, модель Киркпатрика. А не вписывается это понятие по той простой причине, что все четыре уровня модели включают в себя только зависимые переменные, в то время как соответствие является скорее независимой переменной. Но ведь место независимой переменной уже занято – независимой переменной с середины прошлого века был и остается сам тренинг. А Боливар, как известно, двоих не вынесет. Если же строить модель с двумя независимыми переменными, то она потеряет элегантность Боливара и станет похожа скорее на Бактриана, т. е. двугорбого верблюда, что вовсе не располагает к эстетически безупречному переживанию реальности.

Если с начала нулевых перенестись на десяток лет вперед и взглянуть на положение дел в интересующей нас сфере с позиций сегодняшнего дня, то можно отметить как константы, так и переменные. Начнем с первых. Шкала Киркпатрика, несмотря на шквальную критику со всех возможных сторон и на появление все новых и новых альтернатив, продолжает свое триумфальное шествие по страницам книг, журналов и сайтов. Более того, де-факто она стала некоторым стандартом, в терминах которого осуществляется подача информации. Американское общество тренинга и развития (ASTD) в настоящее время, как и десятилетие назад, сообщает о результатах мониторинга эффективности тренинговых программ, используя схему, предложенную Киркпатриком еще в 1959 г. Так, по данным ASTD к концу первого десятилетия нашего века свыше 90 % организаций, осуществляющих оценку своих тренинговых программ, пользуется индикаторами первого уровня (уровень реакций или откликов), более 80 % переходят на второй (уровень усвоения), в то время как третий (поведенческий) и четвертый (результативный) представлен 50 и 40 % соответственно [Salas et al., 2012]. Налицо, с одной стороны, незыблемость формата, в котором осуществляется сбор данных, а с другой – существенное изменение в его содержательном наполнении. За какой-нибудь десяток лет процент использования более трудоемких и считающихся более ценными показателей эффективности увеличился в несколько раз, что, разумеется, не может не радовать.

Изменилась и ситуация с анализом потребности в тренинге. Все дружно стали петь осанну анализу потребностей в тренинге. Аббревиатура TNA, которую расшифровывают то как training needs analysis (анализ потребностей в тренинге), то как training needs assessment (оценка потребностей в тренинге), замелькала на страницах учебников, руководств, брошюр и – несколько реже – статей. Еще более серьезно стала проводиться концептуальная и методологическая проработка самого понятия и процедурной основы осуществления анализа/оценки нужды в тренинге. Эта проработка заключается, во-первых, во включении понятия в более широкую концепцию предтренинговой организационной подготовки, в состав которой, помимо анализа потребности в обучении, включаются мероприятия, обеспечивающие климат наибольшего благоприятствования проведению обучающих программ. Во-вторых, сама процедура оценки трактуется более широко – в ее состав включается не только анализ производственных заданий и ключевых компетентностей (знаний, умений и установок), необходимых для обслуживания основных бизнес-процессов, но и учет запросов, идущих от подразделений и команд, входящих в состав организации, а также тех, которые определяются интересами организации в целом. Можно сказать, что в настоящее время TNA проводится с размахом, блеском, а кое-где и с элегантностью. Методические разработки университетов и образовательных ассоциаций, а также официальные отчеты правительственных учреждений различных стран и международных организаций по красочности своего оформления уже соперничают с гламурными журналами, а предложения по проведению TNA, поступающие от ведущих фирм (например, от Motorola) их клиентам, отличаются продуманностью и выразительностью дизайна. Но, как известно из классической французской литературы, за блеском иной раз прячется нищета. И вот в 2012 г., спустя несколько десятков лет после уверенного вхождения понятия потребности в тренинге в бизнес-лексикон, на страницах популярного психологического журнала, публикующего статьи для деловых кругов, мы встречаем сетования на то, что очень часто необходимый системный анализ потребности в тренинге подменяется незатейливым интервью с такими наивными формулировками вопросов, как «какой тренинг вам хотелось бы пройти?» [Salas et al., 2012, р. 81]. Как будто бы и не было никогда никакого психоанализа, и никто не догадывается, что нередко люди чувствуют одно, говорят другое, а стремятся к третьему. А ведь именно результаты простенького опроса берутся за основу при принятии решения о проведении тренингов. И опять-таки – а где исследования, показывающие, как те или иные подходы к анализу потребностей в обучении сказываются на показателях эффективности тренинга? А их-то как раз и нет. Ждем-с.

Продолжая рассматривать положение дел в области оценки эффективности тренинга, никак нельзя обойти традиционно важную для данной сферы тему – метаанализ данных по различным направлениям тренинговой активности. И здесь вновь наблюдается и следование традициям, и проникновение новизны. Как дань традиции, используется D-статистика с основным показателем величины эффекта d. Столь же традиционным для метааналитических работ в области оценки эффективности тренинга выглядит и использование шкалы Киркпатрика, правда, в уже заметно усеченном виде. Уровень откликов практически исчезает из текстов публикуемых отчетов (мнения участников по-прежнему фиксируются, но эти данные становятся информацией исключительно для внутреннего пользования) и, как следствие, не попадает в жернова метааналитической мельницы. Сокращение ступеней, или уровней, более чем компенсировалось увеличением числа переменных на оставшихся ступенях. Так, уровень усвоения, который традиционно был представлен лишь недифференцированными знаниями и умениями, обзавелся разделением знаний на декларативные (знание чего, например, фактов и теорий), процедурные (знание как) и стратегические (знание оснований выбора из альтернатив).

Одной из первых работ, выполненной в новом формате и опубликованной в 2005 г., оказался метаанализ, осуществленный группой из трех авторов, представляющих Университет Гонконга [Taylor, Russ, Chan, 2005]. Тематика обзора является достаточно традиционной: в сферу анализа попали 117 исследований, посвященных оценке эффектов тренинга умений, основанного на следовании поведенческим моделям. Алгоритм поведенческого тренинга незамысловатый: описание нужного способа поведения – демонстрация образца/образцов – практическая отработка – обратная связь от тренера или других членов группы. Формальные показатели, полученные в ходе анализа, не блещут новизной: самые высокие значения получены на уровне усвоения (d = +1,05 и +1,09 для декларативных и процедурных знаний соответственно), заметно менее впечатляющими выглядят данные, относящиеся к поведенческому уровню (d = +0,25), а что касается показателей на уровне результатов, то они даже не приводятся в связи с недостаточным количеством работ, в которых можно обнаружить достоверную информацию по этому уровню. Действительно интересными представляются результаты замеров значений показателей, относящихся к разным временным отрезкам, прошедшим после тренинга. Если объем декларативных знаний со временем уменьшается, то показатели, относящиеся к процедурному знанию и к поведенческим проявлениям, наоборот, прибавляют в своей величине, хотя эта прибавка не очень велика.

Более свежие тенденции в тренинговой методологии отслеживаются в работе, выполненной немецкими исследователями Н. Кейт и М. Фризом из Гессенского университета [Keith, Frese, 2008]. Их метаанализ посвящен оценке эффективности тренинга, основанного на рефлексии ошибок. С самого начала авторы делают заявление, что ошибки являются неизбежным побочным продуктом любого вида активного обучения. В них заложен большой позитивный потенциал вследствие того, что ошибки, во-первых, являются формой обратной связи и, во-вторых, заставляют задуматься (запускают рефлексивные процессы), стимулируя формирование или совершенствование стратегических метакогнитивных структур. Особенностью данного подхода является то, что ошибки не только разрешаются, но они даже приветствуются! Данное направление исследований на сегодняшний день весьма ограничено по сфере своего применения: большинство исследований выполнено на материале тренинга пользователей компьютерными программами, хотя встречаются и исследования процессов обучения методам принятия решений и даже обучения вождению автомобиля. Всего в сферу анализа Кейт и Фриза попали 24 работы, значительная доля которых представляет собой неопубликованные тексты диссертаций. Большая часть этих работ выполнена уже в нынешнем веке (одна работа в 80-е, восемь в 90-е годы XX столетия и 15 в нулевые XXI в.). Все эти исследования проводились на материале обучения высоким технологиям. Общий вывод по результатам сравнения метода обучения на ошибках с более традиционными методами, стремящимися не допускать ошибок, показывает превосходство нового подхода, что в терминах D-статистики демонстрируется величиной размера эффекта, равной +0,44. Кроме того, перенос знания, т. е. его использование в рабочей обстановке, существенно лучше при использовании метода, фокусированного на ошибках (d = +0,56), а адаптивный перенос, в отличие от аналогового, осуществляется более успешно (d = +0,80).

Помимо метааналитических исследований общего характера, в интересующий нас период времени начали появляться работы, сфокусированные не на методах, а на содержательном наполнении обучающих программ, среди которых заметное место занимает вновь ставшая актуальной проблематика лидерства и менеджмента. Первой осуществленной в данном направлении с начала десятилетия уже нашего века стала работа, выполненная Д. Коллинз и Э. Холтоном [Collins, Holton, 2004]. Хотя значительная часть 20-летнего периода анализируемых публикаций относится к веку минувшему, авторы захватили и век нынешний. В фокус их внимания попали 83 исследования эффективности тренинга для менеджеров, проводимого с 1982 по 2001 г. В самом общем виде их результаты выглядят следующим образом: показатель размера эффекта d для уровня усвоения варьирует в диапазоне от +0,96 до +1,37; для поведенческого уровня d находится в диапазоне от +0,35 до 1,01. Что касается уровня результативности, то авторы приводят только одно значение показателя, равное +0,38, объясняя это тем обстоятельством, что количество работ, в которых фиксировались показатели результативности, слишком мало для вынесения окончательного вердикта. Очевидным является снижение показателей эффективности по мере движения от нижних уровней шкалы Киркпатрика к верхним. Обобщенные результаты, полученные Коллинз и Холтоном, не представляются чем-то выделяющимися на фоне результатов других метааналитических исследований. Но эта работа интересна тем, что в ней предложен еще один подход к дифференциации показателей усвоения, поведения и результата (второй, третий и четвертый уровни шкалы Киркпатрика), а именно условное разделение этих показателей на субъективные и объективные. В качестве субъективного показателя для второго уровня, уровня усвоения, называются принципы, факты, установки и умения, приобретенные к концу тренинга, которые выражаются в форме мнений, убеждений или суждений участника или тренера. А объективными показателями считаются те принципы, факты, установки и умения, которые проявляются в таких индикаторах, как количество ошибок или количество предложенных решений, а также данные стандартизированных тестов. Точно такой же подход реализуется при описании субъективных и объективных показателей поведенческого и результативного уровня. Так, для уровня поведения субъективными показателями считаются такие, которые основаны на мнениях коллег и руководства об изменении поведения участника тренинга на рабочем месте. А к объективным относятся только те, которые получены в ходе специально организованного систематического наблюдения за поведением лица, прошедшего тренинг.

Субъективными показателями результативного уровня считаются такие, которые основаны на мнениях респондентов о тех характеристиках организации, которые не фигурируют в официальных отчетах (например, удовлетворенность трудом и приверженность организации). Сюда же относятся оценки, которые получены от подчиненных менеджера, прошедшего тренинг. Объективные индикаторы представлены такими реально ощутимыми показателями, как снижение издержек, увеличение количества, улучшение качества, уменьшение числа ошибок при принятии управленческих решений [Collins, Holton, 2004, р. 225]. Сделанное авторами разделение на субъективные и объективные показатели эффективности интересно прежде всего тем, что полученные ими результаты помогают развеять миф о заведомой тенденциозности показателей, основанных на субъективных оценках. Объективные индикаторы, свидетельствующие об изменениях в поведении лиц, прошедших тренинг, оказались по своей величине не меньшими, а в ряде случаев даже несколько превосходящими индикаторы субъективной природы. Оценки эффективности тренинга менеджеров, основывающиеся на субъективных показателях, выглядят весьма хорошо корреспондирующими с оценками, базирующимися на таких «твердых фактах», как наблюдаемое поведение и объективные продукты деятельности.

В опубликованном через шесть лет метааналитическом обзоре результатов менеджерского тренинга [Powell, Yalcin, 2010] был использован тот же подход, что и в работе Коллинз и Холтона, но в нем охватывался еще больший временной интервал – с 1952 по 2002 г., при этом по количеству источников (85 исследований) они почти не различаются. Хотя общие результаты, если говорить о значениях показателей D-статистики, выглядят существенно отличными от тех, которые были получены Коллинз и Холтоном (ни один из обобщенных показателей не превысил величину +0,55), отношения между различными индексами дают весьма схожую картину. Так, показатели уровня усвоения (d = +0,48 и +0,55) вновь превосходили по величине показатели поведенческого уровня (d = +0,15 и +0,30), которые, в свою очередь, доминировали над уровнем результатов (d = +0,17). Но что самое важное, и в данном исследовании величины показателей субъективного и объективного свойства очень хорошо соответствовали друг другу.

Другой излюбленный метааналитиками объект расследования – командный тренинг. Первое десятилетие XXI в. ознаменовалось появлением сразу нескольких метааналитических исследований. Наиболее интересными представляются результаты, полученные в обзоре, сделанном Э. Саласом, Д. Никольс и Дж. Дрискелом [Salas, Nichols, Driskell, 2007]. Оценивалось влияние различных видов командного тренинга на продуктивность командной работы. В качестве объектов выступили 122 различные команды с общим количеством участников 498 человек. Если говорить о самых общих результатах, то они мало отличаются от тех, которые были получены в предшествующих метаанализах. Суммарная величина размера эффекта равна +0,29, по объективным показателям размер эффекта представлен числом +0,28, а по субъективным чуть выше – +0,34. Здесь можно отметить лишь относительно скромные величины всех показателей и вновь заметить, что субъективные и объективные оценки эффектов мало различаются между собой. Данная же работа примечательна тем, что авторы предприняли попытку выявить наиболее перспективный подход к построению программ командного тренинга. Речь идет о сравнении кросс-тренинга, адаптационно-координационного тренинга и самокоррекционного. В кросс-тренинге члены команды в ходе выполнения различных заданий постоянно меняются местами (обмениваются позициями), что по замыслу должно вести к лучшему взаимопониманию среди командных игроков. В координационно-адаптационном тренинге члены команды совершенствуются в смене координационных стратегий и в оптимизации количества коммуникативных действий, необходимых для выполнения заданий. В самокоррекционном тренинге участники учатся диагностировать внутригрупповые проблемы и находить пути их решения. Оценка эффективности самокоррекционного тренинга представлена размером эффекта (d), равным +0,45; для координационно-адаптационного этот показатель получился равным +0,61; а что касается кросс-тренинга, то его эффективность в данном исследовании оказалась близка к нулевой. Неудивительно, что авторы рекомендуют при формировании программ командообразования предпочесть сочетания первых двух подходов.

В исследовании пяти авторов, датированном 2010 г. [Delise et al., 2010], предпринята попытка оценить влияние тренинга на различные аспекты команд ной эффективности. Кроме того, ставились задача определить вклад различных опосредующих (модерирующих) переменных в числовые показатели для тех или иных эффектов. Материалом для проведения метаанализа послужили данные 21 работы, опубликованные в рецензируемых журналах и содержащие результаты, полученные при исследовании 41 команды с общей численностью 1413 человек. Помимо оценки общего эффекта (d = +0,85) отдельно рассчитывались показатели воздействия тренинга на аффективные (d = +0,80) и когнитивные (d = +1,37) компоненты командной эффективности, а также показатели приобретения и совершенствования индивидуальных (d = +0,88 и +0,76 для субъективных и объективных оценок соответственно) и командных (d = +0,64) умений. Самая информационно емкая часть работы связана с оценкой влияния различных опосредующих переменных, к которым относятся такие, как тип выборки (военные и гражданские), ситуации (полевые или лабораторные), опыт совместной работы (начальный этап или сложившаяся команда), процедурная схема оценки (немедленно, отсрочено или комбинированно). Тщательно проведенный анализ выявил довольно пеструю картину влияний и взаимовлияний различных переменных, но тем не менее авторам удалось показать, что их предположения о влиятельности тех или иных опосредований нашли достаточно строгое подтверждение. Было выявлено несколько интересных частностей, например, команды из военнослужащих получают от тренинга по всем позициям больше, чем коман ды из гражданских лиц; лабораторные команды показывают в общем и целом больший прогресс, чем полевые; прирост на уровне усвоения больше, чем прирост в переносе усвоенного в рабочую обстановку; при различных планах проведения оценочного эксперимента получаются несколько различающиеся величины размера эффекта, хотя эти различия и невелики.

Проблема переноса. Исследование переноса усвоенного/выученного (learning/training transfer) занимает особое место в проблематике оценки эффективности тренинга. На перенос, конечно же, можно смотреть без особых затей и трактовать его просто как факт использования усвоенного в условиях тренинга в других условиях, как правило, на рабочем месте. Таким образом, перенос – это просто переход со второго (усвоение) уровня на третий (поведенческий) уровень шкалы Киркпатрика. И такой взгляд вполне имеет право на существование. Но здесь есть одна особенность, без осознания которой может стать малопонятным содержание профессионального дискурса о трансфере. Дело в том, что проблематика переноса возникла и стала разрабатываться гораздо раньше, чем проблематика эффективности тренинга. Для обоснования этого тезиса достаточно сослаться на теорию идентичных элементов (количество переноса научения между двумя ситуациями определяется количеством элементов, которые у этих двух ситуаций являются одинаковыми), обнародованную Э. Торндайком во времена, когда о Д. Киркпатрике никто ничего не знал и знать не мог.

Вообще-то само слово «перенос» (трансфер) весьма и весьма многозначно. Это и перемещение пассажиров и грузов транспортными средствами (чаще всего имеется в виду авиация), перевод денег из одного региона в другой, переход спортсмена из одного клуба в другой и просто перетаскивание чемоданов с места на место. В психоаналитической и психоконсультативной практике этим словом обозначают перенесение чувств и отношений с одной персоны на другую. Все эти коннотации можно отодвинуть в сторону и не принимать во внимание. Но отмахиваться от того, что было наработано за долгие годы в таких отраслях знания, как школьная, театральная и спортивная педагогика, психология развития и физиология спорта, а также быстро набирающие вес когнитивные науки, было бы не только несправедливо, но и недальновидно. В упомянутых выше и некоторых других дисциплинах не только возникли и были осмыслены и означены такие понятия, как перенос навыка, перенос опыта, перенос усвоенного, но и разработаны практические методики, обеспечивающие эффективный трансфер всех этих навыков и опытов в другие условия (например: уроки – экзамен, тренировки – соревнования, репетиции – спектакль), а также сформулированы принципы организации таких способов освоения знаний и умений, при использовании которых процесс переноса проходит более успешно. И речь идет не только об открытиях, сделанных во времена Д. Дьюи, Э. Торндайка и Л. Выготского, но и о достижениях наших дней. В качестве примера можно упомянуть о концепциях латерального и вертикального переносов, закрытых навыков и открытых умениях, метакогнициях и многих других теоретико-методологических наработках, сделанных в последние десятилетия в первую очередь психологией развития и когнитивными науками.

Что касается собственно тренинга, то необходимо отметить, что феномен переноса долгое время принимался во внимание, обсуждался, анализировался и исследовался; для обеспечения переноса иной раз предпринимались титанические усилия, но при этом сам перенос не подвергался систематической оценке. Показательна в этом отношении история групподинамического тренинга. Проблема переноса прекрасно осознавалась отцами-основателями NTL, уже в самых первых летних лабораториях были созданы специальные А-группы, или «группы действия», а также «группы по интересам», вся работа которых была подчинена одной цели – обеспечить применение полученного в группах тренинга в условиях общественно-экономических реалий за пределами «культурного острова» в Бетеле. И в то же самое время не было предпринято никаких попыток оценки эффективности переноса. Даже в тексте отчета, представленного руководителем исследовательского отдела NTL уже в 1974 г., есть лишь косвенная информация по проблеме переноса [Gibb, 1974]. Она скрывается за вопросом о стойкости получаемых эффектов и трактуется как устойчивость изменений, а исследуется как надежность измерений. Последнее связано с тем, что, исследование эффектов групподинамических тренингов в то время осуществлялось преимущественно с использованием личностных тестов и на основе результатов диагностики поведенческих интенций. Что касается Тавистокской модели образовательной конференции, то все свелось к одноразовому мероприятию (повторной конференции), что тогда было воспринято как чуть ли не подвиг в деле мониторинга эффективности тренинга. И здесь нет никакой вины зачинщиков тренингового движения. Всесторонний ассессмент тренинговых эффектов не как одноразовый акт, а как реально действующая система мониторинга стал складываться только в рамках корпоративного (закрытого) тренинга, который в те времена существовал лишь в зачаточном состоянии.

Возвращаясь к проблеме переноса, как она видится специалистам по оценке эффективности тренинга сегодня, можно сказать, что концептуально-методическая основа современного подхода к указанной проблематике сложилась к концу минувшего века, а ее авторство приписывается Т. Болдуину и К. Форду, которые в журнале «Personnel Psychology» за 1988 г. опубликовали статью под названием «Перенос тренинга. Обзор и направления дальнейших исследований». В этой публикации предлагалась модель системы переноса того, что было освоено в тренинге, в рабочую обстановку [Baldwin, Ford, 1988, р. 65]. Именно эта модель на долгие годы стала средством, обеспечивающим систематизацию, аккумуляцию и интеграцию результатов, полученных в многочисленных исследованиях эффективности тренинга, развернувшихся в последние десятилетия.

Болдуин и Форд предложили рассматривать три группы переменных, определяющие эффективность переноса. Первая группа, или блок, была названа ими «Свойства участников» и включала в себя такие переменные, как способности, личностные черты и тип мотивации. Второй блок, «Композиция тренинга», состоял из таких компонентов, как принципы ведения тренинга, последовательность упражнений и содержание тренинга. Третий – «Рабочие условия» – представлен двумя переменными: поддержка руководства и коллег и возможность применения усвоенного в тренинге.

Наиболее существенным вкладом в развитие проблематики переноса был акцент, который авторы сделали на критериальной проблеме в исследованиях трансфера. Первоначальные исследования долгое время обходили вопрос о многомерном характере переноса, т. е. о том, что влияние тренинга на поведение человека в рабочей обстановке не ограничено бросающимися в глаза благоприобретениями, а может проявляться в широком спектре поведенческих, мотивационных, когнитивных и личностных компонентов человеческой деятельности. А измерению и фиксации подвергался весьма ограниченный набор индикаторов. Как правило, довольствовались повторным замером выученного-освоенного и опросом лиц, прошедших тренинг, на предмет того, собираются ли они применять полученные в тренинге знания, умения и опыт на рабочих местах. Ситуация выглядела весьма унылой, по поводу чего Болдуин и Форд выразили благородное негодование и попытались донести свои чувства до коллег по цеху. Призыв видеть проблему шире и глубже на этот раз был услышан, и вот, по прошествии менее 10 лет, несколько видоизмененный авторский коллектив – все тот же К. Форд с уже другим соавтором, Д. Вейсбейном, – с удовлетворением отмечает возросшее многообразие измерений, применяемых для оценки эффектов переноса. Здесь вам и самоотчеты участников, и рейтинги руководителей и коллег, и фиксация изменений в скорости выполнения и количестве ошибочных действий, и применение новых стратегий, и генерализация и трансформация умений, а также многое и многое другое [Ford, Weissbein, 1997, р. 24]. Возросло и тематическое разнообразие тренингов. В сферу анализа оказались вовлечены тренинги уверенной коммуникации, управления совещаниями, ведения переговоров, организации командного взаимодействия; тренинг менеджеров; тренинг диадического взаимодействия; тренинг летных навыков; спецподготовка к принятию решений в стрессовых ситуациях; тренинг диагностики неисправностей в электрооборудовании самолетов; отработка навыков бомбометания; отработка навыков приземления; организация работы предприятий быстрого питания; овладение статистическими методами анализа брака. Среди исследовательских методов уже преобладают истинные эксперименты (использование контрольных групп и рандомизация), несколько реже используются опросные методы, а реже всего – квазиэкспериментальные планы [Ibid., р. 25–29].

И вновь оставим век минувший и обратимся к временам уже не столь отдаленным. Среди работ, посвященных анализу положения дел в исследованиях переноса тренинга, выделяются объемистый концептуально-аналитический обзор 2007 г. Л. Берк и Х. Хатчинз [Burke, Hutchins, 2007] и не менее внушительное метааналитическое исследование 2010 г., проведенное четверкой университетских специалистов Мичигана и Айовы [Blume et al., 2010].

Выводы, сделанные Берк и Хатчинз, основаны на анализе 170 работ, опубликованных в последние десятилетия в рецензируемых профессиональных журналах и посвященных трансферу тренинга, переносу усвоенного, сохранению навыков и генерализации умений. Информация была структурирована на основе модели Болдуина и Форда, т. е. с выделением трех групп переменных, определяющих эффективность переноса, а именно: характеристики тренируемых, дизайн тренинга и условия работы.

Исследования характеристик лиц, проходящих тренинг, проходило по следующим переменным: когнитивные способности, самоэффективность, мотивация обучаемых, черты личности. Среди сделанных авторами выводов выделим следующие:

• из совокупности когнитивных способностей наибольшее значение имеет общий интеллект. Баллы IQ устойчиво коррелируют с показателями переноса усвоенного в тренинге;

• самоэффективность, т. е. уверенность в собственной успешности, также является хорошим предсказателем успеха в переносе результатов тренинга;

• мотивация, замерянная до тренинга, в целом оказалась неплохим предиктором, однако отдельные измерения мотивации к обучению и мотивации к применению не оправдали ожиданий исследователей, данное разделение не привнесло ничего нового в понимание действенности мотивации;

• сравнение действенности внутренней и внешней (экстринсивной и интринсивной) мотиваций привело к противоречивым результатам, необходимы дополнительные исследования;

• карьерные устремления и приверженность организации позитивно влияют на перенос;

• тревожность является чертой, снижающей вероятность успешного переноса;

• положительно влияет на перенос такая черта, как открытость для опыта;

• по поводу экстраверсии/интраверсии а также внутреннего/внешнего локуса контроля ничего определенного утверждать нельзя, так как получены противоречивые данные.

Состав переменных, относящихся к блоку «Подготовка и проведение тренинга» (тренинг-дизайн), выглядел следующим образом: анализ потребностей, цели обучения, содержание программы, возможность попрактиковаться и обратная связь, сверхзаучивание, познавательная перегрузка, активность в обучении, поведенческое моделирование, обучение на ошибках, самоуправление процессом, технологическое обеспечение и поддержка.

Анализ потребности в тренинге. Авторы отмечают, что хотя необходимость в данном компоненте подготовки к тренингу никем не отрицается, поразительно скудно этот момент отражен в эмпирических исследованиях связи тренингового дизайна с показателями переноса тренинга. А ведь к началу 2000-х годов уже был создан и обнародован инструмент для анализа основных компонентов подготовки к проведению тренинга – Контрольная карта готовности системы переноса (Learning Transfer System Inventory – LTSI). Тем не менее Берк и Хатчинз не удалось обнаружить ни одной опубликованной работы, где была бы произведена оценка связи показателей LTSI с действительными улучшениями в переносе усвоенного [Burke, Hutchins, 2007, р. 273].

Цели обучения. В проведенных эмпирических исследованиях найдены значимые корреляции между пониманием целей и задач тренинга и эффективностью переноса. Кроме того, было обнаружено, что направленность на достижение близких целей в сочетании с отдаленными ведет к лучшим результатам, чем фокусировка только на отдаленных целях.

Релевантность содержания. Исходя из теории идентичных элементов Торн дай ка, действия обучаемых в тренинговых ситуациях должны соответствовать действиям, осуществляемым на рабочих местах. В ряде исследований было показано, что содержательная валидность информационного материала (например, в описаниях кейсов для анализа присутствует много моментов, встречающихся в той организации, члены которой проходят обучение), используемого при тренинге, обеспечивает высокие показатели переноса. В некоторой степени усилия, направленные на повышение содержательной валидности тренинга могут компенсировать отсутствие специального анализа потребности в обучении.

Стратегии и методы обучения. Возможность попрактиковаться и возможность получать при этом обратную связь позитивно влияют на показатели переноса. Что касается попыток использования сверхзаучивания (продолжение упражнений уже после достижения уровня безошибочного выполнения), а также информационной перегрузки, то они пока что не оправдали возлагавшихся на них надежд. В этих исследованиях был обнаружен так называемый парадокс переноса, заключающийся в том, что обучение, проводимое на серии разнообразных задач с массированной обратной связью, способствует росту мастерства при овладении сложными умениями, но никак не влияет на показатели переноса усвоенного.

Активное обучение. Под активным обучением авторы понимают интенсивное применение упражнений, ролевых игр, обратной связи и групповых дискуссий. В обзоре отмечается, что хотя существует немало исследований, показывающих улучшение показателей научения при режиме активного обучения, практически отсутствуют попытки оценить его влияние на перенос.

Поведенческое моделирование. Использование основанной на теории социального научения технологии поведенческого моделирования дает хорошие результаты при оценке переноса. Приводящиеся при инструктировании обучаемых описания ключевых моментов поведения и особенно применяемых правил облегчают генерализацию межличностных умений и применения этих умений в новых ситуациях. Также было показано, что использование смешанного моделирования, т. е. демонстрация как хороших, так и плохих моделей, ведет к лучшим результатам, чем такого моделирования, когда используются только хорошие модели.

Обучение на ошибках. Это сравнительно новый подход, используемый в основном при обучении пользователей компьютерными программами. Но Берк и Хатчинз проводят свой анализ на примерах подготовки людей к профессиям повышенного риска, в частности летчиков и пожарных. Результаты специальных исследований показывают, что демонстрация примеров поведения, ведущего к авариям, не только способствует формированию готовности к обучению, но и облегчает перенос знаний и умений, что дает авторам возможность сделать вывод, что и обучение на чужих ошибках может быть достаточно эффективным.

Стратегия самоуправления в широком смысле слова относится к совокупности приемов самостоятельного усвоения, освоения и применения знаний и умений для решения производственных и жизненных задач. В их состав входят такие, как позитивное самоподкрепление, составление рабочих планов, саморегуляция поведения и др. В литературе можно обнаружить немало свидетельств успешности таких подходов для обеспечения переноса. В более узком значении понятие самоуправления связывается с используемой в клинической психологии техникой предотвращения срыва (relapse prevention) у лиц, пытающихся избавиться от пристрастия к алкоголю и наркотикам. Пока что доказательств пригодности этой техники для обеспечения переноса недостаточно, для того чтобы делать уверенный вывод.

Технологическое обеспечение и поддержка. В этом разделе обсуждаются воп ро сы применения новейших систем поддержки для работников, осваивающих сложную технику. Системы электронного проводника-поводыря, дистантного коучинга или недавно созданной Электронной системы поддержки исполнения (Electronic Performance Support Systems – EPSS) предназначены для тех случаев, когда принятие решения основывается на постоянно меняющейся информационной базе большого объема. Исследования применимости и эффективности таких систем еще не вышли на стадию оценки переноса усвоенного, о чем с сожалением пишут авторы.

Следующий блок компонентов, предположительно влияющих на перенос, согласно традиции обозначен как условия работы. В состав переменных этого блока входят такие, как соотнесенность со стратегией, климат переноса, поддержка руководства, поддержка коллег, возможность применения и ответственность (accountability).

Соответствие стратегии. Есть сравнительно немногочисленные исследования, показывающие, что согласованность целевых характеристик тренинга со стратегическими целями организации способствует переносу приобретенных в тренинге знаний и умений, а в случае их расхождения возникают трудности при использовании усвоенного. Однако авторы советуют не торопиться с выводами и дождаться итогов более тщательной и всесторонней проработки вопроса.

Под климатом переноса, или организационным климатом переноса, подразумевается вся совокупность особенностей функционирования организации, которые не входят в состав тренингового дизайна, но тем не менее могут либо способствовать, либо препятствовать переносу приобретенного в тренинге. Понятие «климат переноса» является интегральной характеристикой организации в целом, и если его влияние носит позитивный характер, то он обозначается как климат поддержки. Нерасчлененность понятия климата препятствует его анализу, но, как утверждают исследователи, сами тренируемые отчетливо осознают, благоприятен или неблагоприятен климат для применения новых знаний и умений. Корреляции субъективных оценок благоприятности климата и эффективности переноса положительны, умеренны по величине и статистически значимы.

Хотя поддержку переноса руководством и коллегами правомерно рассматривать как неотъемлемую составную часть организационного климата, существует традиция анализировать влияние этих переменных отдельно от всех остальных и друг от друга. Возможно, что причины этого носят исторический характер. Поддержка руководством выражается в готовности руководителей обсуждать проблему использования новых знаний и умений в рабочей обстановке, их заинтересованности в результатах тренинга и подаче позитивной обратной связи в случае успешного применения усвоенного в условиях реального производства. В специально проведенных эмпирических исследованиях показано, что оказание поддержки руководством позитивно и статистически значимо коррелирует с переносом (r > +0,35). Что касается поддержки коллег, то здесь получены несколько противоречивые результаты: в одних случаях поддержка коллег оказывала более значительное влияние на перенос, чем поддержка руководства, а в других – выводы получались противоположными. Но общий вердикт от этого не меняется: поддержка со стороны коллег ощутимо способствует реализации переноса приобретенного в тренинге в реальное производство.

Считается, что предоставление возможностей применения приобретенного в тренинге является самым значимым фактором успешности или неудачности переноса. Пилоты, у которых было больше летного времени для совершенствования навыков управления новой техникой, показывали более высокие результаты при проведении летных испытаний. Сказанное относится не только к области летного мастерства, но распространяется и на другие сферы деятельности, требующие высокого уровня профессионализма для успешности при решении рутинных задач и умений находить решения в нештатных ситуациях. К сожалению, эмпирических исследований в этом направлении проведено весьма мало.

Мера ответственности (accountability). Под мерой ответственности понимается степень ответственности участника тренинга за усилия, предпринимаемые им для реализации усвоенного в тренинге на рабочем месте. Степень ответственности является частью организационной культуры и проявляется в ожиданиях, идущих от организации и от менеджмента и адресованных сотруднику организации. Авторам удалось обнаружить шесть эмпирических исследований, результаты которых говорят о значимости данной переменной, что опять-таки признано недостаточным для того, чтобы делать далеко идущие выводы.

В заключение своего многостраничного литературного обзора Л. Берк и Х. Хатчинз пытаются очертить перспективные направления дальнейших исследований проблемы переноса. И сосредоточиваются они не столько на методологических и прикладных моментах, сколько на необходимости более глубокой теоретической проработки проблематики и призывают к более широкому использованию достижений современной психологии и когнитивных наук. Особое внимание Берк и Хатчинз уделяют метакогниции, под которой понимается способность обучаемых контролировать и перестраивать свои обучающие стратегии для получения максимально возможного результата. В работах ряда авторов было выявлено, что ориентация на повышение уровня мастерства, а не на достижение непосредственного результата, приводит к более весомому росту знаний, более заметному повышению самоэффективности и достижению лучших показателей переноса. Более того, в целом ряду последующих исследований было показано, что ориентация на мастерство обеспечивает удовлетворительные показатели переноса и при весьма слабой организационной поддержке, и даже при полном ее отсутствии.

Интересно, что временный авторский коллектив после публикации своего многостраничного труда не распался, и спустя совсем немного времени этот тандем создал еще один текст на ту же тему и почти в той же стилистике, но уже в новом повороте. В жанре «лучшая практика» и на основании результатов своего изучения этой практики они рискнули предложить новую модель переноса. Но об этом несколько позже, так как следующая, уже заявленная нами работа была сделана на основе традиционной, «старой» модели Болдуина и Форда. Приверженность классической модели никак не удивительна, если учесть, что из четверки авторов – Б. Блюм, К. Форд, Т. Болдуин и Дж. Хуанг – двое, Форд и Болдуин, предложили в свое время именно эту модель.

Предваряя изложение результатов своего метаанализа, его авторы делают несколько важных заявлений, носящих не столько концептуальный, сколько методологический характер. Во-первых, они специально выделяют в том, что называется переносом, две составляющие: 1) генерализацию, т. е. степень, в которой знания и умения, полученные в тренинге, могут применяться при других условиях и в других ситуациях и 2) устойчивость, т. е. степень, в которой изменения, обусловленные прохождением тренинга, сохраняются с течением времени. Данное разделение достаточно традиционно и принимается всеми, работающими в данной проблематике. А вот другое разделение, которое проводится в работе, привлекало до сих пор мало внимания, если не сказать больше: отделение масштабов переноса и эффективности переноса. Здесь имеется в виду понимание оценки величины переноса либо как частоты использования вновь приобретенных знаний и умений на рабочем месте, либо как степени улучшения количественных и качественных характеристик работы в связи с использованием этих знаний и умений. Данные заявления сделаны не столько для того, чтобы еще раз продемонстрировать многомерность и многогранность самого феномена переноса, сколько для акцентирования внимания на необходимости осмысленного подбора методик и подходов для оценки эффективности переноса.

В данном метааналитическом исследовании ставились две основные задачи.

1. Дать ответ на вопрос, какие переменные, входящие в состав трех составляющих эффективности переноса (вход тренинга, выход тренинга и условия переноса), оказывают существенное влияние на показатели переноса.

2. Выявить основные модерирующие переменные, т. е. такие, которые ощутимым образом опосредуют влияние независимых переменных.

Дополнительно решалась задача по очистке данных от влияния артефактов методического характера.

База для метаанализа формировалась путем отбора результатов исследований феномена переноса в тренинге, проведенных за 20-летний период с 1988 по 2008 г. В отличие от выборки Берк и Хатчинз, которая состояла только из статей, опубликованных в рецензируемых журналах, метаанализ данного квартета имел базу текстов, где журнальные статьи составляли чуть более половины единиц анализа. Помимо статей, в обзор вошли три десятка диссертаций и несколько текстов, подготовленных для профессиональных конференций, а также два неопубликованных отчета. Но был проведен гораздо более жесткий отбор по содержательным и формальным критериям, носящим преимущественно статистический характер. В результате такого отбора объем выборки наполовину сократился. Всего в сферу окончательного анализа было включено 98 работ с общим числом испытуемых и респондентов 12 496 человек. Более половины исследований было проведено в полевых условиях, а использование в качестве испытуемых студентов университета и лиц, обучающихся по программам МВА, также не превышало половины всех случаев. Что касается содержания тренингов, то в более чем трети отобранных работ оценивался перенос в тренингах межличностных и лидерских умений. В качестве основных показателей эффективности переноса был выбран средневзвешенный коэффициент корреляции ȓ и коэффициент ρ, получившийся из ȓ после поправки на надежность измерений. При интерпретации силы связи между переменными обычно руководствуются ориентирами, установленными Коэном, – для коэффициентов корреляции значения 0,10 трактуются как слабая связь; 0,30 как умеренная и 0,50 как сильная. Особенностью данной работы было то, что в ней были сделаны поправки на методические артефакты, связанные в первую очередь с тем, что при одновременном измерении нескольких характеристик в одном и том же формате получаются завышенные величины коэффициентов корреляции. Приводимые ниже числовые значения ρ скорректированы должным образом, что привело к тому, что результаты данного исследования выглядят менее впечатляющими (по величинам коэффициентов) по сравнению с предшествующими метааналитическими исследованиями, в которых такая коррекция не осуществлялась.

Из попавших в сферу анализа характеристик обучаемых, таких как пол, возраст, уровень образования, опыт работы, когнитивные способности, личностные черты «большой пятерки», локус контроля, целевые ориентации обучения, самоэффективность, мотивация, добровольность участия и включенность в работу, лишь когнитивные способности и добровольность участия оказались связанными с успешностью переноса на уровне умеренной (ρ = +0,37 и ρ = +0,34 соответственно). Квалификации связи как слабой удостоились: гендерная принадлежность (ρ = +0,12), добросовестность (ρ = = +0,28), нейротизм (ρ = –0,12), ориентация на обучение (ρ = +0,14), непродуктивная ориентация (ρ = –0,12), самоэффективность (ρ = +0,22), мотивация (ρ = +0,23). Все остальные переменные (возраст, образование, опыт работы, покладистость, экстравертивность, открытость для опыта, локус контроля, ориентация на продуктивность, включенность в работу) имели показатели связи с эффективностью переноса, квалифицируемые как ниже слабых.

Следующая группа независимых переменных входит в блок ситуационных факторов. Почти все они связаны с зависимой переменной, т. е. успешностью переноса, слабой связью: для переменной поддержка ρ = +0,21; для климата ρ = +0,27; а общее влияние ситуации оценивается коэффициентом ρ, равным +0,23.

Из промежуточных переменных, т. е. показателей для эффектов, получаемых на первом и втором уровнях шкалы Киркпатрика, ни одна из рассчитанных мер связи не достигла уровня умеренной, т. е. ρ = 0,30. Ближе всего к этому показателю подошли такие переменные, как посттренинговые знания (ρ = +0,24), посттренинговая самоэффективность (ρ = +0,20) и субъективная оценка полезности тренинга (ρ = +0,17).

Очень большое место в работе авторского квартета занимает анализ влияния модерирующих (опосредующих) переменных на показатели переноса результатов тренинга. Такими переменными в исследовании были: хронотоп фиксации (совпадение/разведение измерений по месту и времени), публичность (опубликованные или неопубликованные работы), временной лаг (время, прошедшее после окончания тренинга), место (лаборатория или поле), источник информации (самоотчеты, внешнее наблюдение), содержание (открытые умения или закрытые навыки). Анализ, проведенный авторами, выявил следующие тенденции.

1. Если измерения переменных производятся в одно и то же время и в одном и том же месте, то показатели связи переменных почти всегда заметно выше, чем если измерения разводятся по месту и времени.

2. В опубликованных работах показатели связи независимых переменных с зависимыми либо равны, либо заметно выше, чем в неопубликованных (включая и диссертации).