Внутриэкспертный шум: постоянный или временный

Мы определили внутриэкспертные ошибки как ошибки при вынесении суждения конкретным человеком, которые нельзя объяснить совокупностью независимых искажений в подобных делах и у данного эксперта. Возьмем утрированный пример: обычно снисходительный судья проявляет необыкновенную строгость в отношении подсудимых определенного типа (скажем, торговцев наркотиками). Или, допустим, обычно предусмотрительный инвестор вдруг решает рискнуть, едва взглянув на проект заманчивого стартапа. Разумеется, в большинстве случаев внутриэкспертные ошибки не так радикальны: нам случается наблюдать умеренные внутриэкспертные ошибки, когда участливый судья не проявляет обычной мягкости, вынося приговор рецидивистам, или, наоборот, снисходителен сверх меры в отношении молодых женщин.

Внутриэкспертные ошибки возникают в результате комбинации временных и постоянных факторов. Временные факторы включают в себя то, что мы определили как источники ситуативного шума – хорошее настроение судьи в решающий момент или какое-либо недавнее происшествие, которое вертится у него в голове. Другие факторы более постоянны – например, работодатель с энтузиазмом относится к выпускникам определенного университета, а врач имеет привычку рекомендовать госпитализацию пациентам с пневмонией. Ошибка в одиночной оценке описывается простым уравнением:

Внутриэкспертная ошибка = Постоянная внутриэкспертная ошибка + Временная (ситуативная) ошибка

Поскольку постоянные внутриэкспертные ошибки и временные (ситуативные) ошибки независимы и не коррелируют друг с другом, можно усложнить наше уравнение, чтобы проанализировать дисперсию:

(Внутриэкспертный шум)²= (Постоянный внутриэкспертный шум)²+ (Ситуативный шум)²

Как и для прочих компонентов ошибок и шума, мы можем представить это уравнение графически как сумму квадратов катетов прямоугольного треугольника (рисунок 15):

Рис. 15. Анализ внутриэкспертного шума

Рассмотрим пример постоянного внутриэкспертного шума: допустим, специалисты по подбору персонала прогнозируют эффективность работы менеджеров на основе набора рейтингов. В главе 9 мы обсуждали «модель эксперта». Модель отдельного специалиста по подбору персонала присваивает определенный весовой коэффициент каждому рейтингу в соответствии с его значимостью с точки зрения данного специалиста. Коэффициенты неодинаковы для разных специалистов: для одного важнее лидерские качества, для другого – коммуникативные навыки. Эти различия и создают непостоянство в ранжировании кандидатов – то, что мы называем постоянным внутриэкспертным шумом.

Личная реакция на отдельные случаи может также создавать постоянные, хотя и весьма специфичные сценарии. Подумайте, что заставило вас уделить больше внимания одним аспектам истории Джули, чем другим. Какие-то детали могут перекликаться со случаями из вашей жизни. Возможно, что-то из рассказа о Джули напомнит вам о близком родственнике, который вначале добивался успехов, однако в конце концов потерпел неудачу, причиной которой, по вашему мнению, являются глубокие недостатки характера, замеченные еще в подростковом возрасте. И наоборот, рассказ о Джули может пробудить воспоминания о близком друге, который рос проблемным подростком, но затем сумел получить медицинское образование и стал успешным специалистом. История Джули вызовет у каждого человека свои уникальные и непредсказуемые ассоциации, однако они, скорее всего, будут постоянны: если бы вы прочитали о Джули на прошлой неделе, вы вспомнили бы тех же самых людей и увидели ее историю теми же глазами.

Уникальные характеристики оценочных суждений – еще один источник внутриэкспертного шума. Представьте себе некую предсказательницу с магическим кристаллом, о силе которого никто не догадывается (включая ее саму). Ее прогнозы очень точны и потому во многих случаях будут отклоняться от среднего. Если истинный результат неизвестен, эти отклонения будут рассматриваться как внутриэкспертные ошибки. То есть, когда оценки не поддаются проверке, самая высокая точность будет выглядеть как внутриэкспертный шум.

Внутриэкспертный шум также возникает от неодинаковой способности давать правильные оценки различным аспектам дела. Рассмотрим процесс отбора в профессиональные спортивные команды: скажем, тренеры обращают внимание на практические навыки, врачи – на склонность к травмам, психологи – на мотивацию и стрессоустойчивость. В оценках этих специалистов для одних и тех же игроков наверняка окажется немало шума. И аналогично: профессионалы, когда им нужно составить универсальный прогноз, могут быть более квалифицированными в отдельных аспектах задачи в ущерб другим. В таких случаях внутриэкспертный шум проще представить как неодинаковые способности людей, чем как ошибки.

Когда профессионалы выносят суждения самостоятельно, вариабельность в подходах к задаче является обычным шумом. Однако если у руководства есть возможность собрать команду¹⁸², которая будет принимать коллективные решения, разнообразие подходов становится потенциально полезным качеством, поскольку разные люди учтут различные аспекты проблемы и дополнят друг друга. Мы обсудим этот подход – и что требуется для его реализации – в главе 21.

В предыдущих главах мы обсуждали две лотереи, с которыми сталкивается клиент страховой компании или представший перед въедливым судьей ответчик. Теперь мы знаем, что первая лотерея (кто выпадет клиенту из группы коллег-профессионалов) задаст не только средний уровень оценок конкретного специалиста (межэкспертные ошибки). Перед клиентом промелькнет целый калейдоскоп ценностей, предпочтений, убеждений, воспоминаний, опыта и ассоциаций, уникальных для каждого профессионала. Всякий раз, когда вам приходится давать оценку чему-либо, вы приносите с собой соответствующий багаж. Это и специфичный склад ума, сформировавшийся в процессе работы, и усвоенные уроки наставников; вы неотделимы от достижений, на которых формируется ваша уверенность, и от ошибок, которые всеми силами стараетесь не повторить. А где-то глубоко в подсознании скрываются формальные правила и установки – какие-то из них вы помните, какие-то забыли, какие-то научились не замечать… Ни один другой человек не обладает точно таким же достоянием; ваши постоянные внутриэкспертные ошибки уникальны.

Вторая лотерея разыгрывается в тот момент, когда, собственно, и выносится оценка. Это ваше текущее настроение и другие внешние обстоятельства, которые вроде бы и не должны повлиять на ваши суждения – однако влияют. Эта лотерея создает ситуативный шум. Представьте, к примеру, что непосредственно перед прочтением истории Джули вам попалась газета со статьей об употреблении наркотиков в колледжах. Статья рассказывала об одаренном студенте, который планировал стать юристом и упорно трудился, однако оказался неспособен наверстать упущенное за первые годы учебы, когда подсел на наркотики. Сюжет еще свеж в памяти, он не выходит у вас из головы, заставляя обратить более пристальное внимание на пристрастие Джули к курению марихуаны и соответственно учесть этот факт при оценке ее шансов на будущее. Однако вы, скорее всего, и не вспомните эту статью, если вам зададут вопрос о Джули через несколько недель (а если бы его задали днем ранее, вы, очевидно, не могли знать об описанном в газете случае). Эффект чтения статьи временный: это и есть ситуативный шум.

Как показывает пример, нет четкой границы между постоянным внутриэкспертным шумом и его кратковременным вариантом, который мы называем ситуативным шумом. Главное отличие – является ли сама по себе постоянной или временной уникальная чувствительность конкретного человека к определенным аспектам дела. Когда механизмы запуска внутриэкспертного шума основаны на нашем личном опыте или жизненных ценностях, можно ожидать постоянных сценариев, отражающих нашу уникальность.