Оценочные суждения

До сих пор в этой главе мы подробно рассматривали прогнозные суждения, и большинство примеров, разбираемых в этой книге, относятся именно к этому типу. Однако глава 1, где речь шла о судье Франкеле и шуме в системе вынесения уголовных приговоров, исследует иной тип суждений. Вынесение приговора – это не прогноз, а оценочное суждение, призванное подобрать наказание, соответствующее тяжести преступления. Жюри винных конкурсов и ресторанные критики выносят оценочные суждения. Профессора, читающие сочинения студентов, судьи на соревнованиях по фигурному катанию и комитеты, распределяющие исследовательские гранты, также выносят оценочные суждения.

Несколько другой тип оценочных суждений выносится в ситуациях, где для принятия решения нужно рассмотреть и взвесить множество альтернатив: руководители выбирают самого подходящего кандидата на некую должность, управленцы ищут оптимальную стратегию, президенты решают, как реагировать на эпидемию в Африке. Несомненно, для решения всех этих задач нужно сначала вынести прогнозные суждения, которые послужат исходными данными. Насколько продуктивным окажется выбранный кандидат в первый год работы? Как фондовый рынок отреагирует на новый стратегический ход? Как быстро распространится эпидемия в отсутствие сдерживающих мер? Однако для окончательного решения потребуется взвесить преимущества и недостатки имеющихся вариантов, и вот здесь понадобятся оценочные суждения.

Оценочные суждения, как и прогнозные, допускают лишь ограниченные разногласия. Ни один уважающий себя федеральный судья не скажет: «Я считаю такой приговор самым подходящим, и меня совершенно не волнует, что по этому поводу думают другие судьи». При выборе стратегии компании специалисты ожидают, что коллеги и эксперты, знакомые с ситуацией и преследующие те же цели, с ними согласятся или, по крайней мере, не будут категорически против такого выбора. Оценочные суждения отчасти зависят от ценностей и предпочтений тех, кто их выносит, но их нельзя назвать делом вкуса или личным мнением.

Именно по этой причине граница между прогнозными и оценочными суждениями настолько размыта, что часто о ней даже не подозревают. Судьи, назначающие наказания, и преподаватели, оценивающие сочинения, очень серьезно подходят к своей задаче и стремятся принять «правильное» решение. Постепенно они приобретают уверенность как в верности своих суждений, так и в их мотивах. Нет никаких различий в том, как мыслят, действуют и оправдывают свои действия профессионалы, выносящие прогнозные («Будет ли этот продукт хорошо продаваться?») и оценочные суждения («Насколько продуктивным был мой ассистент в этом году?»).

В чем проблема с шумом

Если мы обнаруживаем шум в прогнозных суждениях, это сигнализирует о проблемах. Когда мнения двух врачей по поводу диагноза отличаются, а два прогнозиста ожидают разные показатели продаж в следующем квартале, по крайней мере один из них ошибается. Ошибку можно объяснить нехваткой квалификации у одного из специалистов или каким-то иным источником шума. Какой бы ни была причина, ошибка в суждении может иметь серьезные последствии для людей, полагающихся на диагнозы и прогнозы этих экспертов.

В оценочных суждениях шум является проблемой по другой причине. В системе, где судьи предположительно взаимозаменяемы и якобы назначаются случайным образом, значительные расхождения в приговорах по одному делу нарушают ожидания справедливости и последовательности. При значительных расхождениях в наказаниях, назначенных одному подсудимому, мы сталкиваемся с «произволом жестокости», который обличал судья Франкел. Даже судьи, которые выступают за индивидуальный подход в вынесении приговоров и имеют разные точки зрения по поводу наказания грабителю, не станут отрицать, что разногласия, превращающие судейство в лотерею, недопустимы. Это утверждение справедливо (хотя, пожалуй, с несколько меньшим накалом драматизма) в отношении огромных расхождений в отметках за одно и то же сочинение, разнобоя в оценках мер безопасности одного и того же ресторана, разброса в баллах после выступления одного и того же фигуриста или даже случаев, когда один пациент, страдающий от депрессии, получает пособие по инвалидности, а другой – с таким же заболеванием – не получает ничего.

Даже если считать, что несправедливость не так уж и страшна, в феномене системного шума кроется другая проблема. Люди, которых коснулись последствия оценочных суждений, полагают, что такие суждения отражают решение, принятое системой, а не мнение отдельно взятого судьи. Должно быть, дела плохи, если один покупатель, пожаловавшись на бракованный ноутбук, получил деньги назад, а другому достались лишь извинения от магазина; если один служащий с пятилетним стажем в компании, попросив о повышении, получил его, тогда как другой, ничем не хуже первого, услышал вежливый отказ. Системный шум – это непоследовательность, а непоследовательность подрывает авторитет системы.

Нежелательный, но поддающийся измерению

Все, что нам нужно для измерения уровня шума, – это множество суждений, вынесенных по одной проблеме. При этом нет нужды знать истинный результат. Как показала история про стрельбу в тире во введении, взглянув на оборотную сторону мишени, мы не видим обозначения ее центра, зато можем наблюдать разброс попаданий. Если нам известно, что все стрелки целились в одно и то же «яблочко», мы можем измерить уровень шума. Именно эту задачу и выполняет ревизия шума. Если мы попросим прогнозистов оценить продажи в следующем квартале, шумом будет разброс в их оценках.

Понимание различия между смещением и шумом необходимо для практической цели улучшения качества суждений. Утверждение о том, что можно улучшить суждения, даже не имея шансов проверить, насколько они верны, звучит парадоксально. Однако это действительно так – при условии, что мы начнем с измерения уровня шума. Неважно, нацелено суждение на достижение верного ответа или на более сложный компромисс между различными альтернативами, шум нежелателен и при этом часто поддается количественной оценке. Как только уровень шума измерен, во многих случаях его можно сократить, как мы увидим в части V.