Вторая лотерея

Никого не удивляет разброс в результатах штрафных бросков или в показателях других физических процессов. Мы привыкли, что наше тело время от времени ведет себя по-разному: меняются пульс, давление, рефлекторные реакции, тембр голоса, твердость руки. И как бы мы ни старались точно воспроизвести свою подпись, каждый раз она выходит слегка иной.

Несколько сложнее наблюдать вариативность наших умственных процессов. Конечно, нам всем приходилось менять свое мнение, иногда даже просто так, без явной причины. Фильм, над которым мы до слез смеялись прошлым вечером, сегодня кажется весьма посредственным и проходным. Человек, которого мы вчера строго осуждали, теперь видится нам заслуживающим снисхождения. Довод, который мы находили неудачным и расплывчатым, вдруг становится ясным и принципиально важным. Однако, как подсказывают подобные примеры, обычно такие перемены происходят, когда дело касается незначительных и довольно субъективных вопросов.

На практике наше мнение действительно может поменяться без видимых причин – и это касается даже тщательно взвешенных и выверенных оценок экспертов. Например, нередки случаи, когда врачи, которых дважды знакомили с анамнезом одного пациента, давали два заключения, значительно отличавшихся друг от друга (см. главу 22). Когда на крупном конкурсе вин в США эксперты⁵⁶ повторно дегустировали одно и то же вино и только в 18 % случаев давали ему одинаковые оценки (обычно это были вина не самого высокого качества). Эксперт-криминалист может прийти к разным выводам, изучив одни и те же отпечатки пальцев дважды с разницей в несколько недель (см. главу 20). Опытные консультанты по программному обеспечению⁵⁷ могут предложить весьма отличные друг от друга оценки сроков выполнения одного и того же задания, если их спросить об этом дважды в разные дни. Проще говоря, подобно баскетболисту, не способному производить идентичные броски, мы не всегда выносим идентичные оценки, имея дело с одними и теми же фактами повторно.

Мы уже сравнивали процесс назначения андеррайтера, судьи или врача с лотереей, создающей системный шум. Ситуативный шум – продукт второй лотереи. Результаты этой лотереи зависят от конкретного момента вынесения суждения экспертом, от его расположения духа, от набора похожих случаев, которые еще свежи в его памяти, а также от бесчисленных других особенностей ситуации. Вторая лотерея, как правило, намного более абстрактна, чем первая. К примеру, мы можем вообразить, что во время первой лотереи назначается другой андеррайтер, однако возможные альтернативные суждения андеррайтера, назначенного на практике, все так же остаются умозрительными вероятностями. Нам известно лишь то, что окончательное суждение было выбрано из множества возможных. Ситуативный шум – это вариативность среди этих неявных возможностей.

Измерение уровня ситуативного шума

Измерить уровень ситуативного шума непросто во многом по той же причине, по которой новость о его существовании часто является для нас сюрпризом. Тщательно обдумывая свое профессиональное мнение, эксперты подбирают доводы, которые выступают в качестве подходящего обоснования их суждения. Если им приходится объяснять свое решение, они обычно прибегают к аргументам, которые находят убедительными. Когда же экспертам предлагают решить эту проблему повторно и при этом они ее узнаю`т, они воспроизводят ответ, данный ранее, с целью свести свои усилия к минимуму и обеспечить последовательность. Вот наглядный пример из сферы образования: если учитель ставит студенту за сочинение «отлично», а спустя неделю перечитывает работу и видит свою первоначальную оценку, маловероятно, что теперь он оценит это сочинение по-другому.

По этой причине, если задачи, которые решают эксперты, легко запомнить, измерить ситуативный шум напрямую довольно непросто. К примеру, если показать андеррайтеру или судье дело, по которому они уже вынесли решение, скорее всего, они смогут его узнать и просто повторить свое предыдущее заключение. Один обзор исследований вариативности в профессиональных суждениях (формально известный как «ретестовая надежность») включал множество экспериментов, в которых специалистам дважды предлагалось сделать заключение по одному и тому же вопросу в течение одной сессии. Нет ничего удивительного в том, что испытуемые не противоречили сами себе⁵⁸.

В экспериментах, упомянутых нами ранее в этой главе, эту проблему удалось обойти, усложнив специалистам узнавание ранее виденных задач. Винные эксперты проводили дегустацию вслепую. Дактилоскопистам показывали уже проанализированные ими отпечатки пальцев, а экспертов по программному обеспечению спрашивали о задачах, над которыми они работали ранее, только делалось это несколько недель или месяцев спустя после первого предъявления, к тому же испытуемых не поставили в известность о том, что с этими данными они уже сталкивались.

Существует еще один, более косвенный, способ подтвердить присутствие ситуативного шума: можно воспользоваться большими данными и методами эконометрии. Если у нас имеется большой объем данных о решениях, принятых профессионалами, иногда аналитики могут проверить, подвергались ли они влиянию ситуативных, несущественных факторов, таких как время суток или температура воздуха. Статистически значимое влияние подобных факторов на вынесение решений – свидетельство ситуативного шума. Если оценивать обстановку реально, на то, что все источники ситуативного шума будут найдены, особенной надежды нет, однако те, что обнаружить все-таки можно, демонстрируют, насколько велико их разнообразие. Чтобы научиться контролировать ситуативный шум, нужно попытаться понять порождающие его механизмы.