20

ИСКАЖЕНИЕ ПРИ ОЦЕНКЕ РЕЗУЛЬТАТА

Нельзя оценивать принятые решения по их результатам

Предлагаю небольшой мысленный эксперимент. Предположим: в обезьяньем сообществе миллион обезьян спекулирует на бирже. Они как бешеные покупают и продают акции — разумеется, по случайному принципу. Что произойдет? Через год около половины обезьян окажутся в выигрыше, а другая половина — в проигрыше. На следующий год выиграет опять половина этих биржевиков, а вторая будет нести убытки. И так далее. Через десять лет останется всего тысяча обезьян, которые все это время были «в плюсе». А через 20 лет лишь одно из животных окажется самым лучшим инвестором и станет миллиардером. Назовем его «самой успешной обезьяной».

Как отреагируют масс-медиа? Все хвостатые «журна­листы» набросятся на это животное, чтобы узнать: в чем его «рецепт успеха». И они непременно найдут этот хитрый рецепт. Возможно, самая успешная обезьяна ест больше бананов, чем остальные. Возможно, сидит в каком-то определенном углу ящика-домика. Или чаще других качается на ветках вниз головой, или, разыскивая в своей шерсти насекомых, делает долгие паузы для размышлений. Ведь должен же быть хоть какой-то рецепт, не так ли? Как же иначе можно получить такое сног­сшибательное богатство? Разве кто-нибудь может двадцать лет подряд абсолютно правильно инвестировать и быть при этом обыкновенной, ничего не знающей обезьяной? Это невозможно.

История про самую успешную обезьяну иллюстрирует искажение при оценке результата (outcome bias): нашу склонность оценивать точность решения по конечному результату, а не по общему процессу принятия решений. Эту ментальную ошибку называют также заблуждением историков. Класси­ческий пример — нападение японцев на Перл-Харбор. Надо было американцам эвакуировать военную базу или нет? Сейчас все совершенно ясно: было много признаков того, что атака предстоит очень скоро. Но эти сигналы выглядят очевидными именно по прошествии времени. А тогда, в 1941 году, наблюдалась масса противоречивых сигналов и признаков. Одни указывали на готовящееся нападение, другие нет. Для адекватной оценки качества решения (эвакуировать военную базу или не стоит) надо полностью погрузиться в информационную картину того времени и отфильтровать все, о чем мы узнали позже (прежде всего о факте нападения японцев на Перл-Харбор).

Проведем другой воображаемый эксперимент. Вы должны оценить достижения трех кардиохирургов. Для этого вы предлагаете каждому врачу провести по пять сложных операций. По многолетней статистике смертность при подобных вмешательствах составляет 20%. Вот конкретные результаты. У хирурга А ни один из пяти пациентов не умер на операционном столе. У хирурга Б умер один. У хирурга В — двое. И как вы оцените результаты? Если вы рассуждаете так же, как большинство людей, вы назовете хирурга А самым лучшим, Б — вторым и В — худшим. И совершите ошибку: искажение при оценке результатов. Вы уже сами догадываетесь почему: было слишком мало проб, соответственно результат не показательный. Как бы следовало оценивать работу трех хирургов? Прежде всего, чтобы дать настоящую оценку их мастерству, вы должны сами кое-что понимать в этом деле. Вы должны наблюдать за подготовкой врачей к операции и следить за ее ходом. Так можно оценить весь процесс, а не просто результат. Это во-первых. Во-вторых, оценить качество работы можно только при учете значительно большего числа проб: 100 операций или даже 1000. В другой главе мы еще остановимся на проблеме недостаточного количества проб при оценке. Но сейчас пора ознакомиться со статистикой. У хирурга средней квалификации вероятность смерти одного пациента составляет 41%. Вероятность смерти двух пациентов равна 20%. А вероятность того, что пациент не умрет во время операции, равна 33%. Оценивать работу хирургов по результатам пяти операций не просто недобросовестно, а неэтично.

Вывод: никогда не оценивайте решение только по результату. Плохой итог не означает автоматически, что решение было ошибочным, и наоборот. И прежде чем бранить себя за посту­пок, оказавшийся неправильным, или гладить по голове за то, что — возможно, случайно — привело вас к успеху, вспомните и подумайте: почему вы приняли именно это решение? По разум­ным, вполне объяснимым причинам? Раз так, то есть смысл снова действовать так же. Даже если однажды вам не повезло.

Отправить