Суперпрогнозирование

Как повысить точность суждений в вашей компании

Пол Шумейкер, Филип Тетлок

Мы думаем, что ваша компания может значительно улучшить свои возможности в области прогнозирования, но для этого вам придется раскрыть, насколько ненадежны ее нынешние прогнозы — и насколько некомпетентны те, кто их делает. Именно так и поступило разведсообщество США, получив в итоге впечатляющие результаты. В октябре 2002 года Национальный совет по разведке (НСР) опубликовал официальное заявление, что Ирак обладает химическим и биологическим оружием, а также активно производит оружие массового поражения. Как известно, это заключение оказалось колоссальной ошибкой. Потрясенное провалом, руководство структуры, которая обходится государству в $50 млрд, поставило цель: выяснить, как можно улучшить ситуацию в будущем. При этом в НСР прекрасно понимали, что рискуют выявить вопиющие организационные недочеты.

Итоговая программа исследований включала в себя проект «Здравый смысл» (Good Judgment Project) — крупномасштабный турнир по составлению прогнозов на несколько лет. Один из нас, Фил, был среди его организаторов. Серия конкурсов, в которых тысячи любителей соревновались с опытными аналитиками разведки, привела к трем удивительным открытиям. Во-первых, талантливые непрофессионалы с широким кругозором часто превосходили специалистов по составлению прогнозов. Во-вторых, грамотно составленные программы обучения могут повысить точность прогнозирования. И в-третьих, хорошо организованные команды могут обойти одиночек. Эти выводы имеют важное значение для организаций и предприятий с точки зрения методов прогнозирования таких неопределенных исходов, как реакция конкурента на запуск нового продукта, рост прибыли за счет продвижения, а также эффективность работы потенциальных сотрудников.

Подход к созданию в организации непрерывно развивающейся системы прогнозирования, который мы рассмотрим в этой статье, — это не кулинарная книга с проверенными рецептами успеха. Многие принципы довольно новые и применяются в деловой среде не так давно. Тем не менее, как показывают наши исследования, они могут помочь руководителям определять и дорабатывать наиболее подходящие способы прогнозирования для своих организаций, к чему бы эти прогнозы ни относились.

Найдите золотую середину

Как показывают исследования, и организации, и отдельные люди не слишком хорошо умеют оценивать вероятность неопределенных событий (т.е. высказывать суждения в условиях неопределенности). А ошибочные суждения, разумеется, могут иметь серьезные последствия. Стив Балмер, тогдашний гендиректор корпорации Microsoft, высказал в 2007 году прогноз: «У iPhone нет никаких шансов завоевать существенную долю рынка». Тем самым он закрыл перед Microsoft возможность рассмотреть альтернативные сценарии. Тем не менее даже незначительное повышение уровня компетентности в области прогнозирования может обеспечить конкурентное преимущество. Компания, которая дает верные прогнозы три раза из пяти, будет иметь постоянно растущее преимущество перед конкурентами, которые способны предугадать события только два раза из пяти.

Прежде чем перейти к рассмотрению того, как организация может обеспечить свое преимущество в прогнозировании, давайте разберемся, какие виды оценок проще всего усовершенствовать, а на каких не стоит заострять внимание. Мы можем обойтись без прогнозирования в тех вопросах, где все и так очевидно, или в тех, которые вообще не поддаются оценке. Рассмотрим те, которые отличаются высокой предсказуемостью: вы знаете, где через пять часов будут стрелки ваших часов, компании по страхованию жизни уверенно устанавливают страховые взносы на основе обновляемых показателей смертности. В отношении вопросов, которые можно предсказать с большой точностью с помощью эконометрических и оперативно-исследовательских инструментов, нет смысла развивать навыки субъективных суждений: данные говорят сами за себя.

На другом полюсе — сложные, плохо изученные и трудно поддающиеся количественной оценке вопросы: каким будет рисунок облаков в определенный день, когда из какого-нибудь гаража в Кремниевой долине выкатят очередную технологию, меняющую правила игры? И здесь тоже практически нет выгоды от инвестирования ресурсов в систематическое совершенствование методов прогнозирования: эти задачки просто-напросто слишком сложны, чтобы их решать.

Золотая середина, на которой и должны остановиться компании, — это такое прогнозирование, когда можно использовать определенные данные, логику и анализ, но при этом не меньшую роль играют взвешенная оценка и продуманная постановка вопросов. Предсказание коммерческого потенциала препаратов при проведении клинических испытаний требует и научной экспертизы, и бизнес-оценки. Специалисты по оценке соискателей опираются на формальные данные (тестирования), но при этом они должны учитывать и такие неосязаемые факторы, как соответствие культур, взаимопонимание между руководителями и вероятность возникновения ожидаемого синергетического эффекта.

Рассмотрим опыт одного британского банка, который в начале 1990-х годов потерял много денег, предоставив кредиты американским кабельным компаниям, которые были довольно успешными, но в итоге обанкротились. Главный кредитный директор провела ревизию предполагаемых ошибок, изучив типы выданных кредитов, данные о клиентах и задействованных кредитных специалистах, систему мотивации и другие факторы. Она оценивала проблемные кредиты по каждому из этих факторов, а затем анализировала, какие из них лучше всего объясняют различия в потерянных суммах. В случаях, когда потери были значительными, она выявила недостатки андеррайтинга, которые привели к выдаче кредитов клиентам с плохим финансовым положением или не имевшим кредитной истории, — а для решения этих вопросов как раз важны опыт и умение рассуждать. Банку удалось добиться точечных улучшений, которые повысили эффективность его работы и минимизировали убытки.

Основываясь на нашем опыте в области исследований и консалтинга, мы определили набор методов, которыми могут воспользоваться руководители, чтобы повысить в своих компаниях качество прогнозов в этой «средней» зоне. Суть наших рекомендаций: с помощью тренингов улучшить способность отдельных специалистов к прогнозированию, перейти на командную работу для повышения точности, а также отслеживать эффективность прогнозирования и обеспечивать оперативную обратную связь. Разумеется, общие подходы, которые мы описываем, следует адаптировать для каждой организации и совершенствовать по мере того, как компания будет узнавать, что и при каких обстоятельствах срабатывает.

Тренируйте здравый смысл

Большинство прогнозов компаний основаны отнюдь не на холодном расчете, будь то бюджеты проектов, планы продаж, производительность потенциальных работников или эффективность иных приобретений. Прогнозисты привносят свое понимание общих статистических суждений, когнитивные искажения, стремление влиять на мнение других людей, а также опасения по поводу своей репутации. Если уж на то пошло, часто прогнозы делаются туманными намеренно — чтобы в случае ошибки было как можно более широкое пространство для маневра. Но есть и плюс — тренинги по развитию логического непредвзятого мышления могут заметно улучшить способность специалистов компании давать верные прогнозы. Проект «Здравый смысл» показал, что всего лишь часовое обучение помогло повысить точность прогнозов на ближайший год примерно на 14% (см. раздел «Как тренинги и командная работа повышают точность прогнозирования»).

Изучить основы

Основные ошибки в рассуждениях (например, уверенность в том, что если при подбрасывании монеты три раза подряд выпал орел, то в следующий раз непременно выпадет решка) сказываются на точности предсказания. Поэтому очень важно добиться того, чтобы сотрудники, занимающиеся прогнозами, твердо знали основы: например, тренинги в рамках Good Judgment Project, посвященные таким концепциям вероятности, как регрессия к среднему значению и байесовский вывод (обновление оценки вероятности в свете новых данных), заметно повысили точность предсказаний участников. Компании также должны требовать, чтобы прогнозы содержали точное определение того, что именно прогнозируется (скажем, вероятность выполнения потенциальным сотрудником плана по продажам), а также временны́е рамки (например, один год). Сам прогноз должен быть выражен в виде числовой вероятности, чтобы впоследствии можно было оценить его точность. Таким образом, оценка того, что новый сотрудник выполнит поставленные задачи, должна звучать как «с вероятностью 80%», а не «практически наверняка».

Осознать когнитивные искажения

Широко известно, что наши суждения подвержены когнитивным искажениям и некоторые из них особенно пагубно воздействуют на прогнозирование. Они заставляют людей отслеживать происходящее в поисках того, что подтверждает их мнение, а также пытаться во что бы то ни стало доказать свою правоту. Бороться с таким предвзятым подходом довольно сложно, но в ходе Good Judgment Project участники добились определенных успехов, сумев осознать основные когнитивные искажения, которые мешают прогнозированию. Например, новички учились отслеживать так называемую склонность к подтверждению своей точки зрения (она способна дать человеку ложную уверенность в собственной правоте), а также уделять должное внимание фактам, ставящим под сомнение их выводы. Кроме того, слушателям напоминали, что нельзя рассматривать вопросы изолированно, а следует прибегать к «стороннему взгляду», если воспользоваться термином лауреата Нобелевской премии Даниэля Канемана. Например, при прогнозировании, сколько времени уйдет на проект, участникам тренинга предлагалось сначала поинтересоваться, сколько времени обычно занимает выполнение подобных проектов. Это позволило бы избежать заниженной оценки необходимого времени.

Обучение также помогает разобраться в психологических факторах, которые приводят к необъективным вероятностным оценкам, — например, в склонности полагаться на несовершенную интуицию вместо тщательного анализа. Интуитивные представления о статистике, как известно, подвержены иллюзиям и суевериям. Аналитики фондового рынка могут разглядеть в данных закономерности, которые не имеют под собой никакой статистической базы, а любители спорта считают феномен временного повышения вероятности успешных бросков, известный как «эффект горячих рук», подтверждением невероятных новых возможностей, в то время как на самом деле это лишь мираж, вызванный причудливыми вариациями в маленькой выборке.

Другой прием, помогающий осознать психологические стереотипы, которые лежат в основе искаженных оценок, — это «квизы на уверенность». Участникам предлагается ряд вопросов общего характера («В каком возрасте умер Мартин Лютер Кинг?») или связанных с деятельностью компании («Сколько налогов уплатила наша фирма в прошлом году?»). Задача прогнозиста — высказать наиболее вероятное предположение в виде диапазона и присвоить ему определенную степень уверенности; например, он может заявить, что Кингу на момент гибели с вероятностью 90% было от 40 до 55 лет (на самом деле — 39 лет). Цель состоит не в том, чтобы оценить знания участников, а в том, чтобы понять, насколько они отдают себе отчет в том, чего не знают. Уилл Роджерс в свое время иронично заметил: «Нам мешает не то, чего мы не знаем, а то, чего мы не знаем, думая, что знаем». Как правило, участники обнаруживают, что половина или более тех диапазонов, в которых они уверены на 90%, не содержат верного ответа.

Повторимся: универсального средства, позволяющего избежать этих системных ошибок, не существует, и в каждой компании нужно адаптировать программы обучения к собственным реалиям. Susquehanna International Group, частная международная компания, занимающаяся количественным трейдингом, использует свой уникальный подход. Эта компания, осуществляющая сделки на сумму более $1 млрд в год, была основана в 1987 году поклонниками покера, и от всех ее новых сотрудников требуется много играть в покер — прямо в рабочее время. В процессе игры участники узнают о когнитивных ловушках, о психологических эффектах (таких, как принятие желаемого за действительное), о поведенческой теории игр и, конечно же, о теории опционов, арбитраже, валютном и торговом регулировании. Занятия, в основе которых игра в покер, помогают понять, как важно мыслить вероятностями, акцентируют внимание на информационной асимметрии (то, что известно сопернику, но не мне), учат, когда лучше сбросить карты при плохой раздаче, и определяют успех не как победу в каждой партии, а как способность извлечь максимальную пользу из тех карт, что у вас на руках.

Кроме того, руководству компаний необходимо проводить специализированные тренинги, ориентированные на более узкие области прогнозирования, такие как продажи и научно-технические исследования, а также на те направления, где показатели прошлых лет были особенно низкими. Если ваш отдел продаж склонен к излишней самоуверенности, над этим перекосом следует систематически работать. Такие специализированные программы сложнее разрабатывать и проводить, чем программы общего характера, но они часто приносят больше пользы, поскольку носят направленный характер.

Соберите подходящую команду

Объединение прогнозистов в команду — это эффективный способ повысить качество прогнозов. В рамках Good Judgment Project участники были случайным образом разделены на две группы: несколько сотен работали индивидуально, а несколько сотен — совместно, в командах. Агентство передовых исследований в сфере разведки США (IARPA) проводило турнир в течение четырех лет, и каждый раз команды выдавали более точные прогнозы, чем те, кто работал в одиночку. Конечно, для достижения высоких результатов команды должны эффективно управляться и обладать определенными отличительными чертами.

Состав

Участники турниров Good Judgment Project, проявившие себя наилучшим образом, предельно честны в отношении причин своего успеха: они признают, что, возможно, дали верный прогноз не благодаря анализу, а вопреки ему. Они осторожны, скромны, непредвзяты, умеют анализировать и обращаться с цифрами (см. раздел «Кто же эти суперпрогнозисты?»). При формировании команды компаниям следует искать прирожденных прогнозистов, которые умеют избегать когнитивных искажений, способны здраво рассуждать и внимательны к полученным данным.

Также очень важно, чтобы команды, которые занимаются прогнозами, были интеллектуально разносторонними. По крайней мере один из ее участников должен быть специалистом в своей области (например, финансист в команде бюджетного прогнозирования), но при этом важно присутствие и неспециалистов, особенно тех, кто не стесняется оспаривать мнение предполагаемых экспертов. Не стоит недооценивать таких универсалов. В ходе конкурсов Good Judgment Project гражданские прогнозисты-непрофессионалы не раз одерживали победу над подготовленными аналитиками-разведчиками на их собственном поле.

Ретроспекция, диагноз и проспекция

Команда может прогнозировать одно событие (например, вероятность рецессии в США через два года) или серию событий (например, риск рецессии в течение каждого года в отдельных странах), но в любом случае для конечного успеха ей необходимо грамотно пройти через три этапа: этап ретроспекции, когда задача, предпосылки и подходы к поиску ответа изучаются под разными углами; этап диагноза, на котором еще возможны продуктивные разногласия; и этап проспекции, в ходе которого команда составляет свой прогноз. На каждом из этих этапов работа идет быстрее и успешней, если вопросы сосредоточены на проблеме и обеспечивается регулярная обратная связь.

Этапы ретроспекции и диагноза очень важны: если ими пренебречь или подойти к ним чересчур поверхностно, команда столкнется с эффектом туннельного зрения. В этом случае область поиска сужается, что довольно быстро приводит к неверному ответу и снижению качества прогноза. Можно это предотвратить, следуя соответствующим правилам, таким как нацеленность на сбор новой информации и проверка предположений, связанных с поставленной задачей. Кроме того, командам следует всячески избегать распространенной ошибки прогнозирования — так называемого эффекта якоря, при котором первоначальная (и, возможно, не самая обдуманная) оценка искажает дальнейшие суждения. Зачастую это происходит неосознанно, поскольку легкодоступные данные служат удобной отправной точкой (а эффект якоря могут создать даже случайные числа, использованные в первоначальной оценке).

Один из нас, Пол, провел эксперимент со студентами MBA Чикагского университета, в ходе которого было продемонстрировано, как разнообразные исследования на этапе ретроспекции определяют итоговый прогноз. В одном из заданий участники из контрольной группы должны были оценить, сколько золотых медалей США выиграют по сравнению с другой лидирующей страной на следующих летних Олимпийских играх, и указать диапазоны, в которых их уверенность составляет 90%. Вторую группу попросили сначала обрисовать различные причины, по которым соотношение медалей может быть ниже или выше, чем в прошлые годы, а затем произвести оценку. Разумеется, эта группа вспомнила о террористических актах и бойкотах, а также рассмотрела другие факторы, которые могут повлиять на результат, — от болезней до более качественных тренировок и применения допинга. В результате такого разностороннего подхода диапазоны этой группы были значительно шире диапазонов контрольной группы, часто более чем в полтора раза. Как правило, более широкие диапазоны соответствуют более взвешенным прогнозам, а узкие диапазоны обычно указывают на излишне уверенные (и зачастую менее точные) прогнозы.

Доверие

Наконец, для достижения хороших результатов необходимо доверие внутри команды. Для групп прогнозирования, учитывая характер их работы, это имеет особое значение. Если команда предрекла, что новое приобретение будет успешным (неудачным), или невысоко оценила шансы на успешную продажу части бизнеса, эти выводы могут затрагивать проблемные области или угрожать чьему-нибудь самолюбию и репутации. Кроме того, может оказаться, что отдельные подразделения компании и, возможно, конкретные сотрудники не сильны в прогнозировании. Для того чтобы прогнозисты смело делились своими суждениями, они должны доверять друг другу и не сомневаться в поддержке со стороны руководства, зная, что они не потеряют ни рабочие места, ни репутацию. Мало что способно остудить энтузиазм быстрее, чем чувство незащищенности, когда выводы прогнозистов могут угрожать им же самим.

Отслеживайте результативность и давайте свои комментарии

Как показывает наша работа в рамках Good Judgment Project, а также сотрудничество с отдельными компаниями, для повышения точности прогнозирования крайне важно отслеживать результаты прогнозов и своевременно давать обратную связь. Вот, например, американские синоптики: как бы их ни критиковали, они демонстрируют отличные результаты. Если они говорят, что вероятность дождя составляет 30%, то в предсказанные дни дождь идет в среднем примерно в 30% случаев. Основная причина их успеха — в том, что они получают своевременную, постоянную и непротиворечивую обратную связь по поводу точности своих прогнозов, и это часто имеет прямое отношение к оценке их работы. Игроки в бридж, внутренние аудиторы и геологи-нефтяники также выдают точные прогнозы, во многом благодаря надежной обратной связи и стимулам для дальнейшего развития.

Самый надежный способ отслеживать прогнозы и оценивать их точность — показатель Бриера. Он позволяет компаниям производить прямые, статистически достоверные сравнения прогнозистов по серии прогнозов. С течением времени количество набранных баллов выявляет лучших, будь то команды, их отдельные представители или специалисты, работающие индивидуально (см. врезку «Показатель Бриера выявит ваших лучших (и худших) прогнозистов»).

Однако для повышения точности прогнозов недостаточно просто подсчитать, сколько очков набрала команда, — необходимо также оценить процедуру, которой она пользовалась. Чтобы извлечь пользу из полученных результатов — и хороших, и плохих, — важно выяснить, как они были достигнуты. Одна проверка, например, покажет, что к прогнозу, как точному, так и ошибочному, привели определенные этапы процедуры. Другая установит, что прогноз оказался верен, несмотря на ошибочное обоснование (просто повезло), — или что причиной ошибки стали какие-то особые обстоятельства, а не плохо проведенный анализ. Например, ритейлер может очень точно спрогнозировать, сколько покупателей посетит магазин в тот или иной день, но если произойдет событие из разряда «черных лебедей» — скажем, угроза взрыва, — то магазин закроется, а прогноз окажется неверным. Показатель Бриера будет низким, но анализ процедуры покажет, что дело не в ней: причина ошибки будет определена как неудачное стечение обстоятельств.

В оценке процедуры прогнозирования есть еще одна важная составляющая — необходимо проанализировать взаимодействия в группе. Ни достоверные данные, ни неукоснительное следование всем правилам составления прогнозов не помогут, если не отлажена работа самой команды. Вспомните переговоры между NASA и его подрядчиком, инженерной компанией Morton Thiokol, накануне запуска космического челнока «Челленджер» в 1986 году, окончившегося катастрофой. Первоначально инженеры Thiokol были против запуска, опасаясь, что низкие температуры могут испортить уплотнительные кольца, которые герметизировали стыки ракетных двигателей. По их прогнозам, риск повреждения из-за воздействия низкой температуры был намного выше обычного. Однако в итоге они, к сожалению, изменили свою позицию.

Анализ инженеров был верным, а вот организация процедуры оказалась слабой. На слушаниях в конгрессе была восстановлена картина событий того дня, показавшая, какие условия — в сочетании — заставили специалистов изменить прогноз: нехватка времени, требования руководства, недостаточно вдумчивое изучение альтернативных точек зрения, попытки подавить голоса несогласных и ощущение своей непогрешимости (в конце концов, 24 предыдущих полета прошли хорошо).

Во избежание подобных катастроф — и для повторения успехов — руководители компаний должны систематически и своевременно собирать отчеты о том, как их ведущие команды выносят суждения, вести учет сделанных предположений, использованных данных, проведенных консультаций с экспертами, внешних событий и так далее. Для анализа процедур можно использовать видеозаписи или стенограммы совещаний; кроме того, если попросить специалистов по прогнозированию фиксировать ход своей работы, это тоже может дать важную информацию. Помните, ранее мы приводили в пример компанию Susquehanna International Group, где трейдеров обучают играть в покер? Перед каждой транзакцией трейдеры должны аргументировать вступление в сделку или выход из нее. От них требуется рассмотреть ключевые вопросы: какой дополнительной информацией, способной повлиять на ход торговли, по-вашему, могут располагать другие трейдеры? Какие когнитивные ловушки могут исказить ваше восприятие этой сделки? Почему вы считаете, что эта сделка выгодна фирме? Кроме того, в Susquehanna специально подчеркивают важность процедуры: размер бонусов трейдеров привязан не только к результатам отдельных сделок, но и к качеству анализа, лежащего в основе этих сделок.

Грамотная проверка способна установить постфактум, что же пошло не так: или у прогнозистов, положившихся на ошибочные данные, неудачно сработал «эффект якоря», или они плохо сформулировали задачу, или упустили из виду важную информацию, не привлекли к работе членов команды, придерживающихся иных взглядов, а то и вовсе отказались их слушать. Проверка также способна высветить те этапы процедуры, которые привели к точным прогнозам, и тем самым передать другим группам положительный опыт для дальнейшего совершенствования.

____________________________________

Каждый из описанных нами методов — обучение, формирование команды, наблюдение за работой прогнозистов и выявление лучших среди них — имеет важное значение для качества прогнозирования. Все они должны быть адаптированы для различных организаций: на сегодня ни одна компания, насколько нам известно, еще не освоила их полностью и не в состоянии создать комплексную программу. Те компании, которым это удастся, получат значительное преимущество, особенно если их корпоративная культура, подобно культуре разведсообщества, поощряет организационные инновации и эксперименты.

Однако воспользоваться этим преимуществом компании смогут только в том случае, если руководители поддержат усилия по повышению точности прогнозов, продемонстрируют готовность работать методом проб и ошибок и признают, не боясь уронить свой авторитет: да, «мы чего-то не знаем, думая, что знаем».

Впервые опубликовано в выпуске за май 2016 года.