Глава IV
Суперпрогнозисты

«Мы считаем, что Ирак продолжает развивать программы оружия массового поражения (ОМП), демонстративно не подчиняясь резолюциям и ограничениям ООН. Багдад располагает химическим и биологическим оружием, а также ракетами, дальность которых превосходит ограничения ООН. Если оставить ситуацию без контроля, у него, вероятно, в течение десяти лет появится ядерное оружие». Изложено бесстрастно, но после обнародования в октябре 2002 года эта информация произвела мощнейший эффект. Террористы совершили злодеяния 9/11 всего 13 месяцев назад. Соединенные Штаты вторглись в Афганистан, чтобы свергнуть «Талибан», приютивший Усаму бен Ладена. Затем администрация Джорджа У. Буша переключила внимание на Ирак Саддама Хусейна и предположила, что у того есть связи с «Аль-Каидой», что Ирак стоял за 9/11, что Ирак был угрозой для других стран Ближнего Востока и текущей из этого региона нефти, что Ирак не уничтожил ОМП вопреки требованию ООН, что Ирак наращивает арсенал и становится с каждым днем все опаснее. У Саддама Хусейна была или скоро появится возможность нанести удар по Европе, утверждал Белый дом, и даже по Соединенным Штатам. Критики возражали, что Белый дом давно уже решил вторгнуться в Ирак и теперь преувеличивает опасность, используя цветистый язык («Мы не хотим, чтобы дым от ружья превратился в грибовидное облако» — слова Кондолизы Райс), чтобы обеспечить поддержку этой войны. Именно в этот момент появилась Национальная разведывательная оценка (НРО) 2002–16HC. Вообще НРО — это приведенные к общему знаменателю мнения ЦРУ, Управления национальной безопасности, Разведывательного управления Министерства обороны и других тринадцати разведывательных организаций, известных вместе как разведывательное сообщество, или РС.

Точные цифры не подлежат разглашению, но, по грубым подсчетам, бюджет РС более 50 миллиардов долларов, а штат его сотрудников — 100 тысяч человек. Из них 20 тысяч — разведывательные аналитики, чья работа заключается не в том, чтобы собирать данные, а в том, чтобы анализировать уже собранную информацию и оценивать, как она повлияет на национальную безопасность. И этот невероятно разработанный, дорогой и опытный разведывательный аппарат заключил в октябре 2002 года, что ключевые заявления администрации Буша относительно иракских ОМП соответствовали действительности. Многие люди сочли это убедительным. Известно, что работа разведки — говорить властям правду, а не то, что политики, временно находящиеся у власти, хотят услышать, поэтому НРО оказалась для них решающим фактором. После этого саддамовские программы ОМП, занимающиеся производством смертельного оружия, и нарастание угрозы со стороны Ирака стали неопровержимыми фактами. Что делать по поводу этих фактов — уже другой вопрос, но отрицать их могли только люди, ослепленные политикой. Даже самые едкие критики правительства вроде Тома Фридмана, презрительно называвшие администрацию Буша «бушменами», были уверены, что Саддам Хусейн что-то где-то да прячет.

Сейчас мы знаем, что эти «факты» оказались ложными. После вторжения в 2003 году США в поисках ОМП перевернули Ирак вверх тормашками, но ничего не нашли. Это был один из худших — если не худший — провалов разведки в современной истории. РС подверглось унижению. В СМИ появились обвинения, были проведены официальные расследования и знакомый ритуал слушаний, на которых комитеты Конгресса разносили официальных лиц разведки, слушавших их со взмокшими мрачными лицами.

Что же пошло не так? Была выдвинута версия, что РС поддалось нажиму Белого дома и политизировалось, но официальные расследования это опровергли. Опроверг эту версию и Роберт Джервис, что для меня более весомо, потому что у Джервиса сорокалетний опыт проницательного, непредвзятого изучения разведки. Джервис — автор книги «Почему разведка ошибается», в которой тщательно препарирует как провал разведки в предсказании Иранской революции 1979 года (в этом случае Джервис провел для ЦРУ анализ минувших событий, которые в течение десятков лет были засекречены), так и ложную тревогу по поводу саддамовского ОМП. В последнем случае заключение РС было искренним и обоснованным, решил Джервис.

«Но заключение не могло быть обоснованным, — возможно, подумаете вы. — Ведь оно оказалось неверным!» Такая реакция понятна — и тоже неверна. Помните, вопрос был не о верности заключения, а о его обоснованности. Чтобы ответить на него, нужно поставить себя на место людей, которые делали выводы в то время. А это означает пользоваться только той информацией, которая была у них. Той информации хватало, чтобы практически каждое крупное разведывательное агентство на планете подозревало, с варьирующейся степенью уверенности, что Саддам что-то прячет. Не потому что кто-то обладал неопровержимыми доказательствами, а потому что он вел себя как человек, который что-то прячет. Чем еще можно было объяснить его игру в прятки с инспекторами ООН по вооружению, когда на кону стояло вторжение в страну и падение установленного им режима?

Но мало что на свете сложнее мысленного путешествия во времени. Даже историкам непросто поставить себя на место человека определенной эпохи и не отвлекаться на знания о том, что случилось позже. Так что вопрос «Было ли суждение РС обоснованным?» очень сложен. Зато просто ответить на вопрос «Было ли суждение РС правильным?». Как я отмечал в главе 2, в подобной ситуации возникает соблазн использовать пример «заманить и подменить»: заменить сложный вопрос на простой, ответить на него и всерьез верить, что вы ответили на сложный вопрос.

Подмена, которая осуществляется в данном случае (вопроса «Было ли это хорошее решение?» на вопрос «Имело ли оно хороший результат?»), одновременно популярна и пагубна. Опытные игроки в покер считают эту ошибку заблуждением новичка. Новичок может переоценить вероятность, что следующая карта будет хорошей, повысить ставку и в результате везения выиграть, что не делает его поведение мудрым поступком. И наоборот: профессионал может верно оценить высокую вероятность получения хорошей карты, повысить ставку и в результате невезения проиграть, но это не значит, что его поведение было глупым. Хорошие игроки в покер, инвесторы и руководители высшего звена это понимают. Те, кто не понимает, не могут оставаться профессионалами в том, чем занимаются: они извлекают из опыта ложные уроки, и их суждения со временем становятся все хуже и хуже.

Так что нельзя назвать оксюмороном заключение, которое сделал Роберт Джервис: что оценка разведывательного сообщества была одновременно обоснованной и неверной. Однако — и этот момент ключевой — Джервис все равно подверг разведывательное сообщество критике. «Это были не просто ошибки, но ошибки, которые можно было исправить, — написал он об аналитиках РС. — Анализ мог и должен был быть лучше». Оказалась бы разница существенной? В каком-то смысле — нет. «Результатом могла бы стать менее уверенная оценка разведки, нежели фундаментально неверное заключение».

Так что РС все равно могло бы решить, что у Саддама есть ОМП, но проявить при этом меньше уверенности. Вам может показаться, что мы лишь слегка критикуем РС. На самом деле все крайне серьезно: ведь менее уверенное заключение РС могло бы очень сильно изменить ситуацию. Если бы некоторые конгрессмены установили планку «за пределами разумного сомнения» в вопросе поддержки вторжения, то их бы не устроила 60–70 %-ная уверенность РС, что Саддам производит орудие массового поражения. Резолюция Конгресса, дающая добро на использование силы, могла бы не пройти — и Соединенные Штаты могли бы не вторгнуться в Ирак. Редко когда в истории ставки поднимались выше этой — тысячи жизней и триллионы долларов.

Но в НРО 2002–16HC не говорилось о 60 или 70 %. Там говорилось: «Ирак продолжает…», «Багдад располагает…». Подобные утверждения не допускают сомнений. Они эквивалентны утверждениям «Солнце встает на востоке, а садится на западе». На брифинге в Белом доме 12 декабря 2002 года директор ЦРУ Джордж Тенет использовал слова «верное дело». Позже он протестовал, что его цитату выдернули из контекста, но это неважно, потому что словами «верное дело» действительно характеризовалось отношение РС. И это необычно. Анализ разведки всегда включает в себя долю неуверенности, причем иногда большую, и аналитики это знают. Однако в отношении иракского ОМП РС пало жертвой завышенной самооценки. В результате оно не просто ошиблось — оно ошиблось в случае, по поводу которого заявило, что не может ошибаться. Последующий анализ продемонстрировал, что РС никогда даже серьезно не допускало и мысли об ошибке. Джервис писал:

Как едко заметила комиссия по президентскому расследованию катастрофы, «одно дело — не сделать заключение о том, что Саддам прекратил производить запрещенное оружие, и совсем другое — даже не допустить такой возможности».

РС — огромная бюрократическая система, которая медленно реагирует даже на шок серьезнейших неудач. Джервис сказал мне, что произошло после окончания его анализа провала 1979 года, когда американская разведка не смогла предвидеть Иранскую революцию (а это была величайшая геополитическая катастрофа той эпохи): «Я встретился с главой кабинета (ЦРУ) по политическому анализу, и она сказала мне: „Я знаю, что вы от нас пока ничего не слышали, и это должно было подтвердить все ваши опасения, но мы собираемся устроить большую встречу, на которой все проанализируем и обсудим с вами“. И это был конец истории. Ничего подобного не произошло». Однако шок от провала с ОМП был другим. Бюрократическая система была сотрясена до основания. «Они это восприняли близко к сердцу», — сказал Джервис.

В 2006 году было создано Агентство передовых исследований в области разведки (IARPA). Его миссией было финансирование самых передовых исследований, которые потенциально могли сделать разведывательное сообщество более эффективным и проницательным. Как можно догадаться по названию, IARPA была создана по образу и подобию DARPA (Агентства передовых исследований в области обороны). Это знаменитое оборонное агентство, чьи исследования, относящиеся к военной сфере, имели и имеют огромное влияние на весь мир. Работа DARPA даже поспособствовала изобретению интернета.

В 2008 году Дирекция национальной разведки, которая находится на верхушке всей системы шестнадцати разведывательных агентств, попросила Государственный совет по исследованиям создать комиссию. Задачей комиссии стало объединение исследований по хорошему прогнозированию и помощь РС в их применении. По стандартам Вашингтона это было дерзкое (или поспешное) решение. Далеко не каждый день бюрократия платит одному из самых уважаемых научных институтов в мире, чтобы тот провел объективное исследование, результаты которого могли бы доказать беспомощность этой самой бюрократии.

В работе комиссии принимали участие заслуженные ученые разных областей знаний, а председателем был назначен психолог Барух Фишхофф. Я тоже был в числе участников — возможно, из-за шумихи, которую поднял, когда в вышедшей в 2005 году книге «Экспертное политическое суждение» бросил вызов: «Можете ли вы побить играющую в дартс шимпанзе?» Спустя два года мы выдали заключение, которое было на 100 % в духе Арчи Кокрана: не верьте, пока не протестируете. «РС не должно опираться на аналитические методы, которые нарушают задокументированные поведенческие принципы или не имеют никаких доказательств эффективности, помимо интуитивной привлекательности», — отмечалось в нашем заключении. РС рекомендовалось «тщательно проверять текущие и предложенные методы в условиях, как можно более близких к реальности. Подобный подход к анализу, базирующийся на доказательствах, будет стимулировать дальнейшее обучение, необходимое для того, чтобы РС обходило противников государства в проницательности и динамичности».

Это совсем простая идея, но, как происходило в медицине в течение тысячелетий, ею стандартно пренебрегают. Например, ЦРУ дает своим аналитикам инструкцию, написанную Ричардсом Хейером, бывшим аналитиком, которая содержит в себе полезные психологические подсказки, включая предубеждения, которые могут помешать мышлению аналитика. Это тонкая работа. И в этом есть смысл: базовое знакомство с психологией может помочь аналитикам избегать когнитивных ловушек и таким образом выдавать лучшие суждения. Но так ли все на самом деле? Никто не знает. Это никогда не проверялось. Некоторые аналитики думают, что подобная подготовка имеет такую инстинктивную привлекательность, что ее не нужно подвергать проверке. Звучит знакомо, правда?

Даже на вопрос на 50 миллиардов долларов — «Насколько точны прогнозы разведывательных аналитиков?» — нет ответа. Конечно, некоторые думают, что они знают. Высокопоставленные чиновники могут утверждать, что РС не ошибается в 80 или 90 % случаев, но это только предположения. Как врачи XIX века, которые были уверены, что их лекарства излечивают пациентов в 80–90 % случаев, они могут быть правы, или почти правы, или совсем не правы. В отсутствие мерок для подсчета точности не существует ни одного осмысленного способа призвать разведывательных аналитиков к ответственности за точность. Заметьте слово «осмысленного» в последнем предложении. Потому что, когда директора национальной разведки тащат распекать в Конгресс — это тоже ответственность за точность. Пусть к ответу в данном случае призывают люди плохо проинформированные и своевольные, пусть процедура не служит никакой иной цели, кроме как политической игре на зрителя, но это ответственность. По контрасту, для того чтобы осмысленно призвать к ответственности, требуется не просто расстроиться, когда что-то пошло не так. Требуется систематическая оценка точности — по всем вышеизложенным причинам. Но прогнозы разведывательного сообщества никогда не подвергались систематической оценке. Вместо этого существует ответственность за процесс: разведывательным аналитикам говорят, что они должны делать, когда проводят исследования, думают и оценивают ситуацию, и они несут ответственность за соответствие этим стандартам. Рассматривали ли вы альтернативные гипотезы? Искали ли вы контрдоказательства? Это все разумно, но суть прогнозирования не в том, чтобы проставить галочки во всех пунктах списка «как делать прогноз», а в том, чтобы предвидеть будущее. Ответственность за процесс, а не за результат — это как если бы от врачей требовали, чтобы они мыли руки, осматривали пациента и думали обо всех симптомах, но не проверяли при этом, как работает назначенное ими лечение.

Разведывательное сообщество не одиноко в таком подходе к работе. Количество организаций, которые производят или покупают прогнозы, не заботясь о том, чтобы проверить их на точность, просто ошеломляет. Но благодаря шоку от катастрофы, которая случилась с предсказанием ОМП в Ираке, а также тычку со стороны комиссии Государственного совета по исследованиям и усилиям некоторых преданных своему делу чиновников, РС решило что-нибудь по этому поводу предпринять. А именно IARPA решило. Агентство передовых исследований в области разведки очень мало кому известно за пределами разведывательного сообщества. И это неудивительно. В этом агентстве нет шпионов и приключений, нет там и аналитиков, которые интерпретируют информацию. Его работа — организовывать и поддерживать исследования с высоким риском, но и высокой отдачей, которые повысили бы возможности РС. В этом IARPA похоже на DARPA, но последнее гораздо более знаменито, потому что оно крупнее, дольше существует и часто финансирует высокие технологии. Большинство разведывательных исследований не столь экзотично, хотя может иметь такую же важность для национальной безопасности.

Летом 2010 года два официальных представителя IARPA, Джейсон Мэтни и Стив Рибер, навестили Беркли. Мы с Барбарой Меллерс встретились с ними в отеле с видом на Сан-Франциско — настоящей приманкой для туристов. Новости, которыми они поделились, были такими же прекрасными, как открывавшаяся из окна панорама. Они планировали претворить в жизнь главную рекомендацию заключения Государственного совета по исследованиям — а я-то с уверенностью предсказал, что эта рекомендация благополучно покроется пылью. IARPA решила спонсировать масштабный турнир, чтобы выяснить, кто сможет изобрести лучшие методы для производства прогнозов, подобных тем, которые разведывательные аналитики делают каждый день. Сбежит ли президент Туниса в уютное изгнание в течение ближайшего месяца? Унесет ли начавшаяся эпидемия птичьего гриппа жизни более десяти человек в ближайшие шесть месяцев? Упадет ли евро ниже отметки 1,20 доллара в течение года?

IARPA искала вопросы в обитаемой зоне сложности — не такие простые, чтобы на них мог ответить любой внимательный читатель New York Times, но и не до такой степени сложные, что на них не мог ответить ни один человек на планете. IARPA считала, что в обитаемой зоне можно будет найти новых талантливых прогнозистов и протестировать новые методы культивирования талантов. Будущий турнир не должен был походить на проведенное мною ранее исследование EPJ: самые большие временные рамки в нем предполагались меньше самых маленьких в моем. IAPRA не хотело тратить время и заставлять людей делать то, что, как мы теперь знаем, просто невозможно. Человеческое зрение никогда не сможет распознать нижнюю строчку таблицы Снеллена со стометрового расстояния. И как бы вы ни упражняли глазные мышцы, вы этого не измените. Как показало EPJ и другие исследования, человеческая система мышления никогда не сможет предсказать поворотные моменты в жизни людей и государств на несколько лет вперед, и никакие героические поиски суперпрогнозистов этого не изменят.

План IARPA заключался в том, чтобы с помощью турниров стимулировать лучших исследователей делать точные вероятностные оценки для вопросов из обитаемой зоны. Команды исследователей будут соревноваться друг с другом и с независимой контрольной группой. Команды должны обойти общий прогноз («мудрость толпы») контрольной группы, причем с отрывом, который мы все тогда сочли устрашающим. IARPA хотело, чтобы за первый год команды превзошли этот стандарт на 20 %, а к четвертому году отрыв уже должен был достичь 50 %.

Но это было только частью плана. Внутри каждой команды исследователи могли проводить эксперименты в стиле Арчи Кокрана, чтобы определить, что́ на самом деле работает против внутренних контрольных групп. Например, исследователи думают, что базовый тренинг поможет улучшить точность прогнозистов. Но если они проведут тренинг всем прогнозистам, что это докажет? Если их точность возрастет, это может быть благодаря тому, что тренинг сработал. Или вопросы стали легче. Или прогнозистам просто повезло. Если же точность снизится, это может быть из-за того, что тренинг возымел обратный эффект, или, возможно, точность без тренинга снизилась бы еще сильнее. Не было бы ни одного способа это выяснить. Узнаете проблему? Та самая, с которой сталкивались врачи в течение всей истории медицины. Арчи Кокран увидел решение: прекратить притворяться, что ты что-то знаешь, и начать эксперименты. Тренинг можно было провести с одной случайно выбранной группой прогнозистов и не проводить с другой. Все остальные факторы не должны меняться. Затем сравниваются результаты. Если прогнозисты, прошедшие тренинг, стали более точными, чем не прошедшие, значит, он сработал.

Возможности исследований ограничивались только воображением, но, чтобы их реализовать, нам нужно было большое количество прогнозистов. Мы с коллегами распространили информацию о проекте через блоги и профессиональную сеть: «Хотите ли вы предсказывать будущее мира? У вас есть шанс! И вам даже не нужно выходить из дома: просто уделяйте каждый день какое-то время политически-экономическим загадкам и выдвигайте ваши лучшие предположения». Наши общие усилия не пропали даром. За первый год в проект записалось несколько тысяч добровольцев. Из них 3200 прошли нашу начальную серию психометрических тестов и приступили к работе. Мы, как я уже говорил, назвали нашу команду исследователей и всю программу «Проект „Здравое суждение“».

Исследования подобного масштаба стоят много миллионов долларов в год. Но не это делало инициативу IARPA такой дерзкой по бюрократическим меркам. В конце концов, ежегодный бюджет разведывательного сообщества около 50 миллиардов долларов — это больше, чем ежегодный ВВП большинства стран. Рядом с такой горой денег стоимость турнира IARPA выглядела скромным муравейником. Нет, дерзость крылась в том, что проект мог выявить.

Вот одно из возможных открытий: представьте себе, что вы собрали пару сотен обычных людей для предсказания геополитических событий. Вы видите, как часто они редактируют свои прогнозы и какова точность этих прогнозов, и используете эту информацию, чтобы отобрать около сорока лучших. Затем вы просите всех делать много прогнозов. На этот раз рассчитываете общий прогноз группы — «мудрость толпы», — но с дополнительной нагрузкой, данной сорока лучшим прогнозистам. Затем вы вносите в прогноз окончательную поправку — «экстремизируете» его, то есть сдвигаете ближе к 100 или к 0 %. Если в прогнозе указывается 70 % вероятности, вы можете повысить процент, скажем, до 85. Если 30 % — уменьшить до 15.

А теперь представьте, что прогнозы, которые вы делаете таким образом, обходят по точности прогнозы остальных групп и все доступные методы, зачастую с большим отрывом. Ваши прогнозы превосходят даже те, которые выдают профессиональные разведывательные аналитики, имеющие доступ к секретной информации, — с отрывом, который тоже секретен.

Подумайте, каким шоком для профессионалов разведки, которые всю свою жизнь занимаются предсказанием геополитических событий, могло бы стать поражение, нанесенное несколькими сотнями обычных людей и небольшим количеством простых алгоритмов.

И это действительно произошло. Я описал метод, который мы использовали, чтобы победить в турнире IARPA. В этом методе нет ничего ослепительно инновационного. Даже прием экстремизации основан на довольно-таки простом принципе: когда комбинируются суждения большой группы людей, чтобы рассчитать «мудрость толпы», собирается вся полезная информация, распределенная между всеми этими людьми. Но никто из них не имеет доступа ко всей информации. Один человек знает часть, другой знает еще немного и т. д. Что случится, если этим людям дать всю информацию? Они станут более уверенными — и изменят вероятность своих прогнозов ближе к 100 или 0 %. И если вы тогда рассчитаете «мудрость толпы», она тоже станет более экстремальной. Конечно, невозможно дать каждому человеку всю информацию, поэтому мы экстремизируем, симулируя то, что случилось бы, если бы мы это сделали.

Благодаря IARPA мы теперь знаем, что несколько сотен обычных людей и обычная математика могут не просто соревноваться с профессионалами, находящимися на службе многомиллиардной организации, но и превосходить их.

И это только одно из тревожных открытий, которое спровоцировала IARPA, решив провести турнир. А что, если бы турнир выявил существование обычных людей, которые могут и безо всякой магии алгоритмов обходить РС? Представьте, какая бы это была угроза.

Даг Лорч, седобородый лысеющий очкарик, на вид совершенно не представляет угрозы. Он выглядит как программист — и он действительно был программистом в IBM. Сейчас он на пенсии. Живет в тихом районе Санта-Барбары с женой-художницей, которая пишет чудесные акварели. Его аватарка в «Фейсбуке» — уточка. Даг любит кататься на своем маленьком красном кабриолете Miata по солнечным улицам, наслаждаясь калифорнийским ветерком, но целыми днями этим заниматься не будешь. У него нет специальных знаний в международных отношениях, но есть здоровое любопытство по поводу того, что происходит в мире. Он читает New York Times и может найти на карте Казахстан, так что он вызвался участвовать в проекте «Здравое суждение». Раз в день, примерно на час, его столовая превращается в центр прогнозирования. Он открывает свой ноутбук, читает новости и пытается предугадать судьбы мира. В первый год Даг ответил на 104 вопроса из серии «Дадут ли Сербии официальный титул кандидата на вступление в ЕС к 31 декабря 2001 года?» и «Превысит ли твердая цена золота на Лондонском рынке (в US долларах за унцию) 1850$ к сентябрю 2011 года?».

Это крупный объем прогнозирования, но на самом деле Даг делал гораздо больше. В исследовании EPJ я просил экспертов выдать только один прогноз на каждый вопрос и позже оценивал результат. Однако в турнире IARPA прогнозисты могли уточнять свои прогнозы в режиме реального времени. То есть если прогнозистке впервые поступал вопрос с временным лимитом на полгода в будущее, она могла сделать изначальный прогноз, что событие, допустим, произойдет за эти шесть месяцев с вероятностью 60 %. Но на следующий день в новостях она могла услышать что-то, что убеждало ее изменить вероятность на 75 %. С целью подсчета баллов эти прогнозы позже засчитывались за отдельные. Если за неделю не происходило ничего, что могло бы заставить прогнозистку поменять мнение, прогноз оставался на 75 % в течение этих семи дней. Затем она могла узнать новую информацию, которая заставила бы ее снизить вероятность до 70 % — и прогноз оставался на этой позиции до следующего изменения. Такой процесс продолжался в течение всего полугода, пока вопрос не закрывался. В этот момент все ее прогнозы складывались, подсчитывались — и выводился результат Брайера для данного вопроса. И это только один вопрос, а за четыре года было задано почти 500 вопросов на тему международных отношений, и тысячи прогнозистов — участников GJP произвели значительно более одного миллиона прогнозов на будущее. Но даже на индивидуальном уровне числа складывались очень быстро. Только за первый год Даг Лорч сделал примерно тысячу отдельных прогнозов. Точность Дага была такой же впечатляющей, как объем работы. К концу первого года общий результат Брайера у Дага был 0,22, что позволило ему занять пятое место среди 2800 участников проекта «Здравое суждение». Напоминаю, что результат Брайера измеряет разницу между прогнозами и реальностью, где 2,0 означает, что ваши прогнозы — полная противоположность реальности, 0,5 — то, что получается при произвольном угадывании, и 0 — идеальная меткость. Так что 0,22 — это для начала впечатляющий результат, учитывая сложность вопросов. Взять, к примеру, такой, заданный 9 января 2011 года: «Произойдет ли в Италии реструктуризация или дефолт к 31 декабря 2011 года?» Сейчас мы знаем, что правильный ответ на этот вопрос — нет. Чтобы получить 0,22, среднестатистический прогноз Дага на этот вопрос в течение всех одиннадцати месяцев должен был быть «нет с примерно 68 % вероятности» — очень неплохо, учитывая волны финансовой паники, которые захлестывали еврозону в этот период. И Даг должен был быть столь же точным в среднем по всем остальным вопросам.

На второй год Даг присоединился к команде суперпрогнозистов и показал даже лучший окончательный результат Брайера — 0,14, что сделало его лучшим прогнозистом из всех 2800 добровольцев. Он даже обошел на 40 % рынок прогнозирования, на котором трейдеры покупают и продают фьючерсные сделки на исходы этих же вопросов. Он был единственным человеком, который обошел алгоритм экстремации. И Даг не просто превзошел «мудрость толпы» контрольной группы — он побил ее на 60 %, а это означает, что он в одиночку побил четырехлетнюю цель, поставленную IARPA перед многомиллионными исследовательскими программами, которые могли пользоваться любым трюком из руководства по прогнозированию, чтобы улучшить свою точность.

По любым человеческим стандартам результаты Дага Лорча невероятно хороши. Единственный способ заставить его выглядеть обыденно — это сравнить с божественным всезнанием, результатом Брайера 0, а это все равно что умалить талант Тайгера Вудса во времена расцвета его спортивной карьеры из-за того, что он не всегда мог попасть в лунку с одного удара.

Успехи превратили Дага Лорча в угрозу. Ведь он — человек без соответствующего опыта и образования, безо всякого доступа к секретной информации. Единственной оплатой, которую он, как и все остальные добровольцы к концу каждого сезона, получил, был подарочный сертификат Amazon на 250 долларов. Даг Лорч — обычный пенсионер, который, вместо того чтобы коллекционировать марки, или играть в гольф, или строить модели самолетов, стал делать прогнозы — и оказался настолько в этом деле хорош, что практически не оставил возможности опытному разведывательному аналитику — с зарплатой, допуском к секретным материалам и рабочим местом в штаб-квартире ЦРУ — его превзойти. Кто-нибудь может поинтересоваться, почему США тратят миллиарды долларов каждый год на геополитическое прогнозирование, если вместо этого можно подарить Дагу сертификат — и пусть себе этим занимается.

Конечно, если бы Даг Лорч был уникально одаренным оракулом, он бы не представлял большой угрозы для статус-кво. Один человек может сделать ограниченное количество предсказаний. Но Даг не уникален. Мы уже встречались с Биллом Флэком, бывшим сотрудником Министерства сельского хозяйства из Небраски. Из числа 2800 добровольцев было еще 58 человек, которые заняли верхние позиции в итоговых таблицах первого года. Они стали нашим первым классом суперпрогнозистов. Их коллективный результат Брайера составил 0,25 — в сравнении с 0,37 остальных прогнозистов. И этот разрыв еще сильнее увеличился за последующие годы, так что к концу четырехгодичного турнира суперпрогнозисты обошли других участников на 60 %. Еще один критерий качества работы суперпрогнозистов — то, как далеко они могли заглядывать в будущее. В течение всех четырех лет турнира суперпрогнозисты заглядывали вперед на триста дней точнее, чем обычные прогнозисты заглядывали на сто. Другими словами, обычным прогнозистам нужно было утроить свое предвидение, чтобы смотреть на то же расстояние, которое доступно суперпрогнозистам.

Насколько важна разница параметров? Давайте условно скажем, что результат Брайера у обычного прогнозиста равен зрению 0,2. Офтальмолог дает этому прогнозисту очки, которые улучшают его зрение до 0,5. Это улучшение на 60 %. Насколько это важно? 0,5 даже близко не стоит с ястребиным зрением. Но посмотрите на табличку Снеллена на этой странице. Изменение результата с 0,2 до 0,5 приводит к тому, что человек может разглядеть со второго по пятый ряд — и в итоге у него появляется гораздо больше возможностей поймать мяч, узнать друзей на улице, прочитать мелкий шрифт в контрактах и избежать лобовых столкновений. В общем и целом это разница, меняющая жизнь.

А теперь давайте вспомним, что суперпрогнозисты — любители, которые предсказывают глобальные события в свободное время, располагая только той информацией, которую сами смогут накопать. И в то же время они каким-то образом умудрились поднять планку настолько высоко, что даже профессионалам стало сложно ее перепрыгнуть, не говоря уже о том, чтобы сделать это с отрывом, который оправдывал бы их офисы, зарплаты и пенсии. Конечно, было бы замечательно провести прямое сравнение суперпрогнозистов и разведывательных аналитиков, но такая информация будет строго охраняться. Однако в ноябре 2013 года редактор Washington Post Дэвид Игнатиус сообщил, что «участник проекта» сказал ему, что суперпрогнозисты «показали результат в среднем на 30 % лучший, чем аналитики разведывательного сообщества, которые могут читать перехваченную и прочую засекреченную информацию».

IARPA знало, что такое может случиться, когда устроило турнир, именно поэтому его решение так необычно. Тестирование, очевидно, может быть в интересах организации, но организация состоит из людей с собственными интересами, из которых самый явный — это сохранение и упрочение комфортного статус-кво. Как знаменитые и прославленные эксперты категорически не желают рисковать репутациями в ходе публичной проверки точности их предсказаний, точно так же и ключевые игроки внутри организаций вряд ли захотят попробовать свои силы в турнирах прогнозирования, если это будет означать, что их суждения подвергнутся проверке. Боб, сидящий в кресле генерального директора, не захочет знать, что какой-то экспедитор по имени Дэйв лучше прогнозирует состояние рынка, чем он сам, — не говоря уже о том, чтобы это узнали другие. Однако же IARPA пошло именно на такой шаг: поставило миссию разведывательного сообщества выше интересов конкретных членов этого сообщества. Во всяком случае, тех, которые не хотели раскачивать бюрократическую лодку.

Цель аргументов, которые здесь приведены, — убедить читателя. Но я надеюсь, что вы не убеждены по поводу этих суперпрогнозистов. Пока еще. Представьте, что я попросил каждого из моих 2800 добровольцев предсказать, как упадет монетка, которую собираюсь подбросить: орлом или решкой. Они предсказывают. Я бросаю монетку и записываю, кто был прав. Повторяю процедуру 104 раза (количество прогнозов, сделанных за первый год турнира). Результаты будут выглядеть как классическая гауссова кривая:

Абсолютное большинство моих прогнозистов верно предсказали, как упадет монета, примерно в 50 % случаев — их можно найти в середине кривой. Но некоторые выдали другие результаты. Кто-то в основном ошибался (левая часть кривой), кто-то в основном угадывал верно (правая часть кривой). Что эти экстремальные результаты говорят нам о мастерстве людей, которые их получили? Если вы не верите в экстрасенсорику, то ничего. Тут нет никакого мастерства. Человек, правильно предсказывающий, как упадет монетка, не демонстрирует способность к прогнозированию падения монетки — не важно, сколько раз он это сделает, один или сто. Это все — чистая удача. Конечно, нужно много удачи, чтобы правильно угадать 70 % из 104 подбрасываний, и если в вашей игре участвовал только один угадывающий, это было бы крайне маловероятно. Но с 2800 участниками маловероятное становится вполне вероятным.

Это не сложные материи. Но неправильно интерпретировать случайность очень легко. У нас нет для нее интуитивного чувства. Случайность невидима с ракурса «за кончиком носа». Мы можем ее увидеть, только если посмотрим со стороны.

Психолог Эллен Лэнгер продемонстрировала, как плохо мы воспринимаем случайность, в серии экспериментов. В одном она попросила студентов Йельского университета поучаствовать в игре «Орел или решка» и угадать, как упадет подброшенная кем-то тридцать раз монетка. Студенты не могли видеть, как монетку подбрасывают, но им после каждого броска сообщали результаты. Результаты, правда, были подтасованы: у всех студентов оказался одинаковый результат — 15 угадываний и 15 промахов, но при том половине студентов сказали, что они угадали первые несколько раз подряд, в то время как другие начали с череды промахов. Затем Лэнгер спросила у студентов, как, по их мнению, у них получится, если эксперимент повторить. Студенты, которые начали с череды угадываний, имели завышенное представление о своих способностях и заявили, что снова будут блистать. Лэнгер назвала это «иллюзией контроля» и «иллюзией предсказания». Подумайте о контексте: в эксперименте участвовали студенты элитного университета, которые знали, что их интеллектуальные способности тестируют с помощью занятия, являющегося воплощением случайности. Как написала Лэнгер, можно было ожидать от них «сверхрациональности». Однако первый же результат, с которыми столкнулись студенты, обманул их и заставил искренне верить в то, что они могут предсказать случайные итоги.

За пределами лабораторий Йельского университета иллюзии подобного рода — обычное дело. Взять хотя бы деловые новости по телевизору, где говорящих голов часто представляют, упоминая их драматические успехи в прогнозировании: «Педро Зифф предсказал обвал 2008 года!» Это делается для укрепления их репутации, чтобы мы захотели узнать их следующий прогноз. Но даже если предположить, что предыдущий их прогноз был успешным — а это далеко не всегда соответствует действительности, — нам это практически ничего не говорит о точности гостя, как поняли бы зрители, если бы включили ненадолго мыслительную систему 2. Даже играющий в дартс шимпанзе может попасть в яблочко, если бросит достаточное количество дротиков. И любой может запросто «предсказать» очередной обвал биржевого рынка, если постоянно будет предрекать, что тот вот-вот обвалится. В то же время многие люди серьезно воспринимают эти пустые заявления.

Еще один вариант заблуждений — выделить необыкновенно успешного человека, показать, что совершенное им было крайне маловероятно, и заключить, что ему или ей просто не могло настолько повезти. Такое часто происходит в новостях, посвященных Уолл-стрит. Кто-нибудь обходит рынок шесть или семь лет подряд, журналисты пишут биографию великого инвестора, рассчитывают, как маловероятно добиться таких результатов исключительно благодаря удаче, и триумфально объявляют, что это — доказательство мастерства. Ошибка? Они игнорируют факт: огромное количество людей пыталось сделать то, что удалось этому великому. Если их было множество тысяч, вероятность, что кому-то настолько повезет, резко увеличивается. Подумайте о победителе в лотерее. Фантастически маловероятно, что один конкретный билет, зачастую из множества миллионов, выиграет главную лотерею, — но мы не думаем, что победители в лотерею обладают высоким искусством выбора билетов, потому что знаем: продаются миллионы билетов, и существует большая вероятность, что где-нибудь кто-нибудь купит выигрышный.

Похожую ошибку можно найти, если покопаться в нераспроданных тиражах бизнес-книг: корпорация или генеральный директор в ударе, успех следует за успехом, деньги гребутся лопатой, а журналы пестрят льстивыми биографиями. Что дальше? Неизбежно появляется книга, перечисляющая эти успехи и уверяющая читателей, что они добьются таких же, если просто будут делать то же, что делали эта корпорация или генеральный директор. Истории могут быть правдивыми или сказочными, но понять это невозможно. Ведь подобные книги редко предоставляют убедительные доказательства того, что именно перечисленные качества или действия привели к счастливым результатам. И уж совсем маловероятно, что к таким же счастливым результатам придут те, кто будет стараться им подражать. И очень редко в таких книгах признают, что в дело мог вмешаться фактор, находящийся за пределами контроля героя, — а именно удача.

Чтобы не уподобляться этому несчастному жанру, я должен однозначно заявить, что предоставленные до сего момента свидетельства не доказывают, что суперпрогнозисты действительно супер, и уж точно не призывают читателей отправиться в Санта-Барбару и сесть за руль красного кабриолета в надежде научиться предсказывать будущее так же точно, как Даг Лорч. Так что же мы должны думать о Даге и других? Они суперпрогнозисты или суперсчастливчики?

Не торопитесь с ответом. Это еще одна назойливая фальшивая дихотомия — из тех, что жужжат, подобно комарам, вокруг попыток судить о суждениях. Большая часть вещей в жизни включает в себя мастерство и удачу в различных пропорциях. В смеси могут присутствовать практически одна удача и очень малое количество мастерства или практически одно мастерство и совсем немного удачи — а также один из тысячи других возможных вариантов. Из-за такого многообразия очень сложно вычленить, что относится к мастерству, а что — к удаче. Эту проблему глубоко исследовал глобальный финансовый стратег Майкл Мобуссин в своей книге «Уравнение успеха». Но, как заметил Мобуссин, существует элегантное «правило большого пальца», то есть общий принцип, который можно применить к спортсменам и генеральным директорам, биржевым аналитикам и суперпрогнозистам. Он включает в себя так называемую регрессию к среднему значению.

Некоторые статистические концепции одновременно легко понять и легко забыть. Регрессия к среднему значению — одна из них. Вот, например, средний рост мужчины — 173 см. А теперь представьте мужчину, рост которого 183 см, и подумайте о возможном росте его сына (см. график). Изначальный импульс вашей системы 1 может подсказать вам, что его рост тоже 183 см. Это возможно, но маловероятно. Чтобы понять почему, нужно подключить серьезные рассуждения системы 2. Вообразите, что мы знаем рост всех людей и рассчитали корреляцию роста отцов и сыновей. Мы обнаружим сильное, но неидеальное отношение, корреляцию около 0,5, как видно по линии, идущей через данные, на графике справа. Она говорит нам, что, если рост отца 183 см, нам нужно сделать компромиссное предположение, основанное как на росте отца, так и на среднем росте популяции. Наше лучшее предположение для роста сына будет 178 см. Рост сына уменьшился в сторону среднего значения на 5 см, заняв промежуточную позицию между средним ростом населения и ростом отца.

Но, как я сказал, регрессию к среднему значению так же легко забыть, как и легко понять. Допустим, вы страдаете от хронической боли в спине. День на день не приходится: иногда вы чувствуете себя хорошо, иногда боль терпимая, но периодически становится ужасной. Конечно, именно в тот день, когда испытываете ужасную боль, вы решите обратиться к гомеопату или какому-нибудь другому распространителю медицинских услуг, не подтвержденных научными доказательствами. На следующий день вы просыпаетесь и… чувствуете себя лучше! Лечение работает! Возможно, тут подействовал эффект плацебо — но возможно и то, что вы почувствовали бы себя лучше, даже если бы вообще не получили никакого лечения, благодаря регрессии к среднему значению. Этот факт просто не приходит вам в голову, если вы не задумаетесь как следует, вместо того чтобы прийти к выводу, который делает ваш ракурс «за кончиком носа». Эта скромная маленькая ошибка ответственна за множество вещей, в которые люди верят, хотя им не следовало бы этого делать.

Если же вы будете постоянно держать в голове регрессию к среднему значению, она может стать ценным инструментом. Представьте, что у нас есть 2800 добровольцев, которые второй раз предсказывают исход 104 подбрасываний монетки. Распределение опять будет выглядеть как гауссова кривая с большинством людей в районе 50 % и крошечным количеством, которые правильно предскажут почти все или почти ничего. Но кто на этот раз покажет изумительные результаты? Скорее всего, другие люди. Корреляция между раундами будет близка к нулю, и лучшее предсказание по поводу успеха любого прогнозиста будет в районе 50 % — другими словами, произойдет тотальная регрессия к среднему значению.

Чтобы доказать это безошибочно, представьте, что мы попросим только тех, кто показал изумительно хорошие результаты в первом раунде, повторить упражнение. Благодаря регрессии к среднему значению очень вероятно, что большинство во второй раз покажут результат хуже. И ухудшение будет самым большим у тех, кому в первом раунде больше всего повезло. Угадавшие в первый раз 90 % могут резко понизить свой успех, до 50 %. Конечно, есть вероятность, что несколько человек и во второй раз покажут выдающийся результат, но тот факт, что остальные быстро регрессируют к среднему значению, заставит нас задуматься, прежде чем мы объявим их гуру подбрасывания монеток. Пусть они выполнят это упражнение снова. Рано или поздно удача от них отвернется.

Таким образом, регрессия к среднему значению — незаменимый инструмент в тестировании степени удачи в показателях: Мобуссин отмечает, что медленная регрессия чаще наблюдается в деятельности, в которой доминирует мастерство, быстрая же больше ассоциируется со случайностью.

Чтобы проиллюстрировать это утверждение, давайте представим себе двух людей, участвующих в турнире IARPA, — Фрэнка и Нэнси (см. график). В течение первого года Фрэнк выдавал ужасные результаты, а Нэнси — выдающиеся. На гауссовой кривой внизу Фрэнк помечен нижним показателем 1 %, а Нэнси — верхним показателем 99 %. Если их результаты были вызваны исключительно удачей — как с подбрасыванием монетки, — в течение второго года мы можем ожидать, что Фрэнк и Нэнси регрессируют к среднему значению, т. е. к 50 %. Если их результаты были в равных долях обусловлены мастерством и удачей, мы можем ожидать половинчатую регрессию: Фрэнк поднимется примерно до 25 % (между 1 и 50 %), а Нэнси опустится до 75 % (между 50 и 100 %). Если же их результаты полностью зависели от мастерства, не будет никакой регрессии: Фрэнк проявит себя так же ужасно в течение второго года, а Нэнси будет все так же блистать.

Так и какие же результаты получились у суперпрогнозистов за несколько лет? Это ключевой вопрос. И ответ на него — феноменально хорошие. Например, за второй и третий год мы увидели процесс, обратный регрессии к среднему значению: суперпрогнозисты в общем и целом, включая Дага Лорча, на самом деле увеличили свой отрыв от других прогнозистов.

Но этот результат должен вызвать подозрение у внимательных читателей. Он означает, что за результатами суперпрогнозистов стоит совсем мало удачи — или ее и вовсе нет. А учитывая то, что они предсказывали — и редкую неопределенность, которая кроется в некоторых вопросах, — я сильно в этом сомневаюсь. Некоторые ситуации разрешились в последний момент благодаря внезапным событиям, которые никто с этой стороны от Господа не способен был предугадать. В частности, задавали вопрос на тему, произойдет ли фатальное столкновение судов в Восточно-Китайском море. Ответ оказался утвердительным, причем произошло это в последний момент перед окончанием срока, на который задавался вопрос, когда разозленный капитан рыболовецкого судна пырнул ножом южнокорейского офицера прибрежной охраны, конфисковавшего его судно за нарушение границы. Другие вопросы покоятся на сложных взаимодействиях между системами переменных. Возьмите, к примеру, вопрос о цене на нефть, который давно уже считается могилой для репутаций прогнозистов. Количество факторов, которые могут как повысить цену на нефть, так и понизить ее, огромно: от действий нефтяников в США до действий джихадистов в Ливии и производителей батарей в Силиконовой долине. А количество переменных, которые могут повлиять на указанные факторы, еще больше. Многие из этих случайных связей еще и нелинейные — что, как показал Эдвард Лоренц, означает, что даже такое крошечное действие, как взмах крыльями бабочки, может иметь драматические последствия.

Итак, перед нами загадка. Если удача играет существенную роль, почему мы не наблюдаем существенную регрессию суперпрогнозистов как единой команды к общему среднему значению? Их показатели должен увеличивать какой-то противоположный процесс. И несложно догадаться, какой именно: по окончании первого года, когда была определена первая когорта суперпрогнозистов, мы поздравили их, объявили, что они «супер», и определили их в команды с другими суперпрогнозистами. Вместо регрессии к среднему значению их результаты стали еще лучше. Это позволяет предположить, что награждение статусом «супер» и размещение в командах с интеллектуально стимулирующими коллегами настолько улучшило показатели, что позволило нивелировать регрессию к среднему значению, которую мы бы увидели в противоположном случае. За третий и четвертый год мы «собрали свежий урожай» суперпрогнозистов и сформировали из них элитные команды, что дало нам новые возможности для сравнения сопоставимых понятий. Новые когорты продолжали показывать такие же хорошие или даже лучшие результаты, чем в предыдущий год, опять-таки вопреки гипотезе о регрессии.

Но, как отлично знают работники Уолл-стрит, смертные не могут бесконечно сопротивляться законам статистического тяготения. Постоянство в показателях суперпрогнозистов как группы не может замаскировать неизбежную ротацию некоторых из числа лучших. Корреляция между качеством результатов, выдаваемых отдельными личностями от одного года к другому, составляет около 0,65 — это слегка выше, чем между ростом отцов и сыновей. Так что следует ожидать значительной регрессии к среднему значению. И мы именно это и наблюдаем: каждый год примерно 30 % отдельных суперпрогнозистов выпадают из двух процентов высшего звена. Однако демонстрируется и хорошее постоянство с течением времени: получается, что 70 % суперпрогнозистов остаются суперпрогнозистами. Вероятность, что такое постоянство возникнет в среде тех, кто играет в игру «Орел или решка» (где корреляция от года к году составляет 0 %), — менее 1 к 100 000 000. Однако вероятность такого постоянства в среде суперпрогнозистов (где корреляция составляет 0,65) уже гораздо выше, около 1 к 3.

Все это подводит к двум ключевым выводам. Во-первых, мы не должны относиться к звездам любого года как к несокрушимым, даже к Дагу Лорчу. Удача играет свою роль — и вполне ожидаемо, что и у суперпрогнозистов может выдаться плохой год и они будут демонстрировать обычные результаты, так же как и спортсмены высшей лиги не каждый год находятся в лучшей форме.

Но более существенный — и более обнадеживающий — вывод заключается в том, что суперпрогнозисты не просто удачливы. В основном их результаты отражают мастерство. И это порождает важный вопрос: почему суперпрогнозисты так хороши?