Книга: Думай медленно — предсказывай точно. Искусство и наука предвидеть опасность
Назад: Глава V Суперумные?
Дальше: Глава VII Пожиратели новостей?

Глава VI
Суперкванты?

Мы живем в эпоху Больших данных. Гигантские, процветающие сети информационных технологий производят огромные объемы информации, которая может быть проанализирована специалистами по ее обработке, вооруженными мощными компьютерами и мудреной математикой. Из информации извлекаются порядок и значения. Реальность видится и предвидится, как никогда ранее. И большинство из нас, давайте будем честными перед самими собой, понятия не имеет, как специалисты по обработке данных делают все это. Их работа нас слегка устрашает, если не завораживает. Как в знаменитом высказывании заметил ученый и автор научной фантастики Артур С. Кларк, «любая достаточно продвинутая технология неотличима от волшебства».
Лайонел Левин, доцент математики в Корнелле, — один из таких волшебников. Его резюме включает в себя степень бакалавра математики в Гарварде, степень доктора философии по математике в Беркли, целый ряд престижных грантов и стипендий и еще более длинный ряд научных работ с такими оккультными названиями, как «Автомодельные пределы внутренних агрегативных моделей со множеством источников». Как и ожидается от математических волшебников, он молод. Он окончил Гарвард в том же году, когда разведывательное сообщество решило, что Саддам Хусейн со 100 %-ной вероятностью обладает оружием массового поражения.
А еще Левин — суперпрогнозист. И хоть это и исключительный случай, он подчеркивает основную черту суперпрогнозистов: они все хорошо умеют обращаться с цифрами. Большинство из них отлично справилось с тестом на базовые математические способности, включающим вопросы из серии «Вероятность получить вирусную инфекцию — 0,05 %. Сколько людей из 10 000 будет инфицировано?» (ответ — 5). И математические способности очевидны из их послужных списков. Многие из них имеют образование, связанное с математикой, естествознанием и компьютерным программированием. Даже Джошуа Франкель, режиссер из Бруклина, который сейчас обретается в мире творчества, учился в Нью-Йорке в физико-математической школе, и его первая работа после окончания колледжа включала в себя создание компьютерных визуальных эффектов. Я пока еще не встречал ни одного суперпрогнозиста, который имел бы затруднения с математикой, и большинство из них прекрасно умеют пользоваться числами на практике, что периодически и делают. Когда Билла Флэка просят предсказать что-нибудь вроде курсов обмена валют, он углубляется в их исторические колебания и создает модель, основанную на методе Монте-Карло. Для знатока это базовые вещи. Для всех остальных — что-то столь же экзотическое, как древнеарамейский язык.
На Уолл-стрит математических волшебников называют квантами — и математика, которую они используют, может выглядеть гораздо более эзотерично, чем модели Монте-Карло. Учитывая тягу суперпрогнозистов к информации, было бы логично подозревать, что именно это объясняет их выдающиеся результаты. Алгоритмический пасс рукой, произнесенное шепотом статистическое заклинание — и вуаля! Изумительно точный прогноз! Математикам может понравиться этот вывод, но люди, которые со школы не совершали никаких вычислений, прочитав это, покрылись холодным потом: ведь они только что увидели слово «вычисление», и оно воздвигло между ними и суперпрогнозистами крепостную стену со рвом.
На самом деле не существует ни крепостной стены, ни рва. Хотя суперпрогнозисты и правда периодически создают сложные математические модели или консультируются с другими людьми, это бывает редко. Подавляющее большинство их прогнозов — продукты тщательных размышлений и сбалансированных суждений. «Действительно была парочка вопросов, где мне пригодилась математика», — оглядывается Лайонел Левин на свой опыт прогнозирования, но в остальных случаях он полагается на субъективное суждение: «В основном я занимаюсь балансированием, нахожу релевантную информацию — и решаю, насколько она релевантна, как она должна повлиять на мой прогноз». Неиспользование математики для доцента математики даже предмет гордости. Люди по умолчанию будут предполагать, что его успех основан на профессиональных способностях, считает он, поэтому «я вроде как действую вопреки — стараюсь доказать, что могу быть хорошим прогнозистом, не используя математику».
Однако тот факт, что практически все суперпрогнозисты хорошо обращаются с числами, не просто совпадение. Математические способности действительно помогают, но не потому, что позволяют создавать невероятные математические модели, позволяющие предвидеть будущее. Истина проще, тоньше и гораздо интереснее.
Где Усама?
В начале 2011 года внимание американского разведывательного сообщества привлек странный комплекс сооружений. Он был обнесен высокими стенами, что типично для богатого района пакистанского города Абботтабада. Но обитатели комплекса никому не показывались на глаза — очевидно, и не хотели. Это было необычно. Еще имелись обрывки и отголоски информации, в совокупности свидетельствовавшие о том, что это место — резиденция Усамы бен Ладена. Данное обстоятельство уже приближалось к уникальному.
Неужели действительно, спустя почти десятилетие после событий 9/11, обнаружили лидера террористов? Сейчас ответ на этот вопрос известен всем. Но тогда аналитики его не знали. Каждый должен был прийти к сложному заключению, которое могло повлечь военную операцию во взрывоопасной стране, располагающей ядерным оружием. Эти заключения и их последствия позже были экранизированы в фильме «Цель номер один».
«Я собираюсь встретиться с президентом, и когда посмотрю ему в глаза, мне хотелось бы знать, без всяких экивоков, что каждый из вас думает по этому поводу, — говорит актер Джеймс Гандольфини, играющий директора ЦРУ Леона Панетту в „Цели номер один“. Он сидит во главе стола совещаний и убийственным взглядом смотрит на сотрудников. — Итак, все очень просто. Он там, мать вашу, или не там?»
Первым отвечает заместитель директора. «Мы не работаем с определенностью, — говорит он. — Мы работаем с вероятностью. По моему мнению, существует 60 % вероятности, что это он». Панетта в фильме показывает на следующего. «Согласен, — говорит он. — 60 %». — «Я даю 80 %, — заявляет следующий. — Меня убеждает оперативная маскировка». — «Вы, парни, хотя бы по какому-то поводу можете к одному мнению прийти?» — негодует Панетта. Так он опрашивает всех сидящих за столом, одного за другим. Шестьдесят процентов, восемьдесят, шестьдесят. Панетта откидывается на спинку стула и вздыхает. «Это гребаная куча мнений, а?»
Давайте поставим фильм на паузу. Что больше всего хочет получить Леон Панетта в фильме? Согласие. Он хочет, чтобы все люди за столом пришли к единому мнению и чтобы он сам был уверен, что это мнение верно — или, по крайней мере, что оно лучшее из возможных. Большинство людей в подобной ситуации чувствовали бы себя так же. Согласие придает уверенности. Его отсутствие… пусть мы не используем цветистый язык, которым выражается вымышленный Панетта, но нам понятны его чувства. Однако вымышленный Панетта не прав. Людей за столом попросили высказать свое независимое суждение по поводу сложной проблемы и сообщить директору ЦРУ свое искреннее мнение. Даже если бы они все рассматривали одни и те же свидетельства — а на самом деле там наверняка были какие-то вариации, — вряд ли пришли бы к абсолютно одинаковым выводам. Все они разные, с разным образованием, подготовкой, опытом и типом личности. Умный руководитель не станет ждать единого мнения; а если оно появится — это предупреждающий знак, что перед ним результат группового мышления. Разброс суждений — отличное доказательство того, что люди за столом на самом деле думают каждый сам за себя и предлагают уникальный ракурс, под которым сами смотрят на проблему. Вымышленный Леон Панетта должен был прийти в восторг, услышав разные суждения от разных людей. Это была «мудрость толпы» в подарочной упаковке. Все, что ему оставалось сделать, — синтезировать полученные суждения. Для начала хорошо бы подошло обычное усреднение. Или он мог бы совершить взвешенное усреднение — так, чтобы мнения, которым он больше доверяет, оказались бы в финальном заключении более весомыми. В любом случае это глаз стрекозы в процессе работы.
Я спросил настоящего Леона Панетту об этой знаменитой сцене, и он подтвердил, что действительно произошло нечто подобное. «Многие из этих людей были разведывательными аналитиками, которые уже какое-то время участвовали в разведоперациях. В той комнате было много опыта», — вспомнил он. Но не много согласия. Суждения варьировались «от тех, кто считал, что шансы не выше 30–40 %, до людей, которые ставили на 90 % и выше, — и еще было множество мнений между этими величинами». Но настоящий Леон Панетта, бывший конгрессмен, глава администрации при президенте Клинтоне и министр обороны при президенте Обаме, отреагировал на разнообразие мнений совсем не так, как персонаж в фильме. Он его только приветствовал. «Я просил людей вокруг меня говорить мне не то, что, по их мнению, я хотел услышать, а делиться своими искренними мыслями по вопросу», — сказал Панетта. Когда был руководителем администрации президента, он считал сбор и представление разных мнений важнейшей частью своей работы. Настоящий и вымышленный Леон Панетта — полная противоположность друг другу.
А теперь давайте вернемся к фильму. После того как вымышленный Леон Панетта выражает отвращение к разбросу мнений, Майя, главный персонаж «Цели номер один», получает шанс. Все это время она сидела в углу комнаты и кипела от возмущения. «Сто процентов, что он там, — заявляет она. — Ладно, хорошо, 95 %, потому что я знаю, что вас всех пугает определенность. Но на самом деле — сто!» Вымышленный Панетта впечатлен. В то время как все остальные мямлят что-то насчет неопределенности, Майя являет собой воплощение стенобитного тарана. После обнаружения загадочного комплекса сооружений она была настолько уверена, что бен Ладен скрывается именно там, что хотела немедленно разбомбить все в пыль. Неделями, которые тянутся и тянутся без принятия решения о нападении, она фломастером пишет, сколько дней прошло, на стеклянной двери кабинета своего начальника. Мы видим, как она гневно подходит к стеклу и выводит «21» большими красными цифрами, обводя в кружок. Затем она пишет 98, 99, 100 и подчеркивает толстым маркером. Мы чувствуем ее скрученное в пружину нетерпение. Майя права. Бен Ладен там. Не обращайте внимания на остальные мнения.
Вымышленный Панетта разделяет чувства Майи и зрителей. Остальные не желают прямо ответить «да» или «нет», позже говорит он помощнице, потому что они «зашуганные». Степени вероятности — это для слабаков.
Давайте снова нажмем на паузу и поразмышляем, как думает киношный Леон Панетта. Он видит только два варианта: «да, бен Ладен там» и «нет, его там нет». На его ментальном циферблате только два значения, там нет никакого «может быть», не говоря уже о градациях. Судя по тому, как разворачивается действие «Цели номер один», создатели фильма уважают эту позицию. И они рассчитывают на то, что зрители разделят их мнение. Усама бен Ладен там? Да или нет? Это мышление «без экивоков». Так думает Майя, и она права.
Или так кажется, пока вы не задействуете систему 2 и не подумаете еще раз. В реальности мнение Майи необоснованно. Учитывая свидетельства, которыми она располагала, человек в комплексе сооружений мог оказаться бен Ладеном. Кто-то может поспорить, что вероятность этого очень высока. Но 100 %? Абсолютная уверенность? Никаких шансов, что это не он? Нет. Человек в комплексе мог оказаться другим террористом. Или наркодилером, афганским полевым командиром, торговцем оружием, а возможно, богатым пакистанским бизнесменом, страдающим от параноидальной шизофрении. Даже если бы вероятность каждой из альтернатив крошечная, вместе они бы легко сложились в 1, 2, 5 % и больше — так что мы точно не могли быть уверены на 100 %, что это Усама бен Ладен. Имеют ли значение такие тонкие различия? Давайте вспомним, что разведывательное сообщество в свое время было на 100 % уверено, что Саддам Хусейн располагал оружием массового поражения. Так что ответ — да, имеют.
Конечно, пока Майя гневно расхаживала туда-сюда, существовала объективная правда. Бен Ладен действительно был там. Убеждение Майи оказалось верным, но оно было более экстремальным, чем свидетельства, которые могли его поддержать; таким образом, ее мнение было «верным, но необоснованным» — зеркальное отражение «неверной, но обоснованной» позиции, которую бы заняло разведывательное сообщество, если бы снизило свой «верняк» до 60 или 70 % по поводу Саддама Хусейна и ОМП. Итоговый результат — обернувшийся удачей для Майи и неудачей для разведсообщества — ничего не меняет.
Настоящий Леон Панетта понимает подобные парадоксы процесса-результата. И он гораздо меньше любит определенность, чем вымышленный Леон Панетта. «Ничто не может быть на 100 % точным», — несколько раз повторил он во время интервью.
Настоящий Леон Панетта мыслит как суперпрогнозист.
Третье место действия
Похожая сцена изображена в книге, написанной журналистом Марком Боуденом. Только на этот раз человек во главе стола — не вымышленный Леон Панетта, а настоящий Барак Обама.
Сидя в легендарном зале оперативных совещаний в Белом доме, Обама слушал высказывания различных офицеров ЦРУ по поводу личности человека в загадочном пакистанском здании. Лидер команды офицеров ЦРУ заявил: он практически уверен в том, что это бен Ладен. «Он обозначил свой уровень уверенности как 95 %», — написал Марк Боуден в книге «Финиш: убийство Усамы бен Ладена», в которой рассказывается о принятии решения, стоявшего за одним из самых успешных разведывательно-диверсионных рейдов в истории США. Второй офицер ЦРУ согласился с первым. Но остальные смотрели на ситуацию менее оптимистично. «Четыре старших офицера Директората национальной разведки сделали обзор дела и написали свои мнения, — приводит информацию Боуден. — Уверенность большинства — около 80 %. Однако у некоторых она была 40 или даже 30 %». Еще один офицер сказал, что на 60 % уверен: бен Ладен находится в том комплексе.
«Понятно, это все вопрос вероятности», — сказал в ответ президент, согласно изложению Боудена.
Боуден делает свое замечание: «С тех пор как агентство почти десятилетие назад сделало неверное заключение — о том, что Саддам Хусейн прятал оружие массового поражения, что запустило долгую и очень дорогостоящую войну, — ЦРУ ввело почти комическую процедуру взвешивания определенности… Это было похоже на попытки включить в здравые суждения математические формулы». Боудену определенно не понравилось, что ЦРУ использовало числа и степени вероятности. Так же, как и Бараку Обаме, если верить Боудену. «В итоге все это оборачивается, как обнаружил президент и как он потом мне объяснил, не большей определенностью, а большей неразберихой».
Боуден сообщил, что в более позднем интервью Обама сказал: «В этой ситуации тебе начинают предлагать вероятности, которые маскируют неуверенность, вместо того чтобы предоставить полезную информацию». Затем автор книги написал, что «для Обамы не составляло сложности признаться в этом самому себе. Если бы он начал действовать, основываясь на полученной информации, это была бы просто-напросто ставка в азартной игре. Крупная ставка».
Выслушав большой разброс мнений, Обама обратился ко всем собравшимся в комнате: «Это пятьдесят на пятьдесят, — сказал он, и все замолчали. — Послушайте, ребята, это все равно что подбросить монету. Я не могу принять решение в условиях, когда у нас нет большей уверенности».
Боуден, очевидно, восхищается выводом Обамы. Но прав ли он?
Предоставленная информация обрывочна, но, судя по ней, общая оценка офицеров ЦРУ — «мудрость толпы» — была около 70 %. А Обама заявил, что вероятность «пятьдесят на пятьдесят». Что он имел в виду? Тут нужно быть осторожными, потому что у нас есть несколько вариантов.
Один из вариантов: Обама буквально имел в виду то, что сказал. Он услышал разброс мнений и остановился на 50 % как самом приближенном к действительности числе. В таком случае он неправильно воспринял информацию. Коллективное суждение выдало бо́льшую вероятность, и, если основываться на рассказе Боудена, у него не было оснований для того, чтобы счесть 50 % более точным вариантом. Это просто число, взятое из воздуха.
Но, как показали исследования, люди, которые выбирают понятие «50 %» или «пятьдесят на пятьдесят», часто не имеют этого в виду буквально. Они хотят сказать: «я не уверен», или «я не знаю точно», или просто «может быть». Учитывая контекст, подозреваю, что Обама имел в виду именно это.
В таком случае у его мнения могут быть основания. Обама выступал в роли руководителя, принимающего важнейшее решение. Он вполне мог считать, что должен приказать нанести удар, если есть любая существенная вероятность, что бен Ладен находится в комплексе сооружений. Неважно, какой была бы эта вероятность: 90, 70 или даже 30 %. Так что, вместо того чтобы тратить время на выяснение точной цифры, он просто прекратил дискуссию и двинулся дальше.
Конечно, я не знаю, о чем на самом деле думал Обама. Существует и еще одно возможное объяснение, которое гораздо сложнее доказать. Как и вымышленного Леона Панетту, Обаму мог встревожить большой разброс мнений. Отсутствие согласия могло заставить его подумать, что все эти мнения не заслуживают доверия. Поэтому он отошел на позицию, которую теоретики вероятности называют «априорное незнание», то есть состояние, в котором вы находитесь до того, как узнаете, упадет монетка орлом или решкой или, в этом случае, будет ли Обама в спальне, когда к нему постучатся «морские котики» из ВМС. И это была ошибочная позиция, потому что в данном случае он не воспользовался всей предоставленной информацией полностью. Но в отличие от вымышленного Леона Панетты, ментальный циферблат Обамы содержал не только два значения, но еще и третье: может быть. На нем он и остановился.
Изложение Боудена напомнило мне фразу, сказанную вскользь примерно тридцать лет назад Амосом Тверски. Мы тогда входили в состав комиссии Национального совета по исследованиям, которой дали задание предотвратить ядерную войну. В вопросе вероятностей, сказал он тогда, у большинства людей есть только три установки: «случится», «не случится» и «может быть, случится». У Амоса было слегка хулиганское чувство юмора. Также он чувствовал абсурдность деятельности академической комиссии по спасению мира. Так что я на 98 % уверен, что он шутил. И на 99 % уверен, что его шутка отражает правду о человеческих суждениях.
Вероятность в каменном веке
Люди справлялись с неопределенностью с самого зарождения человечества. И все это время мы не имели доступа к статистическим моделям неопределенности, потому что их не существовало. Лучшие умы начали серьезно обдумывать вопрос вероятности на удивление поздно по историческим меркам — как гласит одно из мнений, только после публикации работы Якоба Бернулли Ars Conjectandi в 1713 году.
До этого у людей была только одна возможность — полагаться на перспективу «за кончиком носа». Вы видите тень, двигающуюся в зарослях. Стоит ли беспокоиться? Вы пытаетесь представить льва, нападающего из кустов. Если образ мгновенно появляется в голове — бегите! Как мы увидели во второй главе, так работает система 1. Если отклик достаточно силен, может возникнуть бинарное заключение: «Да, это лев» и «Нет, это не лев». Если он слабее, появится неопределенная средняя возможность: «Возможно, это лев». Что этому ракурсу, ракурсу «за кончиком носа», не под силу — так это суждение настолько тонкое, что можно делать различие между, скажем, 60 и 80 % вероятности: это лев. Такой процесс требует медленного, сознательного, осторожного обдумывания. Конечно, когда имеешь дело с серьезными проблемами выживания, как наши предки, такие тонкие различия обычно не нужны, даже могут быть нежелательны. Циферблат с тремя значениями дает четкие, быстрые указания. Это лев? ДА = беги! МОЖЕТ БЫТЬ = не теряй бдительности. НЕТ = расслабься. Возможность делать различие между 60 и 80 % вероятности мало что тут может добавить. На самом деле подобный тонкий анализ может замедлить принятие решения — и привести к гибели.
В этом свете предпочтение ментальных циферблатов с двумя и тремя значениями имеет смысл. И многие исследования подчеркивают этот пункт. Мать, готовая заплатить определенную сумму, чтобы снизить риск заболевания ее ребенка серьезной болезнью с 10 до 5 %, возможно, будет готова заплатить в 2–3 раза больше, чтобы снизить риск с 5 до 0 %. Почему снижение риска с 5 до 0 % гораздо ценнее снижения с 10 % до 5 %? Потому что оно дает больше, чем снижение риска на 5 %, — оно дает определенность. Как 0, так и 100 % имеют в нашей голове гораздо больший вес, чем должны бы были согласно математическим моделям экономистов. И опять-таки это неудивительно, если подумать о мире, в котором эволюционировал наш мозг. В нем всегда существовала хотя бы крошечная вероятность, что где-то поблизости скрывается лев. Или змея. Или кто-то с дубинкой, желающий завладеть вашей хижиной. Или что-то еще из бесчисленных угроз, с которыми сталкивались люди. Но наши предки не могли постоянно находиться в состоянии бдительности. Это бы слишком нагружало мозг. Им нужны были зоны, свободные от тревог. Решение? Игнорируйте небольшие вероятности и используйте как можно чаще циферблаты с двумя значениями. Лев или есть, или его нет. Только когда между этими двумя значениями оказывается что-то неоспоримое, которое вынуждает признать третье «деление шкалы», мы поворачиваем стрелку нашего ментального циферблата на «может быть».
Гарри Трумэн однажды пошутил, что хотел бы послушать отчет одноглазого экономиста, потому что ему надоело слышать постоянное «с одной точки зрения», «с другой…», — это сильно напоминает шутку Тверски. Мы хотим ответов. Уверенное «да» или «нет» гораздо больше нас удовлетворяет, чем «может быть», и этот факт объясняет, почему СМИ так часто обращаются к ежам, всегда уверенным в том, что произойдет, какими бы плохими ни оказались в итоге их прогнозы.
Конечно, иногда можно предпочитать уверенные суждения. При прочих равных наши ответы на вопросы вроде «Больше ли во Франции людей, чем в Италии?» скорее будут верными, когда мы уверены в их правильности, чем когда не уверены. Уверенность и точность находятся в прямой корреляции. Но исследования показывают, что мы преувеличиваем ее размер. Например, люди доверяют более уверенным финансовым аналитикам, чем менее уверенным, даже если их послужные списки равны. И ставят знак равенства между уверенностью и компетентностью, что принижает высказывание прогнозиста вроде: это имеет средние шансы на то, чтобы произойти. Как отмечено в одном исследовании, люди «воспринимают такие суждения как свидетельства, что прогнозист либо некомпетентен и не знает фактов конкретной ситуации, либо слишком ленив, чтобы тратить усилия на сбор информации, которая придала бы ему больше уверенности».
Эта разновидность примитивного мышления в значительной степени объясняет, почему так много людей столь плохо воспринимают вероятность. Что-то может быть списано на простое невежество и непонимание — как, например, когда люди думают, что «70 % вероятности дождя в Лос-Анджелесе» означает «дождь будет идти 70 % дня, а 30 % идти не будет», или «будет идти дождь над 70 % Лос-Анджелеса, но не над остальными 30 %», или «70 % прогнозистов думают, что в Лос-Анджелесе пойдет дождь, а 30 % не думают». Но есть и более глубинные причины, скрывающиеся за подобными ошибками. Чтобы точно понять смысл высказывания «есть 70 % вероятности, что завтра пойдет дождь», мы должны понять, что дождь может пойти, а может не пойти и что из 100 дней, в которые предсказана возможность дождя, если прогноз хорош, дождь пойдет в 70 и не пойдет в остальные. Ничего больше нельзя вычеркнуть из нашей природной склонности думать «будет дождь», или «дождя не будет», или, если настаиваете, «возможно, пойдет дождь».
Глубоко противная интуиции природа вероятности объясняет, почему даже умудренные люди часто совершают элементарные ошибки. Когда Дэвид Леонхардт заявил, что рынок прогнозов ошибся, ибо предсказал 75 % вероятности, что закон будет признан неконституционным, а этого не случилось, я с уверенностью предположил, что, если бы кто-нибудь указал ему на ошибку, он бы хлопнул себя по лбу и воскликнул: «Ну конечно!» Мое подозрение подтвердилось позже, когда Леонхардт написал отличную колонку именно об этой ловушке — если прогнозист говорит: существует 74 % вероятности, что республиканцы в ходе предстоящих выборов завоюют контроль над Сенатом, — а они его в итоге не завоевывают, не стоит делать заключение о том, что прогнозист не прав. Ведь «74 % вероятности, что это произойдет» означает также «26 % вероятности, что это не произойдет».
Путаница, которую вызывает ментальный циферблат с тремя значениями, очень распространена. Роберт Рубин, бывший министр финансов, рассказал мне, как он и его тогдашний заместитель Ларри Саммерс часто чувствовали отчаяние от невозможности объяснить высшим политическим кругам Белого дома и Конгресса: 80 % вероятности, что что-то случится, не означает, что это случится точно. «Чуть ли не приходилось стучать по столу, чтобы сказать: „да, существует высокий процент вероятности, но это может и не случиться“, — рассказывал Рубин. — Но люди так мыслят: похоже, высокий процент вероятности они переводят в „это обязательно случится“». Однако если мы выведем этих, по всей видимости, образованных и состоявшихся людей из контекста, посадим их в класс и объясним: утверждение «существует 80 % вероятности, что что-то случится» означает также, что есть 20 % вероятности, что это не случится, — они, скорее всего, закатят глаза и скажут: «Но это же очевидно». Но за пределами классной комнаты, встречаясь с реальными проблемами, эти образованные, состоявшиеся люди возвращаются к своей интуиции. По словам Рубина, только когда шансы приближаются к равным, они легко схватывают, что нечто может и случиться, и не случиться. «Если говоришь, что шансы равны 60/40, люди вроде как понимают, о чем речь».
Амос Тверски преждевременно ушел из жизни в 1996 году. Но если бы он это услышал, он бы улыбнулся.
Вероятность в информационную эпоху
Ученые имеют кардинально иной подход к вероятности.
Они ценят неопределенность или, по крайней мере, принимают ее, потому что в научных моделях реальности определенность — это иллюзия. Пусть Леон Панетта и не ученый, но он идеально это выразил, когда сказал: «Ничто не может быть на 100 % точным».
Наверное, это удивительно. Математик и статистик Уильям Байерс писал:
Большинство людей скорее ассоциируют науку с определенностью. Определенность, считают они, это состояние, не имеющее недостатков, поэтому ничто не может быть лучше абсолютной определенности. Научные результаты и теории как будто бы обещают подобную определенность.
Распространено мнение, что ученые открывают факты и обтесывают их в гранитные таблички. Эта коллекция фактов и есть то, что мы называем наукой. По мере продвижения работы, накапливания фактов неопределенность отодвигается назад. Основная цель науки — полное искоренение неопределенности.
Но это — взгляд на науку XIX века. Одно из самых больших достижений науки XX века — доказательство, что неопределенность невозможно искоренить из реальности. «Неопределенность реальна, — пишет Байерс. — А вот мечта о тотальной определенности — иллюзия». Это истина как на полях научного знания, так и на уровне самой, как сейчас выясняется, его сердцевины. Научные факты, которые для одного поколения ученых выглядят прочными, как скала, могут быть стерты в пыль достижениями следующего поколения. Все научное знание осторожно. Ничто не вырублено в граните.
На практике, конечно, ученые используют язык определенности, но только потому, что не хотят, ссылаясь на какой-то факт, каждый раз включать громоздкое уточнение: «Хотя есть значительное количество свидетельств, поддерживающих этот вывод, и мы воспринимаем их с высокой долей уверенности, существует возможность, пусть и крайне маленькая, того, что новые свидетельства или аргументы могут заставить пересмотреть взгляды на данный вопрос». Но, когда ученые говорят о чем-то «это правда», описанная громоздкая конструкция всегда подразумевается в невидимой сноске — потому что ничто не может быть абсолютно определенным. (И да, моей работы это тоже касается, включая все, что написано в этой книге. Извините.)
Если ничто не определено, значит, циферблаты с двумя и тремя значениями имеют огромные недостатки. «Да» и «нет» выражают определенность. Их необходимо убрать. Единственное значение, которое останется, — «может быть», а ведь именно его люди интуитивно стараются избегать.
Конечно, циферблат с одним значением бесполезен. Это лев? Может быть. Найдут ли полоний в останках Ясира Арафата? Может быть. Человек в загадочном комплексе сооружений — Усама бен Ладен? Может быть. Понятно, что «может быть» нужно разделить на степени вероятности. Один из способов это сделать — использовать неопределенные слова вроде «вероятно» или «маловероятно», но, как мы уже видели, это вызывает опасную двусмысленность, поэтому ученые предпочитают цифры. И градация цифр должна быть настолько тонкой, насколько это в силах прогнозистов. Они могут означать как 10, 20, 30 %, так и 10, 15, 20 % или 10, 11, 12 %… Чем тоньше градация, тем лучше, если она охватывает реальные различия. То есть если предсказывают, что что-то случится с 11 %-ной вероятностью, это действительно происходит на 1 % реже, чем события с 12 %-ной вероятностью, и на 1 % чаще, чем события с 10 %-ной вероятностью. Такой сложный ментальный циферблат — основа вероятностного мышления.
Роберт Рубин — вероятностный мыслитель. Будучи студентом в Гарварде, он посетил лекцию, на которой профессор философии доказывал, что не существует доказуемой определенности, и «его слова совпали со всем, что я и сам думал», сказал он мне. Это стало аксиомой, которой Роберт руководствовался все двадцать шесть лет работы в банке Goldman Sachs, а затем советником президента Билла Клинтона и министром финансов. Неопределенность включена и в название его автобиографии «В неопределенном мире». Отвергая определенность, Рубин воспринимает всё как степени вероятности — и в этом ему нужна максимальная точность. «Когда я встретился с ним впервые, он спросил у меня, примет ли Конгресс законопроект, на что я ответил: „Абсолютно точно“, — рассказал журналисту Джейкобу Вейсбергу молодой референт министерства финансов. — Ему это не понравилось. Теперь я говорю, что вероятность 60 %, и мы еще можем поспорить, на самом деле она 60 % или все-таки 59 %».
Пока он служил в администрации Клинтона — а это была золотая эра взлета акций и рубиномики, — Рубина просто возносили до небес. Как только разразился кризис 2008 года — начали критиковать так же страстно, как до этого хвалили; впрочем, судить, кто он на самом деле — герой, злодей или что-то посередине, — не в моей компетенции. Что мне интересно — так это то, как много людей отреагировало на вероятностное мышление Рубина, изложенное в очерке, опубликованном New York Times в 1998 году. Его сочли поразительным и вызывающе парадоксальным. Профессионалы пришпиливали мысли Рубина относительно мышления на стены своих офисов, рядом с вдохновляющими посланиями и фотографиями детей. «Люди в самых разных обстоятельствах говорили мне, что мой очерк оказал на них большое влияние», — вспоминал он в 2003 году. Такая реакция озадачила Рубина. Сам он думал, что не сообщил ничего удивляющего. Но когда расширил эту тему в своей автобиографии, реакция оказалась такой же. Более десяти лет спустя «после моих выступлений на различных конференциях ко мне все еще подходят люди и говорят: „У меня есть экземпляр вашей книги, вы не могли бы ее подписать?“ или „Меня это действительно заинтересовало и стало иметь значение для меня именно из-за обсуждения вероятностей“, — рассказывает Рубин. — Не могу понять, почему то, что кажется очевидным мне, для других людей оказывается откровением».
Вероятностное мышление и ментальные циферблаты с двумя и тремя значениями, которые для нас более естественны, — это как рыбы и птицы: абсолютно разные существа. Каждое основывается на разном представлении о реальности и о том, как в ней ориентироваться. И тот и другой циферблат могут казаться невероятно странными тем, кто привык мыслить по-другому.
Неуверенные суперпрогнозисты
Роберту Рубину не понадобилось бы «стучать по столу», чтобы объяснить суперпрогнозистам: 80 % вероятности того, что что-то произойдет, означает также 20 % вероятности, что что-то не произойдет. Отчасти благодаря отличным математическим способностям суперпрогнозисты, как и ученые-естественники и математики, тяготеют к вероятностному мышлению.
Осознание непреодолимой неопределенности — сущность вероятностного мышления, но ее сложно измерить. Чтобы сделать это, мы воспользовались разграничением, которое предложили философы, между «эпистемической» и «алеаторной» неопределенностью. Эпистемическая неопределенность — что-то, что мы не знаем, но что познаваемо, по крайней мере в теории. Если надо предсказать, как будет работать загадочная машина, инженеры могут, в теории, вскрыть ее и выяснить это. Одержание верха над механизмами — прототип предсказания реальности, похожей на часы. Алеаторная неопределенность — это не просто что-то, что вы не знаете; это то, что непознаваемо в принципе. Неважно, как сильно вы хотите знать, будет ли идти дождь в Филадельфии через год, неважно, с каким количеством великих метеорологов вы посоветуетесь, — спрогнозировать погоду на год вперед вам не удастся. Тут вы сталкиваетесь с неразрешимой проблемой, похожей на облако неопределенностью, которую невозможно даже в теории устранить. Алеаторная неопределенность всегда обеспечивает присутствие сюрпризов в нашей жизни, как бы тщательно мы все ни планировали. Суперпрогнозисты осознают эту глубокую истину лучше, чем остальные. Когда они чувствуют, что в вопросе содержится непреодолимая неопределенность, как, например, в тех, что касаются курсов валют, они проявляют неизменную осторожность, удерживая свои изначальные оценки внутри пределов теневой зоны «может быть» — между 35 и 65 %, и крайне неохотно выходят за ее пределы. Они знают, что чем «облачнее» видимость, тем сложнее в ней обыграть в дартс того самого шимпанзе.
Еще одно свидетельство типа мышления — фраза «пятьдесят на пятьдесят». Для осторожных вероятностных мыслителей 50 % — всего лишь одно из огромного количества значений, поэтому они будут употреблять его не чаще, чем, скажем, 51 % или 49 %. Прогнозисты, которые используют циферблат с тремя значениями, намного чаще будут выбирать 50 % при оценке степени вероятности, потому что для них 50 % равняется «может быть». Таким образом, от тех, кто часто использует это значение, следует ожидать меньшей точности в прогнозах. Именно это продемонстрировали данные турнира.
Я однажды спросил Бриана Лабатта, суперпрогнозиста из Монреаля, любит ли он читать. Он ответил, что любит — как художественную, так и нехудожественную литературу. В каком процентном соотношении, спросил я. «Я бы сказал, 70 %… — Долгая пауза. — Нет, 65 на 35 нехудожественной к художественной». Удивительная точность для обычного разговора. Даже при составлении официальных прогнозов для турнира IARPA обычные прогнозисты, как правило, не были так точны. Вместо этого они тяготели к десяткам: чаще всего утверждали, что что-то произойдет с вероятностью 30 или 40 %, но не 35 %, не говоря уже о 37 %. Суперпрогнозисты использовали гораздо более тонкую градацию. Одна треть их прогнозов содержит использование единиц в процентной шкале, то есть они обычно тщательно обдумывали вопрос и решали, что вероятность чего-то, скажем, 3, а не 4 %. Как референт министерства финансов, которого его начальник Роберт Рубин научил тонко различать степени вероятности, суперпрогнозисты стараются быть настолько точными, что иногда обсуждают градации, которые большинству из нас показались бы несущественными: например, каков верный процент вероятности — 5 или 1 % или достаточно ли 1 % близок к нулю, чтобы округление было допустимо. И это не то же самое, что споры о количестве ангелов, которое может танцевать на кончике иглы, потому что иногда подобная точность имеет значение.
Из мира, где угроза или возможность крайне маловероятна, но возможна, мы перемещаемся в мир, где она практически невозможна. Это важно тогда, когда последствия маловероятного достаточно велики. Представьте себе вспышку вируса Эбола. Или финансирование нового Google.
А теперь напомню, что я призывал читателя быть скептичным, и скептик может в этот момент засомневаться. Легко произвести впечатление на людей, если потереть подбородок и заявить: «Существует 73 % вероятности, что акции Apple поднимутся за год на 24 %». Подбросьте несколько технических терминов, которые большинство людей не поймут: что-нибудь «схоластическое», какую-нибудь «регрессию», — и можно манипулировать уважением, которое человечество заслуженно испытывает по отношению к математике и естественным наукам, чтобы заставить зрителей кивать и хлопать вам. Эта тонкость градации — дымовая завеса, к сожалению, очень распространенная. Так как же мы можем быть уверены в том, что точность суперпрогнозистов действительно имеет значение? Как можем убедиться, что, когда Бриан Лабатт делает изначальный подсчет 70 %, потом задумывается и меняет его на 65 %, это означает, что он увеличивает точность? Ответ кроется в данных турнира. Барбара Меллерс доказала, что тонкость градаций увеличивает точность: обычный прогнозист, придерживающийся десяток (20, 30, 40 %), менее точен, чем человек, который использует более подробную шкалу (20, 25, 30 %), и еще менее точен, чем прогнозист, использующий единицы (20, 21, 22 %). В следующем тесте она округлила прогнозы, чтобы сделать их градацию менее тонкой: сначала до ближайшей пятерки, а затем до ближайшей десятки. Таким образом, все прогнозы потеряли один уровень градации. Затем она пересчитала результаты Брайера и обнаружила, что в ответ даже на самое маленькое округление, до ближайшего 0,05, суперпрогнозисты потеряли в точности, в то время как обычные прогнозисты почти ничего не потеряли даже от округления в четыре раза, до ближайшего 0,2.
Тонкость градации Бриана Лабатта — не дымовая завеса. Это точность — и ключевая причина, по которой он суперпрогнозист.
Большинство людей никогда не пытаются проявить такую же точность, как Бриан, предпочитая придерживаться знакомого, то есть циферблата с тремя значениями. Это серьезная ошибка. Как мудро отметил легендарный инвестор Чарли Мунгер:
Если вы не введете элементарную, хоть и слегка неестественную, математику элементарной вероятности в ваш репертуар, вы проведете всю жизнь, как одноногий человек на соревновании по пинкам под задницу.
Даже самые искушенные люди и организации не пытаются приблизиться к уровню Бриана. Взять хотя бы один пример: Национальный совет по разведке (НСР), который выдает Национальные разведывательные оценки, влияющие на крайне важные решения, как то: вторгаться ли в Ирак или вести ли переговоры с Ираном, — просит своих аналитиков делать прогнозы по пяти- или семибалльной шкале:

 

Степени градации вероятности в разведывательном сообществе

 

Это большой прогресс в сравнении с циферблатом с двумя или тремя значениями, но сильное отставание от того, чего могут достигнуть большинство преданных своему делу суперпрогнозистов. Я знаю людей, которые работали на НСР, и подозреваю, что они не использовали свои возможности на полную мощность. НСР — и любая другая организация, чьи сотрудники — «асы» в своем деле, — может получить похожие результаты, если будет их ценить и поощрять. И им следует этим заняться.
Помните, что награда — это более ясные перспективы на будущее. А это бесценно в жизненном соревновании по пинкам под задницу.
Но что это все означает?
В классической книге Курта Воннегута «Бойня номер пять» американский военнопленный пробормотал что-то, не понравившееся охраннику. Далее Воннегут пишет:
Американец удивился. Он встал шатаясь, плюя кровью. Ему выбили два зуба. Он никого не хотел обидеть своими словами и даже не представлял, что охранник его услышит и поймет.
— За что меня? — спросил он охранника.
Охранник втолкнул его в строй.
— Са што тепя? — спросил он по-английски. — Са што тепя? А са што всех труких? 
Воннегут постоянно возвращается к этой теме. «Почему именно я?» — со стоном спрашивает Билли Пилигрим, когда его похищают инопланетяне. «Это очень земной вопрос, мистер Пилигрим, — отвечает инопланетянин. — Почему вы? А почему мы? Почему вообще все?». Только наивный спрашивает: «Почему?» Те, кто более ясно видит реальность, не задаются таким вопросом.
Понять это очень непросто. Когда происходит что-то маловероятное и важное, люди задают вопрос: «Почему?»
Религиозная мысль о том, что все происходящее, даже трагедия, — часть божественного плана, очень древняя, и как бы человек ни относился к религии, несомненно, эта мысль может утешить людей и помочь им пережить то, что в другом случае было бы пережить невозможно. Опра Уинфри, женщина, которая преодолела все препятствия и достигла потрясающего успеха, персонифицирует и продвигает эту идею. В свое время в напутственной речи выпускникам Гарварда она, используя светскую терминологию, сказала:
Не существует такой вещи, как провал. Провал — это просто когда жизнь пытается повернуть тебя в другом направлении. <…> Учитесь на каждой ошибке, потому что каждый опыт, каждая встреча и особенно все ваши промахи существуют для того, чтобы научить вас и заставить вас быть теми, кто вы есть.
Все происходит по какой-то причине. Все имеет свою цель. В финальном выпуске своей легендарной передачи Уинфри высказалась, по сути, на ту же тему, используя уже религиозный язык: «Я вижу проявления благодати и Господа, и я знаю, что не существует совпадений. Их не бывает. Есть только божественный порядок».
Религия — не единственный способ удовлетворить жажду осмысленности. Согласно данным психологов, многие атеисты также видят смысл в важных моментах наших жизней, и большинство из них утверждает, что верят в судьбу. Эту точку зрения можно описать так: «У всего, что происходит, есть причины, и в жизни существует определенный порядок, который определяет все события». Смысл — базовая человеческая потребность. Как показывают многие исследования, способность его находить — свидетельство здоровой, устойчивой психики. Среди выживших в атаках 9/11, например, те, кто увидел в творящейся жестокости смысл, с меньшей вероятностью пострадали от посттравматических стрессовых расстройств.
Но как бы это мышление ни было полезно для психологии, оно плохо сочетается с научным взглядом на мир. Наука не отвечает на вопросы «почему» по поводу цели жизни. Она ограничивается вопросами «как», которые фокусируются на причинно-следственных связях и вероятностях. Снег, который падает на склон горы, может сорваться вниз и запустить лавину, а может и не сорваться. До того момента, как это случится или не случится, существует возможность и для того, и для другого. Событие не предопределено Господом, или судьбой, или чем-то еще. Событие не «предназначено». Оно не имеет смысла. «Возможно» означает, что, вопреки мнению Эйнштейна, Господь на самом деле играет в кости со Вселенной. Таким образом, есть напряжение между вероятностным мышлением и представлением о божественном порядке. Как растительное масло и вода, случайность и судьба не смешиваются. И, позволяя мыслям двигаться по направлению к фатализму, мы соответственно уменьшаем наши способности к вероятностному мышлению.
Большинство людей склонны верить в судьбу. Вместе с психологом Лорой Крей и другими коллегами я проверил эффект контрафактивных размышлений, то есть размышлений о том, как бы иначе могли повернуться те или иные события. В одном эксперименте студенты Северо-Западного университета в Иллинойсе написали короткое эссе, в котором объясняли, почему они выбрали этот университет. Половину из них попросили перечислить варианты, что могло бы произойти, «если бы все сложилось по-другому». И в конце все должны были отметить степень согласия с тремя утверждениями: «Мое решение поступить в Северо-Западный определяет меня», «Поступление в Северо-Западный добавило осмысленности в мою жизнь» и «Мой выбор Северо-Западного стал одним из самых важных в моей жизни». Как и ожидалось, студенты, которые были вовлечены в контрафактивные размышления, то есть воображали, как бы по-другому повернулась их жизнь, наделили свое решение поступить в Северо-Западный большим смыслом. В ходе второго эксперимента участников попросили подумать о близком друге. И снова те, кто воображал, что было бы, если бы все повернулось по-другому, наделили отношения с другом большей значимостью. В ходе третьего эксперимента людей попросили определить поворотный момент в их жизни. Половину попросили просто описать факты: что случилось, когда случилось, кто в событии участвовал, что они думали и чувствовали. Другую половину попросили описать, какой их жизнь была бы сейчас, если бы этого поворотного момента не произошло. Затем все участники определили степень, в которой, как они считали, поворотный пункт был «знамением судьбы». Как и ожидалось, те, кто размышлял об альтернативных вариантах своей жизни, сочли избранную стезю предначертанной.
Подумайте о любви всей своей жизни и бесконечной череде событий, которые должны были произойти, чтобы свести вас. Если бы вы занимались тем вечером, вместо того чтобы пойти на вечеринку… Или если бы ваша супруга шла немного быстрее и не опоздала на тот поезд… Или если бы вы приняли приглашение друга отправиться на выходные за город… «Если бы» простираются за горизонт. Когда-то у вас с вашим партнером был ничтожно малый шанс на встречу. И тем не менее она произошла. Что вы об этом думаете? Большинство людей не считают: «Ух ты, какая удача!» Вместо этого они принимают крайнюю маловероятность того, что это могло случиться, и тот факт, что оно все-таки случилось, за доказательство, что так было предназначено.
Нечто на удивление похожее происходит во вселенских масштабах. Взять хотя бы Большой взрыв, главное научное объяснение возникновения Вселенной. Теория Большого взрыва говорит, какими тонко настроенными должны быть законы природы для того, чтобы появились звезды, планеты и жизнь. Любое мельчайшее отклонение — и мы бы не существовали. Большинство людей не откликается на это наблюдение фразой «Ух ты, как же нам повезло!» — или размышлением о том, не породили ли миллиарды Больших взрывов миллиарды параллельных миров, из которых несколько оказались по случайности пригодными для жизни. Так думают некоторые физики. Но большинство из нас подозревают, что за этим что-то стояло — возможно, Бог. Что это было предназначено.
Каким бы естественным ни было такое мышление, в нем кроется проблема. Выложите запутанную цепочку рассуждений в прямую линию — и вы увидите следующее: «Вероятность того, что я встречу любовь своей жизни, была крошечной. Но это случилось. Значит, было предначертано. Таким образом, вероятность, что это случится, была 100 %». Рассуждение не просто сомнительное — оно непоследовательное. Логика и психология здесь явно не согласуются.
Вероятностного мыслителя меньше отвлекают вопросы «почему», он сосредотачивается на вопросах «как». И это не семантические игры. «Почему?» обращает нас к метафизике, «как?» — к физике. Вероятностный мыслитель скажет: «Да, было крайне маловероятно, что я встречу мою супругу тем вечером, но я должен был где-нибудь находиться, и она должна была где-нибудь находиться, так что, к счастью для нас обоих, это „где-нибудь“ у нас совпало». Экономист и нобелевский лауреат Роберт Шиллер рассказывает историю о том, как Генри Форд решил нанимать работников на зарплату, которая в то время была сногсшибательной: 5 долларов в день. И это побудило обоих его дедов переехать в Детройт, чтобы работать на заводе у Форда. Если бы кто-нибудь сделал одному из его дедов более соблазнительное предложение о работе, или если бы кого-то из них лягнула в голову лошадь, или если бы кто-нибудь убедил Форда в том, что это безумие — платить рабочим по 5 долларов в день… если бы одно из почти бесконечной череды событий произошло другим образом, Роберт Шиллер никогда бы не появился на свет. Но вместо того чтобы увидеть в маловероятности своего существования руку судьбы, Шиллер приводит эту историю как иллюстрацию радикальной непредопределенности будущего. «Тебе может казаться, что история разворачивается логическим образом, который люди должны предвидеть, но это не так, — сказал он мне. — Это иллюзия ретроспективного взгляда».
Даже перед лицом трагедии вероятностный мыслитель скажет: «Да, существовало практически бесконечное число путей, по которым могли бы пойти события, и крайне маловероятно, что они пошли бы по пути, который закончится смертью моего ребенка. Но они должны были пойти по какому-то пути — и пошли именно по этому. Вот и все». Если обратиться к терминологии Канемана, вероятностные мыслители используют взгляд снаружи даже для самых основных, формирующих личность событий, рассматривая их как квазислучайные билетики из лотереи вероятностей.
Или, если использовать терминологию Курта Воннегута: «Почему я? Почему не я?»
Если верно, что вероятностное мышление необходимо для точного прогнозирования, а фаталистическое мышление «это было предназначено» уменьшает способности к вероятностному, следует ожидать от суперпрогнозистов гораздо меньшей склонности видеть вещи предопределенными. Чтобы протестировать это, мы проверили их реакцию на фаталистические утверждения вроде:
Все идет согласно Божьему плану.
Все происходит по определенной причине.
Не существует случайностей и совпадений.
Также мы узнали их мнение по поводу вероятностных утверждений вроде:
Ничто не неизбежно.
Даже крупнейшие события вроде Второй мировой войны или 9/11 могли бы пойти по-другому.
Случайность часто выступает фактором нашей личной жизни.
Мы задали одни и те же вопросы прогнозистам, которые регулярно работают над прогнозами на волонтерской основе, студентам Пенсильванского университета и широкому кругу взрослых американцев. По девятибалльной шкале фатализма, где 1 — полное неприятие мышления «это было предопределено», а 9 — полное его принятие, основная масса взрослых американцев оказалась посередине. Студенты Пенсильванского университета показали результат чуть ниже, обычные прогнозисты — еще чуть ниже, а суперпрогнозисты заняли самую нижнюю строку, придерживаясь твердых взглядов отрицания судьбы.
Как для суперпрогнозистов, так и для обычных прогнозистов мы также сравнили индивидуальные «фаталистические» результаты и результаты Брайера и обнаружили серьезную корреляцию: чем больше прогнозист склонен к мышлению «это было предопределено», тем менее точны его прогнозы. Или, если выражаться яснее, чем больше прогнозист склонен к вероятностному мышлению, тем выше его точность.
Получается, что нахождение смысла в событиях позитивно влияет на психику, но ухудшает предвидение, что вызывает депрессивную мысль: неужели несчастье — цена за точность?
Я не знаю. Но эта книга посвящена не тому, как быть счастливым. Она посвящена тому, как быть точным, а суперпрогнозисты демонстрируют, что вероятностное мышление для этого необходимо. Экзистенциальные вопросы я оставлю другим.
Назад: Глава V Суперумные?
Дальше: Глава VII Пожиратели новостей?