Примечания

Введение

1 Пример с мишенями наглядно показывает…: швейцарский математик Даниил Бернулли предложил такую же аналогию в своей работе 1778 г., где вместо винтовок он использовал луки и стрелы. Bernoulli, “The Most Probable Choice Between Several Discrepant Observations and the Formation Therefrom of the Most Likely Induction”, Biometrika 48, no. 1–2 (June 1961): 3–18, https://doi.org/10.1093/biomet/48.1–2.3.

2 решений об опеке…: Joseph J. Doyle Jr., “Child Protection and Child Outcomes: Measuring the Effects of Foster Care”, American Economic Review 95, no. 5 (December 2007): 1583–1610.

3 одних и тех же разработчиков программного обеспечения…: Stein Grimstad and Magne JØrgensen, “Inconsistency of Expert Judgment-Based Estimates of Software Development Effort”, Journal of Systems and Software 80, no. 11 (2007): 1770–1777.

4 в решениях о предоставлении убежища…: Andrew I. Schoenholtz, Jaya Ramji-Nogales, and Philip G. Schrag, “Refugee Roulette: Disparities in Asylum Adjudication”, Stanford Law Review 60, no. 2 (2007).

5 при выдаче патентов…: Mark A. Lemley and Bhaven Sampat, “Examiner Characteristics and Patent Office Outcomes”, Review of Economics and Statistics 94, no. 3 (2012): 817–827. См. также Iain Cockburn, Samuel Kortum, and Scott Stern, “Are All Patent Examiners Equal? The Impact of Examiner Characteristics”, препринт 8980, June 2002, www.nber.org/papers/w8980; и Michael D. Frakes and Melissa F. Wasserman, “Is the Time Allocated to Review Patent Applications Inducing Examiners to Grant Invalid Patents? Evidence from Microlevel Application Data”, Review of Economics and Statistics 99, no. 3 (July 2017): 550–563.

Глава 1

6 объяснял свои мотивы…: Marvin Frankel, Criminal Sentences: Law Without Order, 25 Inst. for Sci. Info. Current Contents / Soc. & Behavioral Scis.: This Week’s Citation Classic 14, 2A‑6 (June 23, 1986), http://www.garfield.library.upenn.edu/classics1986/A1986C697400001.pdf.

7 «практически неограниченные широкие полномочия»…: Marvin Frankel, Criminal Sentences: Law Without Order (New York: Hill and Wang, 1973), 5.

8 «ежедневному произволу жестокости»…: Frankel, Criminal Sentences, 103.

9 «где правят законы, а не люди»…: Frankel, 5.

10 идиосинкразические указы…: Frankel, 11.

11 «числовую или другую объективную градацию»…: Frankel, 114.

12 «компьютеры для упорядочивания мыслительного процесса…»: Frankel, 115.

13 комиссию по приговорам…: Frankel, 119.

14 «повсеместное отсутствие консенсуса»…: Anthony Partridge and William B. Eldridge, The Second Circuit Sentence Study: A Report to the Judges of the Second Circuit August 1974 (Washington, DC: Federal Judicial Center, August 1974), 9.

15 «поразительный»…: US Senate, “Comprehensive Crime Control Act of 1983: Report of the Committee on the Judiciary, United States Senate, on S. 1762, Together with Additional and Minority Views” (Washington, DC: US Government Printing Office, 1983). Report No. 98–225.

16 наркодилер…: Anthony Partridge and Eldridge, Second Circuit Sentence Study, A‑11.

17 Наказание за ограбление банка…: Partridge and Eldridge, Second Circuit Sentence Study, A‑9

18 В деле о вымогательстве…: Partridge and Eldridge, A‑5–A‑7.

19 опросили 47 судей…: William Austin and Thomas A. Williams III, “A Survey of Judges’ Responses to Simulated Legal Cases: Research Note on Sentencing Disparity”, Journal of Criminal Law & Criminology 68 (1977): 306.

20 В еще более крупном исследовании…: John Bartolomeo et al., “Sentence Decisionmaking: The Logic of Sentence Decisions and the Extent and Sources of Sentence Disparity”, Journal of Criminal Law and Criminology 72, no. 2 (1981). (Подробную информацию см. в главе 6.) См. также Senate Report, 44.

21 Голодные судьи…: Shai Danziger, Jonathan Levav, and Liora Avnaim-Pesso, “Extraneous Factors in Judicial Decisions”, Proceedings of the National Academy of Sciences of the United States of America 108, no. 17 (2011): 6889–92.

22 решений суда по делам несовершеннолетних…: Ozkan Eren and Naci Mocan, “Emotional Judges and Unlucky Juveniles”, American Economic Journal: Applied Economics 10, no. 3 (2018): 171–205.

23 судьи менее снисходительны…: Daniel L. Chen and Markus Loecher, “Mood and the Malleability of Moral Reasoning: The Impact of Irrelevant Factors on Judicial Decisions”, SSRN Electronic Journal (September 21, 2019): 1–70, http://users.nber.org/dlchen/papers/Mood_and_the_Malleability_of_Moral_Reasoning.pdf.

24 относятся более мягко в дни рождения…: Daniel L. Chen and Arnaud Philippe, “Clash of Norms: Judicial Leniency on Defendant Birthdays”, (2020) available at SSRN: https://ssrn.com/abstract=3203624.

25 такой… незначительный фактор, как погода…: Anthony Heyes and Soodeh Saberian, “Temperature and Decisions: Evidence from 207,00 °Court Cases”, American Economic Journal: Applied Economics 11, no. 2 (2018): 238–265.

26 «неограниченные дискреционные полномочия…»: Senate Report, 38.

27 «неоправданно высокую» дифференциацию при определении меры наказания…: Senate Report, 38.

28 традиционной практики…: Слова судьи Брайера приводятся в Jeffrey Rosen, “Breyer Restraint”, New Republic, July 11, 1994, at 19, 25.

29 обосновав свое решение…: United States Sentencing Commission, Guidelines Manual (2018), www.ussc.gov/sites/default/files/pdf/guidelines-manual/2018/GLMFull.pdf.

30 сокращают чистую изменчивость…: James M. Anderson, Jeffrey R. Kling, and Kate Stith, “Measuring Interjudge Sentencing Disparity: Before and After the Federal Sentencing Guidelines”, Journal of Law and Economics 42, no. S1 (April 1999): 271–308.

31 сама комиссия…: US Sentencing Commission, The Federal Sentencing Guidelines: A Report on the Operation of the Guidelines System and Short-Term Impacts on Disparity in Sentencing, Use of Incarceration, and Prosecutorial Discretion and Plea Bargaining, vols. 1 & 2 (Washington, DC: US Sentencing Commission, 1991).

32 Согласно другому исследованию…: Anderson, Kling, and Stith, “Interjudge Sentencing Disparity”.

33 Независимое исследование…: Paul J. Hofer, Kevin R. Blackwell, and R. Barry Ruback, “The Effect of the Federal Sentencing Guidelines on Inter-Judge Sentencing Disparity”, Journal of Criminal Law and Criminology 90 (1999): 239, 241.

34 «нужна не слепая беспристрастность…»: Kate Stith and Josе́ Cabranes, Fear of Judging: Sentencing Guidelines in the Federal Courts (Chicago: University of Chicago Press, 1998), 79.

35 их отменил Верховный суд…: 543 U.S. 220 (2005).

36 Консультативный статус рекомендация оказался предпочтительнее для 75 % судей…: US Sentencing Commission, “Results of Survey of United States District Judges, January 2010 through March 2010” (June 2010) (question 19, table 19), www.ussc.gov/sites /default/files/pdf/research-and-publications/research-projects-and-surveys/surveys/20100608_Judge_Survey.pdf.

37 «выводы внушают…»: Crystal Yang, “Have Interjudge Sentencing Disparities Increased in an Advisory Guidelines Regime? Evidence from Booker”, New York University Law Review 89 (2014): 1268–1342; pp. 1278, 1334.

Глава 2

38 Для проведения ревизии шума…: Руководители компании составили детальные описания кейсов, похожие на те, что их подчиненные рассматривают изо дня в день. Шесть кейсов были подготовлены для оценщиков страховых убытков в Отделе страхования имущества и от несчастных случаев и четыре – для андеррайтеров, специализирующихся на финансовых рисках. Работников на полдня освободили от обычных обязанностей, чтобы каждый из них мог посвятить себя оценке двух-трех кейсов. Их попросили действовать независимо, при этом не объяснив, что целью исследования была оценка вариативности в их суждениях. В общей сложности мы получили 86 заключений, сделанных 48 андеррайтерами, и 113 заключений, подготовленных 68 оценщиками страховых убытков.

39 наивным реализмом…: Dale W. Griffin and Lee Ross, “Subjective Construal, Social Inference, and Human Misunderstanding”, Advances in Experimental Social Psychology 24 (1991): 319–359; Robert J. Robinson, Dacher Keltner, Andrew Ward, and Lee Ross, “Actual Versus Assumed Differences in Construal: ‘Naive Realism’ in Intergroup Perception and Conflict”, Journal of Personality and Social Psychology 68, no. 3 (1995): 404; and Lee Ross and Andrew Ward, “Naive Realism in Everyday Life: Implications for Social Conflict and Misunderstanding”, Values and Knowledge (1997).

ЧАСТЬ II

40 основной единицей измерения разброса…: Стандартное отклонение в наборе чисел вычисляется на основе другой статистической величины – дисперсии. Чтобы получить значение дисперсии, сначала нужно знать распределение отклонений от среднего значения и затем возвести каждое из этих отклонений в квадрат. Дисперсия – среднее значение квадратичных отклонений, а стандартное отклонение – квадратный корень из величины дисперсии.

Глава 4

41 Члены жюри на конкурсе вин…: R. T. Hodgson, “An Examination of Judge Reliability at a Major U. S. Wine Competition”, Journal of Wine Economics 3, no. 2 (2008): 105–113.

42 понадобятся оценочные суждения…: Некоторые исследователи считают, что решения – это выбор между альтернативами, и рассматривают количественные оценки как особенный тип решений, где происходит выбор из континуума возможных альтернатив. Согласно этой точке зрения, суждения – это особенный тип решений. Наш подход отличается: мы считаем, что решения, требующие выбора между альтернативами, исходят из оценочных суждений по поводу каждой альтернативы. То есть мы, наоборот, рассматриваем решения как особенный тип суждений.

Глава 5

43 предложенный в 1795 году…: Описание метода наименьших квадратов было впервые опубликовано Адриеном Мари Лежандром в 1805 году. Гаусс утверждал, что применил этот метод за десять лет до Лежандра, и затем связал его с разработкой теории ошибок и с носящей его имя кривой нормального распределения. Спор о первоочередности открытия метода широко обсуждался, и историки склонны верить утверждениям Гаусса (Stephen M. Stigler, “Gauss and the Invention of Least Squares”, Annals of Statistics 9 [1981]: 465–474; и Stephen M. Stigler, The History of Statistics: The Measurement of Uncertainty Before 1900 [Cambridge, MA: Belknap Press of Harvard University Press, 1986]).

44 При использовании простых алгебраических действий…: Мы определили шум как стандартное отклонение погрешностей, поэтому шум в квадрате – это дисперсия погрешностей. Определение дисперсии – «среднее значение квадратов минус квадрат среднего значения». Поскольку средняя погрешность – это смещение, «квадрат среднего значения» – это смещение в квадрате. Отсюда: Шум² = MSE – Смещение².

45 интуитивные представления в этом отношении…: Berkeley J. Dietvorst and Soaham Bharti, “People Reject Algorithms in Uncertain Decision Domains Because They Have Diminishing Sensitivity to Forecasting Error”, Psychological Science 31, no. 10 (2020): 1302–1314.

Глава 6

46 исключительно подробной…: Kevin Clancy, John Bartolomeo, David Richardson, and Charles Wellford, “Sentence Decisionmaking: The Logic of Sentence Decisions and the Extent and Sources of Sentence Disparity”, Journal of Criminal Law and Criminology 72, no. 2 (1981): 524–554; и INSLAW, Inc. et al., “Federal Sentencing: Towards a More Explicit Policy of Criminal Sanctions III-, 4” (1981).

47 предлагали вынести по ним приговоры…: Приговор мог быть любой комбинацией тюремного срока, административного надзора или штрафов. Для простоты мы главным образом фокусируемся на основной составляющей приговоров – тюремных сроках – и опускаем две другие составляющие.

48 саму эту вариативность часто…: В случае множества дел, рассматриваемых множеством судей, расширенная версия уравнения расчета погрешности, представленная в главе 5, включает в себя термин, отражающий эту вариативность. Говоря точнее, если мы определим среднюю погрешность по всем делам как общее смещение и если эта погрешность не имеет одинаковое значение для всех дел, будет наблюдаться вариативность в смещении по делам. Тогда уравнение принимает вид: MSE = Общее смещение² + Вариативность в смещении по делам + Системный шум².

49 Средний срок назначенного тюремного заключения…: Цифры, упоминаемые в этой главе, были получены из оригинального исследования следующим образом.

Прежде всего, авторы сообщают, что за 45 % общей вариативности отвечает влияние характеристик правонарушения и правонарушителя (John Bartolomeo et al., “Sentence Decisionmaking: The Logic of Sentence Decisions and the Extent and Sources of Sentence Disparity”, Journal of Criminal Law and Criminology 72, no. 2 [1981], table 6). Однако нас интересует влияние каждого дела в более широком смысле, включая детали, представленные для изучения судьям, например наличие у обвиняемого судимости или применение им оружия. По нашему определению, все эти параметры – составная часть истинной вариативности дела, а не шума. Соответственно, мы снова включили взаимодействие между особенностями каждого дела в состав вариативности дела (они отвечают за 11 % вариативности, см. Bartolomeo et al., table 10). В результате нашего пересмотра доля вариативности дела составила 56 %, основного эффекта судьи, или межэкспертного шума, – 21 %, а взаимодействий в общей вариативности – 23 %. Следовательно, системный шум отвечает за 44 % общей вариативности.

Вариативность в справедливых приговорах можно рассчитать, используя данные Bartolomeo et al., 89 в таблице со средними сроками по каждому делу: здесь вариативность составляет 15. Если принять, что это 56 % общей вариативности, тогда значение общей вариативности равно 26,79, а вариативности системного шума – 11,79. Квадратный корень из этого значения – это стандартное отклонение для типичного дела, или 3,4 года.

Основной эффект судьи, или межэкспертный шум, отвечает за 21 % общей вариативности. Квадратный корень из этого значения – это стандартное отклонение, обусловленное межэкспертным шумом, или 2,4 года.

50 3,4 года…: Это значение – квадратный корень из среднего значения вариативности в приговорах по 16 делам. Мы рассчитали его методом, описанным в предыдущем примечании.

51 простой аддитивной логики…: Гипотеза об аддитивности, в сущности, подразумевает, что степень суровости судьи добавляет постоянную величину к сроку приговора. Вряд ли эта гипотеза верна: скорее суровость судьи добавляет к сроку приговора величину, пропорциональную среднему сроку тюремного заключения. Эта проблема была проигнорирована в первоначальном отчете, что не дает возможности оценить ее значение.

52 «То, как по-разному особенности преступления или преступника влияют на решение отдельных судей…»: Bartolomeo et al., “Sentence Decisionmaking”, 23.

53 примерно одинаковый вклад…: Здесь работает следующее уравнение: (Системный шум)² = (Межэкспертный шум)² + (Внутриэкспертный шум)². Из таблицы видно, что системный шум равен 3,4 года, а межэкспертный шум – 2,4 года. Следовательно, внутриэкспертный шум также равняется примерно 2,4 года. Расчет показан в качестве иллюстрации: истинные значения несколько отличаются из-за погрешностей округления.

Глава 7

54 Лучшие в истории…: См. http://www.iweblists.com/sports/basket-ball/FreeThrowPercent_c.html, актуально на 27 декабря 2020 г.

55 Шакилу О’Нилу…: См. https://www.basketball-reference.com/players/o /onealsh01.html, актуально на 27 декабря 2020 г.

56 на крупном конкурсе вин в США эксперты…: R. T. Hodgson, “An Examination of Judge Reliability at a Major U. S. Wine Competition”, Journal of Wine Economics 3, no. 2 (2008): 105–113.

57 консультанты по программному обеспечению…: Stein Grimstad and Magne JØrgensen, “Inconsistency of Expert Judgment-Based Estimates of Software Development Effort”, Journal of Systems and Software 80, no. 11 (2007): 1770–1777.

58 не противоречили сами себе…: Robert H. Ashton, “A Review and Analysis of Research on the Test – Retest Reliability of Professional Judgment”, Journal of Behavioral Decision Making 294, no. 3 (2000): 277–294. К слову, автор отметил тогда, что ни одно из 41 рассмотренного исследования не ставило своей целью оценить ситуативный шум: «Во всех случаях измерение надежности было побочным продуктом в процессе достижения иных целей исследования» (Ashton, 279). Этот комментарий говорит о достаточно недавнем возникновении интереса к изучению ситуативного шума.

59 правильный ответ…: Central Intelligence Agency, The World Factbook (Washington, DC: Central Intelligence Agency, 2020). Приведенная цифра включает все аэропорты или аэродромы, узнаваемые с воздуха; при этом взлетная полоса или полосы могут иметь твердое или грунтовое покрытие, а имеющиеся сооружения могут быть закрытыми или выведенными из строя.

60 Эдвард Вул и Гарольд Пашлер…: Edward Vul and Harold Pashler, “Crowd Within: Probabilistic Representations Within Individuals”.

61 точнее…: James Surowiecki, The Wisdom of Crowds: Why the Many Are Smarter Than the Few and How Collective Wisdom Shapes Business, Economies, Societies, and Nations (New York: Doubleday, 2004).

62 менее шумную…: Стандартное отклонение среднего значения оценок (наша единица измерения шума) пропорционально уменьшается по отношению к квадратному корню от количества оценок.

63 польза от этого…: Vul and Pashler, “Crowd Within”, 646.

64 Стефан Херцог и Ральф Хертвиг…: Stefan M. Herzog and Ralph Hertwig, “Think Twice and Then: Combining or Choosing in Dialectical Bootstrapping?” Journal of Experimental Psychology: Learning, Memory, and Cognition 40, no. 1 (2014): 218–232.

65 выбирает ответ…: Vul and Pashler, “Measuring the Crowd Within”, 647.

66 Джозеф Форгас…: Joseph P. Forgas, “Affective Influences on Interpersonal Behavior”, Psychological Inquiry 13, no. 1 (2002): 1–28.

67 «Одна и та же улыбка…»: Forgas, “Affective Influences”, 10.

68 переговорщики, настроение которых меняется…: A. Filipowicz, S. Barsade, and S. Melwani, “Understanding Emotional Transitions: The Interpersonal Consequences of Changing Emotions in Negotiations”, Journal of Personality and Social Psychology 101, no. 3 (2011): 541–556.

69 участникам предложили прочитать короткое философское эссе…: Joseph P. Forgas, “She Just Doesn’t Look like a Philosopher…? Affective Influences on the Halo Effect in Impression Formation”, European Journal of Social Psychology 41, no. 7 (2011): 812–817.

70 псевдоглубокие утверждения…: Gordon Pennycook, James Allan Cheyne, Nathaniel Barr, Derek J. Koehler, and Jonathan A. Fugelsang, “On the Reception and Detection of Pseudo-Profound Bullshit”, Judgment and Decision Making 10, no. 6 (2015): 549–563.

71 «О чуши»…: Harry Frankfurt, On Bullshit (Princeton, NJ: Princeton University Press, 2005).

72 «внушительными утверждениями…»: Pennycook et al., “Pseudo-Profound Bullshit”, 549.

73 более легковерны…: Joseph P. Forgas, “Happy Believers and Sad Skeptics? Affective Influences on Gullibility”, Current Directions in Psychological Science 28, no. 3 (2019): 306–313.

74 свидетели преступления…: Joseph P. Forgas, “Mood Effects on Eyewitness Memory: Affective Influences on Susceptibility to Misinformation”, Journal of Experimental Social Psychology 41, no. 6 (2005): 574–588.

75 проблемой вагонетки…: Piercarlo Valdesolo and David Desteno, “Manipulations of Emotional Context Shape Moral Judgment”, Psychological Science 17, no. 6 (2006): 476–477.

76 опиоидные препараты в конце длинной смены…: Hannah T. Neprash and Michael L. Barnett, “Association of Primary Care Clinic Appointment Time with Opioid Prescribing”, JAMA Network Open 2, no. 8 (2019); Lindsey M. Philpot, Bushra A. Khokhar, Daniel L. Roellinger, Priya Ramar, and Jon O. Ebbert, “Time of Day Is Associated with Opioid Prescribing for Low Back Pain in Primary Care”, Journal of General Internal Medicine 33 (2018): 1828.

77 антибиотики…: Jeffrey A. Linder, Jason N. Doctor, Mark W. Friedberg, Harry Reyes Nieva, Caroline Birks, Daniella Meeker, and Craig R. Fox, “Time of Day and the Decision to Prescribe Antibiotics”, JAMA Internal Medicine 174, no. 12 (2014): 2029–2031.

78 прививки от гриппа…: Rebecca H. Kim, Susan C. Day, Dylan S. Small, Christopher K. Snider, Charles A. L. Rareshide, and Mitesh S. Patel, “Variations in Influenza Vaccination by Clinic Appointment Time and an Active Choice Intervention in the Electronic Health Record to Increase Influenza Vaccination”, JAMA Network Open 1, no. 5 (2018): 1–10.

79 плохой погодой…: Комментарий об улучшении памяти см. Joseph P. Forgas, Liz Goldenberg, and Christian Unkelbach, “Can Bad Weather Improve Your Memory? An Unobtrusive Field Study of Natural Mood Effects on Real-Life Memory”, Journal of Experimental Social Psychology 45, no. 1 (2008): 254–257. Комментарий о солнечном свете см. David Hirshleifer and Tyler Shumway, “Good Day Sunshine: Stock Returns and the Weather”, Journal of Finance 58, no. 3 (2003): 1009–1032.

80 «Ботаники блистают в хмурый день»…: Uri Simonsohn, “Clouds Make Nerds Look Good: Field Evidence of the Impact of Incidental Factors on Decision Making”, Journal of Behavioral Decision Making 20, no. 2 (2007): 143–152.

81 ошибка игрока…: Daniel Chen et al., “Decision Making Under the Gambler’s Fallacy: Evidence from Asylum Judges, Loan Officers, and Baseball Umpires”, Quarterly Journal of Economics 131, no. 3 (2016): 1181–1242.

82 предоставлял убежище…: Jaya Ramji-Nogales, Andrew I. Schoenholtz, and Philip Schrag, “Refugee Roulette: Disparities in Asylum Adjudication”, Stanford Law Review 60, no. 2 (2007).

83 способность к запоминанию…: Michael J. Kahana et al., “The Variability Puzzle in Human Memory”, Journal of Experimental Psychology: Learning, Memory, and Cognition 44, no. 12 (2018): 1857–1863.

Глава 8

84 исследования о скачивании музыки…: Matthew J. Salganik, Peter Sheridan Dodds, and Duncan J. Watts, “Experimental Study of Inequality and Unpredictability in an Artificial Cultural Market”, Science 311 (2006): 854–856. См. также Matthew Salganik and Duncan Watts, “Leading the Herd Astray: An Experimental Study of Self-Fulfilling Prophecies in an Artificial Cultural Market”, Social Psychology Quarterly 71 (2008): 338–355; и Matthew Salganik and Duncan Watts, “Web-Based Experiments for the Study of Collective Social Dynamics in Cultural Markets”, Topics in Cognitive Science 1 (2009): 439–468.

85 способна упрочивать сама себя…: Salganik and Watts, “Leading the Herd Astray”.

86 и во многих других областях…: Michael Macy et al., “Opinion Cascades and the Unpredictability of Partisan Polarization”, Science Advances (2019): 1–8. См. также Helen Margetts et al., Political Turbulence (Princeton: Princeton University Press, 2015).

87 социолог Майкл Мэйси…: Michael Macy et al., “Opinion Cascades”.

88 комментарии на веб-сайтах…: Lev Muchnik et al., “Social Influence Bias: A Randomized Experiment”, Science 341, no. 6146 (2013): 647–651.

89 Исследования подтвердили…: Jan Lorenz et al., “How Social Influence Can Undermine the Wisdom of Crowd Effect”, Proceedings of the National Academy of Sciences 108, no. 22 (2011): 9020–9025.

90 эксперимент выступает в качестве сравнения…: Daniel Kahneman, David Schkade, and Cass Sunstein, “Shared Outrage and Erratic Awards: The Psychology of Punitive Damages”, Journal of Risk and Uncertainty 16 (1998): 49–86.

91 500 коллегий…: David Schkade, Cass R. Sunstein, and Daniel Kahneman, “Deliberating about Dollars: The Severity Shift”, Columbia Law Review 100 (2000): 1139–1175.

Часть III

92 процент согласия…: Процент согласия (ПС) тесно связан с переменной Кендалла, известной также как коэффициент согласия.

93 между ростом и размером стопы…: Kanwal Kamboj et al., “A Study on the Correlation Between Foot Length and Height of an Individual and to Derive Regression Formulae to Estimate the Height from Foot Length of an Individual”, International Journal of Research in Medical Sciences 6, no. 2 (2018): 528.

94 В таблице 1 приведены значения ПС…: В нашем примере совместное распределение переменных условно представлено как двумерное нормальное распределение. ПС рассчитан исходя из этого допущения; внесенные в таблицу данные аппроксимированы также с его учетом. Выражаем благодарность Джулиану Пэррису за составление таблицы.

Глава 9

95 на основе реальных исследований прогнозирования эффективности работы…: Martin C. Yu and Nathan R. Kuncel, “Pushing the Limits for Judgmental Consistency: Comparing Random Weighting Schemes with Expert Judgments”, Personnel Assessment and Decisions 6, no. 2 (2020): 1–10. Достигнутая экспертами корреляция 0,15 является невзвешенным средним трех выборок, включающих в себя 847 случаев. Здесь представлено несколько упрощенное описание реального исследования.

96 являющийся взвешенным средним…: Для расчета средневзвешенного значения необходимо, чтобы все предикторы измерялись в сопоставимых единицах. В нашем примере, где рейтинги выставлены по шкале от 0 до 10 баллов, данное требование удовлетворено; однако это не всегда имеет место. Рассмотрим следующий набор предикторов успешности работы менеджеров: оценка по результатам собеседования от 0 до 10 баллов, опыт работы по специальности в годах и результат квалификационного экзамена в баллах. Программы на основе множественной регрессии, прежде чем суммировать все предикторы, приводят их к стандартной оценке. Стандартная оценка измеряет наблюдаемое отклонение от среднего по всей совокупности, принимая за единицу измерения стандартное отклонение. Если, скажем, средний результат квалификационного экзамена – 55 баллов, а стандартное отклонение равно восьми, то стандартная оценка +1,5 балла соответствует полученным на экзамене 67 баллам. Таким образом, приведение данных к единому формату устраняет следы ошибок при вычислении средневзвешенного значения и в итоговом распределении индивидуальных оценок.

97 получает больший коэффициент…: Важным свойством множественной регрессии является то, что оптимальные весовые коэффициенты для каждого предиктора зависят от прочих предикторов. Если наблюдается высокая корреляция одного из них с другим, второму предиктору не следует присваивать такой же большой вес, иначе мы как бы «посчитаем их два раза».

98 рабочими лошадками…: Robin M. Hogarth and Natalia Karelaia, “Heuristic and Linear Models of Judgment: Matching Rules and Environments”, Psychological Review 114, no. 3 (2007): 734.

99 отличаются простой структурой…: Исследовательская база, широко использованная в данном контексте, – примененная к оценочным суждениям модель линзы, на которой и построено изучение вопроса. См. Kenneth R. Hammond, “Probabilistic Functioning and the Clinical Method”, Psychological Review 62, no. 4 (1955): 255–262; Natalia Karelaia and Robin M. Hogarth, “Determinants of Linear Judgment: A Meta-Analysis of Lens Model Studies”, Psychological Bulletin 134, no. 3 (2008): 404–426.

100 Paul E. Meehl, Clinical Versus Statistical Prediction: A Theoretical Analysis and a Review of the Evidence (Minneapolis: University of Minnesota Press, 1954).

101 портрет Фрейда…: Paul E. Meehl, Clinical Versus Statistical Prediction: A Theoretical Analysis and a Review of the Evidence (Northvale, NJ: Aronson, 1996), preface.

102 Он был энциклопедистом…: “Paul E. Meehl”, in Ed Lindzey (ed.), A History of Psychology in Autobiography, 1989.

103 «Массивными и последовательными»…: “Paul E. Meehl”, in A History of Psychology in Autobiography, ed. Ed Lindzey (Washington, DC: American Psychological Association, 1989), 362.

104 Две тысячи статей…: William M. Grove et al., “Clinical Versus Mechanical Prediction: A Meta-Analysis”, Psychological Assessment 12, no. 1 (2000): 19–30.

105 за счет доступа к «личной» информации…: William M. Grove and Paul E. Meehl, “Comparative Efficiency of Informal (Subjective, Impressionistic) and Formal (Mechanical, Algorithmic) Prediction Procedures: The Clinical-Statistical Controversy”, Psychology, Public Policy, and Law 2, no. 2 (1996): 293–323.

106 В конце 1960-х годов…: Lewis Goldberg, “Man Versus Model of Man: A Rationale, plus Some Evidence, for a Method of Improving on Clinical Inferences”, Psychological Bulletin 73, no. 6 (1970): 422–432.

107 словно решают в уме сложные уравнения…: Milton Friedman and Leonard J. Savage, “The Utility Analysis of Choices Involving Risk”, Journal of Political Economy 56, no. 4 (1948): 279–304.

108 довольно высокий результат…: Karelaia and Hogarth, “Determinants of Linear Judgment”, 411, table 1.

109 Первые повторения…: Nancy Wiggins and Eileen S. Kohen, “Man Versus Model of Man Revisited: The Forecasting of Graduate School Success”, Journal of Personality and Social Psychology 19, no. 1 (1971): 100–106.

110 обзор исследований за минувшие полстолетия…: Karelaia and Hogarth, “Determinants of Linear Judgment”.

111 повышение точности ваших прогнозов…: Изменение коэффициента корреляции вследствие ограниченной достоверности предиктора известно как поправка на затухание. Поправка рассчитывается по формуле: исправленный коэффициент корреляции r_xy = r_xy/√ r_xx, где r_xx – коэффициент надежности (отношение истинной дисперсии к наблюдаемой дисперсии предиктора).

112 Мартин Ю и Нейтан Канцел в своих исследованиях…: Yu and Kuncel, “Judgmental Consistency”.

113 случайных формул…: В следующей главе мы более детально рассмотрим равновесные модели, а также модели на основе случайных весов. В качестве весовых коэффициентов используется ограниченное количество целых чисел, подобранных с учетом знака (плюса или минуса).

Глава 10

114 далеко опережают клинические прогнозы…: Robyn M. Dawes and Bernard Corrigan, “Linear Models in Decision Making”, Psychological Bulletin 81, no. 2 (1974): 95–106. Доуз и Корриган также предложили использовать случайные весовые коэффициенты. Эта идея нашла применение в исследовании прогнозов результативности менеджеров, описанном в главе 9.

115 «противоречит статистической интуиции»…: Jason Dana, “What Makes Improper Linear Models Tick?”, in Rationality and Social Responsibility: Essays in Honor of Robyn M. Dawes, ed. Joachim I. Krueger, 71–89 (New York: Psychology Press, 2008), 73.

116 Похожие результаты…: Jason Dana and Robyn M. Dawes, “The Superiority of Simple Alternatives to Regression for Social Sciences Prediction”, Journal of Educational and Behavior Statistics 29 (2004): 317–331; Dana, “What Makes Improper Linear Models Tick?”.

116[а] «Нам без разницы»…: Howard Wainer, “Estimating Coefficients in Linear Models: It Don’t Make No Nevermind”, Psychological Bulletin 83, no. 2 (1976): 213–217.

117 «нам не нужны…»: Dana, “What Makes Improper Linear Models Tick?”, 72.

118 Ее корреляция с конечным результатом…: Martin C. Yu and Nathan R. Kuncel, “Pushing the Limits for Judgmental Consistency: Comparing Random Weighting Schemes with Expert Judgments”, Personnel Assessment and Decisions 6, no. 2 (2020): 1–10. Как и в предыдущей главе, заявленная корреляция – невзвешенное среднее по трем выборкам. Соотношение выдерживалось в каждой из трех выборок: достоверность клинических оценок составила 0,17, 0,16 и 0,13, достоверность равновесных моделей 0,19, 0,33 и 0,22 соответственно.

119 «грубая красота»…: Robyn M. Dawes, “The Robust Beauty of Improper Linear Models in Decision Making”, American Psychologist 34, no. 7 (1979): 571–582.

120 «Вся хитрость в том…»: Dawes and Corrigan, “Linear Models in Decision Making”, 105.

121 команда исследователей…: Jongbin Jung, Conner Concannon, Ravi Shroff, Sharad Goel, and Daniel G. Goldstein, “Simple Rules to Guide Expert Classifications”, Journal of the Royal Statistical Society, Statistics in Society, no. 183 (2020): 771–800.

121[а] отдельная команда исследователей…: Julia Dressel and Hany Farid, “The Accuracy, Fairness, and Limits of Predicting Recidivism”, Science Advances 4, no. 1 (2018): 1–6.

122 Используя всего две переменных…: В этих двух примерах линейные модели основаны на крайне малом наборе переменных (а в случае освобождения под залог на аппроксимации линейных весов методом округления, фактически превратившей модель в расчеты на клочке бумаги). Другой тип «неправильной модели» – правило единственной переменной, которое учитывает всего один предиктор и игнорирует остальные. См. Peter M. Todd and Gerd Gigerenzer, “Précis of Simple Heuristics That Make Us Smart”, Behavioral and Brain Sciences 23, no. 5 (2000): 727–741.

123 широко документирована…: P. Gendreau, T. Little, and C. Goggin, “A Meta-Analysis of the Predictors of Adult Offender Recidivism: What Works!”, Criminology 34 (1996).

124 с очень большими массивами данных…: Величина массива в данном контексте характеризуется отношением количества наблюдений к количеству предикторов. Доуз в статье о «грубой красоте» предположил, что оно должно достичь не менее 15 или 20 к 1, и лишь после того оптимальные веса с перекрестной проверкой будут работать лучше, чем равные веса. Дейна и Доуз в работе “Superiority of Simple Alternatives”, используя намного большее количество случаев, подняли планку до соотношения 100 к 1.

125 другая команда…: J. Kleinberg, H. Lakkaraju, J. Leskovec, J. Ludwig, and S. Mullainathan, “Human Decisions and Machine Predictions”, Quarterly Journal of Economics 133 (2018): 237–293.

126 тренировали алгоритм…: Алгоритм тренировали на одной выборке данных, а затем оценивали его способность прогнозировать конечный результат на других случайных выборках.

127 «Алгоритмы на основе методов машинного обучения вылавливают…»: Kleinberg et al., “Human Decisions”, 16.

128 Некоторую долю системного шума составлял…: Gregory Stoddard, Jens Ludwig, and Sendhil Mullainathan, e-mail exchanges with the authors, June – July 2020.

129 набор инженеров-программистов…: B. Cowgill, “Bias and Productivity in Humans and Algorithms: Theory and Evidence from Résumé Screening”, paper presented at Smith Entrepreneurship Research Conference, College Park, MD, April 21, 2018.

130 В одной из статей 1996 года…: William M. Grove and Paul E. Meehl, “Comparative Efficiency of Informal (Subjective, Impressionistic) and Formal (Mechanical, Algorithmic) Prediction Procedures: The Clinical-Statistical Controversy”, Psychology, Public Policy, and Law 2, no. 2 (1996): 293–323.

131 часто предпочитают алгоритм…: Jennifer M. Logg, Julia A. Minson, and Don A. Moore, “Algorithm Appreciation: People Prefer Algorithmic to Human Judgment”, Organizational Behavior and Human Decision Processes 151 (April 2018): 90–103.

132 как только обнаруживают, что он делает ошибки…: B. J. Dietvorst, J. P. Simmons, and C. Massey, “Algorithm Aversion: People Erroneously Avoid Algorithms After Seeing Them Err”, Journal of Experimental Psychology General 144 (2015): 114–126. См. также A. Prahl and L. Van Swol, “Understanding Algorithm Aversion: When Is Advice from Automation Discounted?”, Journal of Forecasting 36 (2017): 691–702.

133 А если наши ожидания не оправдались?…: M. T. Dzindolet, L. G. Pierce, H. P. Beck, and L. A. Dawe, “The Perceived Utility of Human and Automated Aids in a Visual Detection Task”, Human Factors: The Journal of the Human Factors and Ergonomics Society 44, no. 1 (2002): 79–94; K. A. Hoff and M. Bashir, “Trust in Automation: Integrating Empirical Evidence on Factors That Influence Trust”, Human Factors: The Journal of the Human Factors and Ergonomics Society 57, no. 3 (2015): 407–434; and P. Madhavan and D. A. Wiegmann, “Similarities and Differences Between Human – Human and Human – Automation Trust: An Integrative Review”, Theoretical Issues in Ergonomics Science 8, no. 4 (2007): 277–301.

Глава 11

134 Исследования на тему принятия решений…: E. Dane and M. G. Pratt, “Exploring Intuition and Its Role in Managerial Decision Making”, Academy of Management Review 32, no. 1 (2007): 33–54; Cinla Akinci and Eugene Sadler-Smith, “Intuition in Management Research: A Historical Review”, International Journal of Management Reviews 14 (2012): 104–122; and Gerard P. Hodgkinson et al., “Intuition in Organizations: Implications for Strategic Management”, Long Range Planning 42 (2009): 277–297.

135 Одно из исследований…: Hodgkinson et al., “Intuition in Organizations”, 279.

136 Последние обзоры…: Nathan Kuncel et al., “Mechanical Versus Clinical Data Combination in Selection and Admissions Decisions: A Meta-Analysis”, Journal of Applied Psychology 98, no. 6 (2013): 1060–1072. Обсуждение методики подбора персонала смотрите также в главе 24.

137 Излишняя самоуверенность…: Don A. Moore, Perfectly Confident: How to Calibrate Your Decisions Wisely (New York: HarperCollins, 2020).

138 эксперты со своими «комментариями и рекомендациями…»: Philip E. Tetlock, Expert Political Judgment: How Good Is It? How Can We Know? (Princeton, NJ: Princeton University Press, 2005), 239 and 233.

139 обзор 136 исследований…: William M. Grove et al., “Clinical Versus Mechanical Prediction: A Meta-Analysis”, Psychological Assessment 12, no. 1 (2000): 19–30.

140 постановка диагноза при инфаркте…: Sendhil Mullainathan and Ziad Obermeyer, “Who Is Tested for Heart Attack and Who Should Be: Predicting Patient Risk and Physician Error”, 2019. NBER Working Paper 26168, National Bureau of Economic Research.

141 в крайне неопределенных обстоятельствах…: Weston Agor, “The Logic of Intuition: How Top Executives Make Important Decisions”, Organizational Dynamics 14, no. 3 (1986): 5–18; Lisa A. Burke and Monica K. Miller, “Taking the Mystery Out of Intuitive Decision Making”, Academy of Management Perspectives 13, no. 4 (1999): 91–99.

142 готовы доверять алгоритму…: Poornima Madhavan and Douglas A. Wiegmann, “Effects of Information Source, Pedigree, and Reliability on Operator Interaction with Decision Support Systems”, Human Factors: The Journal of the Human Factors and Ergonomics Society 49, no. 5 (2007).

Глава 12

143 необычную статью…: Matthew J. Salganik et al., “Measuring the Predictability of Life Outcomes with a Scientific Mass Collaboration”, Proceedings of the National Academy of Sciences 117, no. 15 (2020): 8398–8403.

144 данным на половинной выборке…: Исследования охватывали 4242 семьи, так как некоторые из семей, участвовавших в программе FFCWS, были исключены из них по соображениям приватности.

145 добилась корреляции 0,22…: При подсчете точности организаторы состязания использовали тот же самый показатель, который мы представили в части I: среднеквадратичное отклонение, или MSE. Для облегчения сопоставления результатов они также при расчете MSE взяли за эталон «бесполезную» стратегию прогнозирования: т. е. «уравнительный» прогноз, когда каждый индивидуальный случай не отличается от среднего по выборке, на которой проводилась тренировка. Для удобства мы конвертировали полученный результат в коэффициент корреляции. MSE и корреляция связаны формулой r² = (Var(Y) – MSE) / Var(Y), где Var(Y) – дисперсия результирующей переменной, а (Var(Y) – MSE) – дисперсия спрогнозированного итогового результата.

146 В более обширном обзоре по социальной психологии…: F. D. Richard et al., “One Hundred Years of Social Psychology Quantitatively Described”, Review of General Psychology 7, no. 4 (2003): 331–363.

147 Обзор 708 исследований…: Gilles E. Gignac and Eva T. Szodorai, “Effect Size Guidelines for Individual Differences Researchers”, Personality and Individual Differences 102 (2016): 74–78.

148 «Исследователи должны согласовывать…»: Небольшая оговорка: по плану исследователи работают с имеющейся базой данных, которая достаточно велика, однако специально не предназначена для прогнозирования конкретных исходов. В этом состоит их важное отличие от экспертов из книги Тетлока – те были вольны использовать любую информацию, которую сами сочли подходящей. Не возбраняется, к примеру, распознать предвещающие выселение факторы, которые отсутствуют в базе данных, однако их вполне можно отыскать. А значит, в ходе исследования мы узнали не насколько в действительности непредсказуемы выселение и другие исходы, а насколько непредсказуемы они на основании конкретной и широко используемой социологами базы данных.

149 причинную цепочку…: Jake M. Hofman et al., “Prediction and Explanation in Social Systems”, Science 355 (2017): 486–488; Duncan J. Watts et al., “Explanation, Prediction, and Causality: Three Sides of the Same Coin?”, October 2018, 1–14, available through Center for Open Science, https://osf.io/bgwjc.

150 более естественный для нашего разума…: Сходная классификация мышления по категориям противопоставляет экстенсиональное (т. е. предметное) мышление интенциональному (умозрительному) мышлению. Amos Tversky and Daniel Kahneman, “Extensional Versus Intuitive Reasoning: The Conjunction Fallacy in Probability Judgment”, Psychological Review 4 (1983): 293–315.

151 взгляд в прошлое…: Daniel Kahneman and Dale T. Miller, “Norm Theory: Comparing Reality to Its Alternatives”, Psychological Review 93, no. 2 (1986): 136–153.

152 классических исследований феномена, получившего название «Я так и знал!»…: Baruch Fischhoff, “An Early History of Hindsight Research”, Social Cognition 25, no. 1 (2007): 10–13, doi:10.1521/soco.2007.25.1.10; Baruch Fischhoff, “Hindsight Is Not Equal to Foresight: The Effect of Outcome Knowledge on Judgment Under Uncertainty”, Journal of Experimental Psychology: Human Perception and Performance 1, no. 3 (1975): 288.

153 Система 2…: Daniel Kahneman, Thinking, Fast and Slow. New York: Farrar, Straus and Giroux, 2011.

Глава 13

154 Результаты первых четырех десятилетий…: Daniel Kahneman, Thinking, Fast and Slow (New York: Farrar, Straus and Giroux, 2011).

155 факты свидетельствуют…: Небольшая оговорка: психологи, изучающие искажения в суждениях, не ограничиваются пятью участниками в каждой группе, как показано на рисунке 12, и у них есть на то основания: поскольку оценки содержат шум, результаты попадания в каждой экспериментальной группе редко будут такими кучными, как на рисунке 12. Люди различаются в своей чувствительности к каждому искажению и не полностью игнорируют релевантные переменные. Например, при очень большом количестве участников можно практически однозначно подтвердить, что абсолютного пренебрежения масштабом не бывает: средняя вероятность того, что Гамбарди покинет свою должность, для трех лет все же немного выше, чем для двух лет. Тем не менее наш пример превосходно описывает пренебрежение масштабом, поскольку разница составляет мизерную долю от того, что можно было ожидать.

156 множество экспериментов…: Daniel Kahneman et al., eds., Judgment Under Uncertainty: Heuristics and Biases (New York: Cambridge University Press, 1982), chap. 6; Daniel Kahneman and Amos Tversky, “On the Psychology of Prediction”, Psychological Review 80, no. 4 (1973): 237–251.

157 текучесть кадров среди руководителей высокого ранга…: См. например Steven N. Kaplan and Bernadette A. Minton, “How Has CEO Turnover Changed?”, International Review of Finance 12, no. 1 (2012): 57–87. См. также Dirk Jenter and Katharina Lewellen, “Performance-Induced CEO Turnover”, Harvard Law School Forum on Corporate Governance, September 2, 2020, https://corpgov.law.harvard.edu/2020/09/02/performance-induced-ceo-turnover.

158 В решающий момент…: J. W. Rinzler, The Making of Star Wars: Return of the Jedi: The Definitive Story (New York: Del Rey, 2013), 64.

159 работы над сценарием…: Cass Sunstein, The World According to Star Wars (New York: HarperCollins, 2016).

160 выборочными и искаженными…: Мы заостряем здесь внимание на простом случае, когда человек только начал давать оценку, а предубеждение уже существует. Фактически даже при отсутствии такого предубеждения, по мере накопления фактов может развиться смещение в сторону конкретных выводов – из-за стремления к упрощению и логичности. А после того как сформируется предварительное умозаключение, заданность восприятия уже берет на себя руководство сбором и интерпретацией новых фактов.

161 даже если умозаключения ошибочны…: Данное когнитивное искажение получило название предвзятость убеждений. См. J. St. B. T. Evans, Julie L. Barson, and Paul Pollard, “On the Conflict between Logic and Belief in Syllogistic Reasoning”, Memory & Cognition 11, no. 3 (1983): 295–306.

162 Вот типовая демонстрация…: Dan Ariely, George Loewenstein, and Drazen Prelec, “Coherent Arbitrariness’: Stable Demand Curves Without Stable Preferences”, Quarterly Journal of Economics 118, no. 1 (2003): 73–105.

163 в процессе переговоров…: Adam D. Galinsky and T. Mussweiler, “First Offers as Anchors: The Role of Perspective-Taking and Negotiator Focus”, Journal of Personality and Social Psychology 81, no. 4 (2001): 657–669.

164 избыточную когерентность…: Solomon E. Asch, “Forming Impressions of Personality”, Journal of Abnormal and Social Psychology 41, no. 3 (1946): 258–290. В данной работе впервые использовался список выпадающих в разном порядке характеристик – как иллюстрация этого феномена.

165 в ходе одного из показательных исследований…: Steven K. Dallas et al., “Don’t Count Calorie Labeling Out: Calorie Counts on the Left Side of Menu Items Lead to Lower Calorie Food Choices”, Journal of Consumer Psychology 29, no. 1 (2019): 60–69.

Глава 14

166 наложения одной шкалы на другую…: S. S. Stevens, “On the Operation Known as Judgment”, American Scientist 54, no. 4 (December 1966): 385–401. Мы употребляем термин сопоставление в более широком смысле, чем Стивенс, который ограничивался только пропорциональными шкалами (их мы рассмотрим в главе 15).

167 систематические ошибки в оценках…: Данный пример впервые был представлен в книге Даниэля Канемана «Думай медленно… решай быстро» (Daniel Kahneman, Thinking, Fast and Slow (New York: Farrar, Straus and Giroux, 2011).

168 одинаковые числа…: Daniel Kahneman and Amos Tversky, “On the Psychology of Prediction”, Psychological Review 80 (1973): 237–251.

169 «Магическое число семь…»: G. A. Miller, “The Magical Number Seven, Plus or Minus Two: Some Limits on Our Capacity for Processing Information”, Psychological Review (1956): 63–97.

170 вынуждает применять исключительно сравнительные оценки…: R. D. Goffin and J. M. Olson, “Is It All Relative? Comparative Judgments and the Possible Improvement of Self-Ratings and Ratings of Others”, Perspectives on Psychological Science 6 (2011): 48–60.

Глава 15

171 опубликованной в 1998 году…: Daniel Kahneman, David Schkade, and Cass Sunstein, “Shared Outrage and Erratic Awards: The Psychology of Punitive Damages”, Journal of Risk and Uncertainty 16 (1998): 49–86, https://link.springer.com /article/10.1023/ A:1007710408413; и Cass Sunstein, Daniel Kahneman, and David Schkade, “Assessing Punitive Damages (with Notes on Cognition and Valuation in Law)”, Yale Law Journal 107, no. 7 (May 1998): 2071–2153. Затраты на исследование были по договоренности единовременно возмещены компанией Exxon, однако она не платила организаторам и не контролировала полученные в ходе эксперимента данные, а также заведомо не знала о его результатах до публикации в научной периодике.

172 «отсутствие разумных оснований для сомнения»…: A. Keane and P. McKeown, The Modern Law of Evidence (New York: Oxford University Press, 2014).

173 «это маловероятно»…: Andrew Mauboussin and Michael J. Mauboussin, “If You Say Something Is ‘Likely’, How Likely Do People Think It Is?”, Harvard Business Review, July 3, 2018.

174 новой BMW…: BMW v. Gore, 517 U.S. 559 (1996), https://supreme.justia.com/cases/federal/us/517/559.

175 гипотезу о возмущении…: Обсуждение роли эмоций при вынесении этических оценок см. J. Haidt, “The Emotional Dog and Its Rational Tail: A Social Intuitionist Approach to Moral Judgment”, Psychological Review 108, no. 4 (2001): 814–834; Joshua Greene, Moral Tribes: Emotion, Reason, and the Gap Between Us and Them (New York: Penguin Press, 2014).

176 Результаты показаны на рисунке 13…: Вас может озадачить – с учетом большого количества шума в данных оценках – очень высокая корреляция (0,98) между оценками степени возмущения и меры наказания, при том что такая корреляция выступает в поддержку гипотезы о возмущении. Однако недоумение исчезнет, как только вы вспомните, что корреляция рассчитывалась на основе усредненных оценок. Для 100 оценок шум (стандартное отклонение) сокращается в 10 раз. Чем больше оценок накапливается, тем менее значительным фактором становится шум. См. также главу 21.

177 людям свойственно мыслить в пропорциях…: S. S. Stevens, Psychophysics: Introduction to Its Perceptual, Neural and Social Prospects (New York: John Wiley & Sons, 1975).

178 «когерентным произволом»…: Dan Ariely, George Loewenstein, and Drazen Prelec, “‘Coherent Arbitrariness’: Stable Demand Curves Without Stable Preferences”, Quarterly Journal of Economics 118, no. 1 (2003): 73–106.

179 Перевод долларов в баллы…: Процесс ранжирования влечет за собой некоторую потерю информации, поскольку не сохраняются интервалы между оценками. Допустим, у нас есть всего три случая, по которым один из присяжных предлагает назначить компенсации в 10 млн, 2 млн и 1 млн долларов. Ясно, что, по его мнению, разница между суммами компенсации по первому и второму делам должна быть больше, чем по второму и третьему делам. Однако после ранжирования все интервалы будут одинаковы и равняться единице. Такая проблема может быть решена конвертацией оценок в стандартные баллы.

Глава 16

180 процесс в восприятии…: R. Blake and N. K. Logothetis, “Visual competition”, Nature Reviews Neuroscience 3 (2002) 13–21; M. A. Gernsbacher и M. E. Faust, “The Mechanism of Suppression: A Component of General Comprehension Skill”, Journal of Experimental Psychology: Learning, Memory, and Cognition 17 (March 1991): 245–262; и M. C. Stites and K. D. Federmeier, “Subsequent to Suppression: Downstream Comprehension Consequences of Noun/Verb Ambiguity in Natural Reading”, Journal of Experimental Psychology: Learning, Memory, and Cognition 41 (September 2015): 1497–1515.

181 уверены больше, чем следовало бы …: D. A. Moore and D. Schatz, “The three faces of overconfidence”, Social and Personality Psychology Compass 11, no. 8 (2017), article e12331.

182 собрать команду…: P. J. Lamberson and Scott Page, “Optimal forecasting groups”, Management Science 58, no. 4 (2012): 805–10. Выражаем благодарность Скотту Пейджу, который привлек наше внимание к этому источнику внутриэкспертного шума.

183 в свое время при попытке просканировать словарь…: Oliver P. John and Sanjay Srivastava, “The Big-Five Trait Taxonomy: History, Measurement, and Theoretical Perspectives”, in Handbook of Personality: Theory and Research, 2nd ed., ed. L. Pervin and Oliver P. John (New York: Guilford, 1999). Данная статья ссылается на работу Олпорта и Олдберта (1936) над словарем терминов английского языка, описывающих личность человека.

184 считается довольно высокой…: Ian W. Eisenberg, Patrick G. Bissett, A. Zeynep Enkavi et al., “Uncovering the structure of self-regulation through data-driven ontology discovery”, Nature Communications 10 (2019): 2319.

185 если ему угрожают физически…: Walter Mischel, “Toward an integrative science of the person”, Annual Review of Psychology 55 (2004): 1–22.

Глава 17

186 MSE разлагается на…: Принимая во внимание, что нет общего правила разложения на смещение и шум, пропорции на данном рисунке приблизительно отображают пропорции в некоторых из примеров, реальных или вымышленных, которые мы здесь рассматривали. В частности, на рисунке смещение и шум эквивалентны (как в примере с прогнозированием объемов сбыта компании GoodSell). Квадрат межэкспертного шума составляет 37 % квадрата системного шума (как и в эксперименте с компенсацией морального ущерба). Квадрат ситуативного шума на рисунке составляет около 35 % квадрата внутриэкспертного шума.

187 патентных ведомств…: См. ссылки к вступлению к данной книге. Mark A. Lemley and Bhaven Sampat, “Examiner Cha-racteristics and Patent Office Outcomes”, Review of Economics and Statistics 94, no. 3 (2012): 817–827. См. также Iain Cockburn, Samuel Kortum, and Scott Stern, “Are All Patent Examiners Equal? The Impact of Examiner Characteristics”, working paper 8980, June 2002, www.nber.org/papers/w8980; и Michael D. Frakes and Melissa F. Wasserman, “Is the Time Allocated to Review Patent Applications Inducing Examiners to Grant Invalid Patents? Evidence from Microlevel Application Data”, Review of Economics and Statistics 99, no. 3 (July 2017): 550–563.

188 служащие органов опеки…: Joseph J. Doyle Jr., “Child Protection and Child Outcomes: Measuring the Effects of Foster Care”, American Economic Review 95, no. 5 (December 2007): 1583–1610.

189 в решениях о предоставлении убежища…: Andrew I. Schoenholtz, Jaya Ramji-Nogales, and Philip G. Schrag, “Refugee Roulette: Disparities in Asylum Adjudication”, Stanford Law Review 60, no. 2 (2007).

190 около 2,8 года…: Это число следует из приведенных в главе 6 расчетов, где разброс взаимодействия составляет 23 % всего разброса. Будем считать, что сроки приговора подчиняются закону нормального распределения. Исходя из этого допущения, средняя абсолютная разница между двумя случайно выбранными сроками приговоров равна 1,128 стандартного отклонения.

191 Группа исследователей из Принстона…: J. E. Martinez, B. Labbree, S. Uddenberg, and A. Todorov, “Meaningful ‘noise’: Comparative judgments contain stable idiosyncratic contributions” (unpublished ms.).

192 по проблеме освобождения обвиняемых под залог…: J. Kleinberg, H. Lakkaraju, J. Leskovec, J. Ludwig, and S. Mullainathan, “Human Decisions and Machine Predictions”, Quarterly Journal of Economics 133 (2018): 237–293.

193 заставили модели вынести решения…: Модель имитировала для каждого судьи как упорядочение преступлений по степени тяжести для 141 833 дел, так и порог освобождения под залог. Межэкспертный шум отражает вариативность в пороговых значениях, в то время как внутриэкспертный шум – вариативность в упорядочении преступлений.

194 постоянного внутриэкспертного шума…: Gregory Stoddard, Jens Ludwig, and Sendhil Mullainathan, e-mail exchanges with authors, June – July 2020.

195 Фил Розенцвейг убедительно доказал…: Phil Rosenzweig. Left Brain, Right Stuff: How Leaders Make Winning Decisions (New York: PublicAffairs, 2014).

Глава 18

196 если «толпа» состоит из компетентных людей…: Albert E. Mannes et al., “The Wisdom of Select Crowds”, Journal of Personality and Social Psychology 107, no. 2 (2014): 276–299; Jason Dana et al., “The Composition of Optimally Wise Crowds”, Decision Analysis 12, no. 3 (2015): 130–143.

197 Эвристика доверия…: Briony D. Pulford, Andrew M. Colmna, Eike K. Buabang, and Eva M. Krockow, “The Persuasive Power of Knowledge: Testing the Confidence Heuristic”, Journal of Experimental Psychology: General 147, no. 10 (2018): 1431–1444.

198 интеллект способствует не только…: Nathan R. Kuncel and Sarah A. Hezlett, “Fact and Fiction in Cognitive Ability Testing for Admissions and Hiring Decisions”, Current Directions in Psychological Science 19, no. 6 (2010): 339–345.

199 давно укоренившиеся ложные представления…: Kuncel and Hezlett, “Fact and Fiction”.

200 В одном из обзоров сообщалось…: Frank L. Schmidt and John Hunter, “General Mental Ability in the World of Work: Occupational Attainment and Job Performance”, Journal of Personality and Social Psychology 86, no. 1 (2004): 162.

201 добросовестность и упорство в достижении цели…: Angela L. Duckworth, David Weir, Eli Tsukayama, and David Kwok, “Who Does Well in Life? Conscientious Adults Excel in Both Objective and Subjective Success”, Frontiers in Psychology 3 (September 2012). По поводу «упорства в достижении цели» см. Angela L. Duckworth, Christopher Peterson, Michael D. Matthews, and Dennis Kelly, “Grit: Perseverance and Passion for Long-Term Goals”, Journal of Personality and Social Psychology 92, no. 6 (2007): 1087–1101.

202 и интеллект подвижный…: Richard E. Nisbett et al., “Intelligence: New Findings and Theoretical Developments”, American Psychologist 67, no. 2 (2012): 130–159.

203 гораздо шире, нежели у иных методов…: Schmidt and Hunter, “Occupational Attainment”, 162.

204 в область 0,5…: Kuncel and Hezlett, “Fact and Fiction”.

205 с точки зрения социологии…: Значения коэффициента корреляции выводятся посредством мета-анализа, корректирующего наблюдаемую корреляцию в части ошибок измерения критериев и ограничений диапазона. В исследовательских кругах ведутся споры по поводу возможности переоценки предиктивного значения GMA за счет корректировок. Однако, если данная методологическая дискуссия переходит на иные прогнозные индикаторы, эксперты в основном соглашаются, что GMA (как и тестирование образцов выполненных работ – см. главу 24) – наилучший из имеющихся прогнозных индикаторов успешной работы в дальнейшем. См. Kuncel and Hezlett, “Fact and Fiction”.

206 практически не встретишь специалистов с уровнем интеллекта ниже среднего…: Schmidt and Hunter, “Occupational Attainment”, 162.

207 Возьмем лишь один процент населения…: David Lubinski, “Exceptional Cognitive Ability: The Phenotype”, Behavior Genetics 39, no. 4 (2009): 350–358.

208 в 2013 году проведено исследование в среде руководителей компаний, входящих в перечень 500 наиболее успешных по рейтингу Fortune…: Jonathan Wai, “Investigating America’s Elite: Cognitive Ability, Education, and Sex Differences”, Intelligence 41, no. 4 (2013): 203–211.

209 Применяют при измерении когнитивной рефлексии и другие вопросы…: Keela S. Thomson and Daniel M. Oppenheimer, “Investigating an Alternate Form of the Cognitive Reflection Test”, Judgment and Decision Making 11, no. 1 (2016): 99–113.

210 Низкий итоговый балл определяет…: Gordon Pennycook et al., “Everyday Consequences of Analytic Thinking”, Current Directions in Psychological Science 24, no. 6 (2015): 425–432.

211 купитесь ли вы на фейковую новость…: Gordon Pennycook and David G. Rand, “Lazy, Not Biased: Susceptibility to Partisan Fake News Is Better Explained by Lack of Reasoning than by Motivated Reasoning”, Cognition 188 (June 2018): 39–50.

212 о степени вашей зависимости от смартфона…: Nathaniel Barr et al., “The Brain in Your Pocket: Evidence That Smartphones Are Used to Supplant Thinking”, Computers in Human Behavior 48 (2015): 473–480.

213 как инструмент измерения склонности к рефлексии…: Niraj Patel, S. Glenn Baker, and Laura D. Scherer, “Evaluating the Cognitive Reflection Test as a Measure of Intuition/Reflection, Numeracy, and Insight Problem Solving, and the Implications for Understanding Real-World Judgments and Beliefs”, Journal of Experimental Psychology: General 148, no. 12 (2019): 2129–2153.

214 Шкала измерения потребности в познании…: John T. Cacioppo and Richard E. Petty, “The Need for Cognition”, Journal of Personality and Social Psychology 42, no. 1 (1982): 116–131.

215 менее восприимчив к известным когнитивным искажениям…: Stephen M. Smith and Irwin P. Levin, “Need for Cognition and Choice Framing Effects”, Journal of Behavioral Decision Making 9, no. 4 (1996): 283–290.

216 раскрывающих суть интриги…: Judith E. Rosenbaum and Benjamin K. Johnson, “Who’s Afraid of Spoilers? Need for Cognition, Need for Affect, and Narrative Selection and Enjoyment”, Psychology of Popular Media Culture 5, no. 3 (2016): 273–289.

217 тест «Способность к зрелым решениям»…: Wandi Bruine De Bruin et al., “Individual Differences in Adult Decision-Making Com-petence”, Journal of Personality and Social Psychology 92, no. 5 (2007): 938–956.

218 тест Дайаны Халперн «Оценка критического мышления»…: Heather A. Butler, “Halpern Critical Thinking Assessment Predicts Real-World Outcomes of Critical Thinking”, Applied Cognitive Psychology 26, no. 5 (2012): 721–729.

219 могли бы определить хорошего прогнозиста…: Uriel Haran, Ilana Ritov, and Barbara Mellers, “The Role of Actively Open-Minded Thinking in Information Acquisition, Accuracy, and Calibration”, Judgment and Decision Making 8, no. 3 (2013): 188–201.

220 «активного открытого мышления»…: Haran, Ritov, and Mellers, “Role of Actively Open-Minded Thinking”.

221 можно научить…: J. Baron, “Why Teach Thinking? An Essay”, Applied Psychology: An International Review 42 (1993): 191–214; J. Baron, The Teaching of Thinking: Thinking and Deciding, 2nd ed. (New York: Cambridge University Press, 1994), 127–148.

Глава 19

222 их основные выводы…: Тем, кто желает ознакомиться с блестящим обзором, рекомендуем Jack B. Soll et al., “A User’s Guide to Debiasing”, in The Wiley Blackwell Handbook of Judgment and Decision Making, ed. Gideon Keren and George Wu, vol. 2 (New York: John Wiley & Sons, 2015), 684.

223 «Зеленую книгу»…: HM Treasury, The Green Book: Central Government Guidance on Appraisal and Evaluation (London: UK Crown, 2018), https://assets.publishing.service.gov.uk/government/uploads/system/uploads /attachment_data/file/685903/The_Green_Book.pdf.

224 толчок к действию…: Richard H. Thaler and Cass R. Sunstein, Nudge: Improving Decisions about Health, Wealth, and Happiness (New Haven, CT: Yale University Press, 2008).

225 бустинг…: Ralph Hertwig and Till Grüne-Yanoff, “Nudging and Boosting: Steering or Empowering Good Decisions”, Perspectives on Psychological Science 12, no. 6 (2017).

226 образование – мера полезная…: Geoffrey T. Fong et al., “The Effects of Statistical Training on Thinking About Everyday Problems”, Cognitive Psychology 18, no. 3 (1986): 253–292.

227 точно так же способен проявлять чрезмерную уверенность…: Willem A. Wagenaar and Gideon B. Keren, “Does Expert Know? The Reliability of Predictions and Confidence Ratings of Experts”, Intelligent Decision Support in Process Environments (1986): 87–103.

228 снижали количество допущенных промахов…: Carey K. Morewedge et al., “Debiasing Decisions: Improved Decision Making with a Single Training Intervention”, Policy Insights from the Behavioral and Brain Sciences 2, no. 1 (2015): 129–140.

229 применяли полученные навыки…: Anne-Laure Sellier et al., “Debiasing Training Transfers to Improve Decision Making in the Field”, Psychological Science 30, no. 9 (2019): 1371–1379.

230 мертвая зона когнитивных искажений…: Emily Pronin et al., “The Bias Blind Spot: Perceptions of Bias in Self Versus Others”, Personality and Social Psychology Bulletin 28, no. 3 (2002): 369–381.

231 искажения, способные повлиять…: Daniel Kahneman, Dan Lovallo, and Olivier Sibony, “Before You Make That Big Decision…”, Harvard Business Review 89, no. 6 (June 2011): 50–60.

232 чек-лист… имеет долгую историю…: Atul Gawande, Checklist Manifesto: How to Get Things Right (New York: Metropolitan Books, 2010).

233 упрощенный перечень контрольных вопросов…: Office of Information and Regulatory Affairs, “Agency Checklist: Regulatory Impact Analysis”, no date, www.whitehouse.gov/sites/whitehouse.gov/files/omb/inforeg/inforeg/regpol/RIA_Checklist.pdf.

234 мы привели…: Данный чек-лист заимствован (и частично адаптирован) из Daniel Kahneman et al., “Before You Make That Big Decision”, Harvard Business Review.

235 получить «добро» на его применение…: См. Gawande, Checklist Manifesto.

Глава 20

236 «человеческим фактором»…: R. Stacey, “A Report on the Erroneous Fingerprint Individualisation in the Madrid Train Bombing Case”, Journal of Forensic Identification 54 (2004): 707–718.

237 на сайте ФБР…: Michael Specter, “Do Fingerprints Lie?”, The New Yorker, May 27, 2002. Добавлено выделение курсивом.

238 Цитируем Дрора…: I. E. Dror and R. Rosenthal, “Meta-analytically Quantifying the Reliability and Biasability of Forensic Experts”, Journal of Forensic Science 53 (2008): 900–903.

239 В ходе первого эксперимента…: I. E. Dror, D. Charlton, and A. E. Pе́ron, “Contextual Information Renders Experts Vulnerable to Making Erroneous Identifications”, Forensic Science International 156 (2006): 74–78.

240 Во время второго эксперимента…: I. E. Dror amd D. Charlton, “Why Experts Make Errors”, Journal of Forensic Identification 56 (2006): 600–616.

241 дактилоскопист…: E. Dror and S. A. Cole, “The Vision in ‘Blind’ Justice: Expert Perception, Judgment, and Visual Cognition in Forensic Pattern Recognition”, Psychonomic Bulletin and Review 17 (2010): 161–167, 165. См. также I. E. Dror, “A Hierarchy of Expert Performance (HEP)”, Journal of Applied Research in Memory and Cognition (2016): 1–6.

242 В одном из исследований…: I. E. Dror et al., “Cognitive Issues in Fingerprint Analysis: Inter- and Intra-Expert Consistency and the Effect of a ‘Target’ Comparison”, Forensic Science International 208 (2011): 10–17.

243 Позднее проводилось еще одно независимое исследование…: B. T. Ulery, R. A. Hicklin, M. A. Roberts, and J. A. Buscaglia, “Changes in Latent Fingerprint Examiners’ Markup Between Analysis and Comparison”, Forensic Science International 247 (2015): 54–61.

244 Даже анализ ДНК…: I. E. Dror and G. Hampikian, “Subjectivity and Bias in Forensic DNA Mixture Interpretation”, Science and Justice 51 (2011): 204–208.

245 эксперты частенько получают ее…: M. J. Saks, D. M. Risinger, R. Rosenthal, and W. C. Thompson, “Context Effects in Forensic Science: A Review and Application of the Science of Science to Crime Laboratory Practice in the United States”, Science Justice Journal of Forensic Science Society 43 (2003): 77–90.

246 верификатор знает…: President’s Council of Advisors on Science and Technology (PCAST), Report to the President: Forensic Science in Criminal Courts: Ensuring Scientific Validity of Feature-Comparison Methods (Washington, DC: Executive Office of the President, PCAST, 2016).

247 Позднее, при расследовании происшествия…: Stacey, “Erroneous Fingerprint”.

248 уважаемый независимый эксперт…: Dror and Cole, “Vision in ‘Blind’ Justice”.

249 наслоение искажающих эффектов…: I. E. Dror, “Biases in Forensic Experts”, Science 360 (2018): 243.

250 Порой дактилоскопист может изменить свое суждение…: Dror and Charlton, “Why Experts Make Errors”.

251 в 2012 году было проведено масштабное исследование…: B. T. Ulery, R. A. Hicklin, J. A. Buscaglia, and M. A. Roberts, “Repeatability and Reproducibility of Decisions by Latent Fingerprint Examiners”, PLoS One 7 (2012).

252 «Проекта Невиновность»…: Innocence Project, “Overturning Wrongful Convictions Involving Misapplied Forensics”, Misapplication of Forensic Science (2018): 1–7, www.innocenceproject.org/causes/misapplication-forensic-science. См. также S. M. Kassin, I. E. Dror, J. Kukucka, and L. Butt, “The Forensic Confirmation Bias: Problems, Perspectives, and Proposed Solutions”, Journal of Applied Research in Memory and Cognition 2 (2013): 42–52.

253 подробный обзор…: PCAST, Report to the President.

254 отчета о масштабном исследовании точности дактилоскопической идентификации…: B. T. Ulery, R. A. Hicklin, J. Buscaglia, and M. A. Roberts, “Accuracy and Reliability of Forensic Latent Fingerprint Decisions”, Proceedings of the National Academy of Sciences 108 (2011): 7733–7738.

255 гораздо выше…: (PCAST), Report to the President, p. 95.

256 во Флориде проводилось повторное исследование…: Igor Pacheco, Brian Cerchiai, and Stephanie Stoiloff, “Miami-Dade Research Study for the Reliability of the ACE-V Process: Accuracy & Precision in Latent Fingerprint Examinations”, final report, Miami-Dade Police Department Forensic Services Bureau, 2014, www.ncjrs.gov/pdffiles1/nij/grants/248534.pdf.

257 в подавляющем большинстве реальных дел…: B. T. Ulery, R. A. Hicklin, M. A. Roberts, and J. A. Buscaglia, “Factors Associated with Latent Fingerprint Exclusion Determinations”, Forensic Science International 275 (2017): 65–75.

258 гораздо меньше ложноположительных оценок…: R. N. Haber and I. Haber, “Experimental Results of Fingerprint Comparison Validity and Reliability: A Review and Critical Analysis”, Science & Justice 54 (2014): 375–389.

259 Психологическое давление на криминалиста куда чаще приведет…: Dror, “Hierarchy of Expert Performance”, 3.

260 «стоит поискать работу в Диснейленде»…: M. Leadbetter, letter to the editor, Fingerprint World 33 (2007): 231.

261 «никоим образом не влияет на изменение суждения»…: L. Butt, “The Forensic Confirmation Bias: Problems, Perspectives and Proposed Solutions – Commentary by a Forensic Examiner”, Journal of Applied Research in Memory and Cognition 2 (2013): 59–60. Добавлено выделение курсивом.

262 Даже ФБР…: Stacey, “Erroneous Fingerprint”, 713. Добавлено выделение курсивом.

263 об опросе четырехсот…: J. Kukucka, S. M. Kassin, P. A. Zapf, and I. E. Dror, “Cognitive Bias and Blindness: A Global Survey of Forensic Science Examiners”, Journal of Applied Research in Memory and Cognition 6 (2017).

264 линейной последовательности раскрытия информации…: I. E. Dror et al., letter to the editor: “Context Management Toolbox: A Linear Sequential Unmasking (LSU) Approach for Minimizing Cognitive Bias in Forensic Decision Making”, Journal of Forensic Science 60 (2015): 1111–1112.

Глава 21

265 правительственные агентства…: Jeffrey A. Frankel, “Over-optimism in Forecasts by Official Budget Agencies and Its Implications”, working paper 17239, National Bureau of Economic Research, December 2011, www.nber.org/papers /w17239.

266 склонны к чрезмерной уверенности…: H. R. Arkes, “Overconfidence in Judgmental Forecasting”, in Principles of Forecasting: A Handbook for Researchers and Practitioners, ed. Jon Scott Armstrong, vol. 30, International Series in Operations Research & Management Science (Boston: Springer, 2001).

267 публикующий квартальные прогнозы…: Itzhak Ben-David, John Graham, and Campell Harvey, “Managerial Miscalibration”, The Quarterly Journal of Economics 128, no. 4 (November 2013): 1547–1584.

268 ненадежность аналитика является источником…: T. R. Stewart, “Improving Reliability of Judgmental Forecasts”, in Principles of Forecasting: A Handbook for Researchers and Practitioners, ed. Jon Scott Armstrong, vol. 30, International Series in Operations Research & Management Science (Boston: Springer, 2001) (здесь и далее – Principles of Forecasting), 82.

269 спрогнозировать, как Верховный суд разрешит тот или иной вопрос права…: Theodore W. Ruger, Pauline T. Kim, Andrew D. Martin, and Kevin M. Quinn, “The Supreme Court Forecasting Project: Legal and Political Science Approaches to Predicting Supreme Court Decision-Making”, Columbia Law Review 104 (2004): 1150–1209.

270 законодательства о загрязнении воздуха…: Cass Sunstein, “Maximin”, Yale Journal of Regulation (draft; May 3, 2020), https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3476250.

271 множество примеров…: Большое количество примеров приведено в Armstrong, Principles of Forecasting.

272 усреднение большого числа прогнозов…: Jon Scott Armstrong, “Combining Forecasts”, in Principles of Forecasting, 417–439.

273 превосходит в точности большинство…: T. R. Stewart, “Improving Reliability of Judgmental Forecasts”, in Principles of Forecasting, 95.

274 в среднем на 12,5%…: Armstrong, “Combining Forecasts”.

275 направленного выбора человека из толпы…: Albert E. Mannes et al., “The Wisdom of Select Crowds”, Journal of Personality and Social Psychology 107, no. 2 (2014): 276–299.

276 В основном такие объединения показывают свою эффективность…: Justin Wolfers and Eric Zitzewitz, “Prediction Markets”, Journal of Economic Perspectives 18 (2004): 107–126.

277 пользуются информацией, поступающей с рынка предсказаний…: Cass R. Sunstein and Reid Hastie, Wiser: Getting Beyond Groupthink to Make Groups Smarter (Boston: Harvard Business Review Press, 2014).

278 метод «Дельфи»…: Gene Rowe and George Wright, “The Delphi Technique as a Forecasting Tool: Issues and Analysis”, International Journal of Forecasting 15 (1999): 353–375. См. также Dan Bang and Chris D. Frith, “Making Better Decisions in Groups”, Royal Society Open Science 4, no. 8 (2017).

279 довольно сложна в реализации…: R. Hastie, “Review Essay: Experimental Evidence on Group Accuracy”, in B. Grofman and G. Guillermo, eds., Information Pooling and Group Decision Making (Greenwich, CT: JAI Press, 1986), 129–157.

280 «Мини-Дельфи»: Andrew H. Van De Ven and Andrе́ L. Delbecq, “The Effectiveness of Nominal, Delphi, and Interacting Group Decision Making Processes”, Academy of Management Journal 17, no. 4 (2017).

281 куда лучших результатов…: Superforecasting, 95.

282 сильнейшим сигналом…: Superforecasting, 231.

283 пытаться, терпеть неудачи, анализировать…: Superforecasting, 273.

284 сложный статистический метод…: Ville A. Satopää, Marat Salikhov, Philip E. Tetlock, and Barb Mellers, “Bias, Information, Noise: The BIN Model of Forecasting”, February 19, 2020, 23, https://dx.doi.org/10.2139/ssrn.3540864.

285 когда применяемые меры…: Satopää et al., “Bias, Information, Noise”, 23.

286 Командная работа, в отличие от обучающего метода…: Satopää et al., 22.

287 «Суперпредсказатели, вероятно, обязаны…»: Satopää et al., 24.

288 будут работать автономно и в то же время смогут дополнять друг друга…: Clintin P. Davis-Stober, David V. Budescu, Stephen B. Broomell, and Jason Dana. “The composition of optimally wise crowds”. Decision Analysis 12, no. 3 (2015): 130–143.

Глава 22

289 при определении дистрофии связочного аппарата…: Laura Horton et al., “Development and Assessment of Inter- and Intra-Rater Reliability of a Novel Ultrasound Tool for Scoring Tendon and Sheath Disease: A Pilot Study”, Ultrasound 24, no. 3 (2016): 134, www.ncbi.nlm.nih.gov/pmc/articles/PMC5105362.

290 врач оценит образец ткани…: Laura C. Collins et al., “Diagnostic Agreement in the Evaluation of Image-guided Breast Core Needle Biopsies”, American Journal of Surgical Pathology 28 (2004): 126, https://journals.lww.com/ajsp/Abstract/2004/01000/Diagnostic_Agreement_in_the_Evaluation_of.15.aspx.

291 Если подобный тест не сделать…: Julie L. Fierro et al., “Variability in the Diagnosis and Treatment of Group A Streptococcal Pharyngitis by Primary Care Pediatricians”, Infection Control and Hospital Epidemiology 35, no. S3 (2014): S79, www.jstor.org/stable/ 10.1086/677820.

292 Вам наверняка диагностируют диабет…: Diabetes Tests, Centers for Disease Control and Prevention, https://www.cdc.gov/diabetes/basics/getting-tested.html (last accessed January 15, 2020).

293 обычно советуют получить второе мнение…: Joseph D. Kronz et al., “Mandatory Second Opinion Surgical Pathology at a Large Referral Hospital”, Cancer 86 (1999): 2426, https://onlinelibrary.wiley.com/doi/full/10.1002/(SICI)1097–0142(19991201) 86:11%3C2426:: AID-CNCR34%3E3.0.CO;2–3.

294 проект «Дартмутский атлас»…: Основную информацию можно найти в Интернете; имеется также обширный материал – Dartmouth Medical School, The Quality of Medical Care in the United States: A Report on the Medicare Program; the Dartmouth Atlas of Health Care 1999 (American Hospital Publishers, 1999).

295 Подобные недочеты отмечены…: Например, см. OECD, Geographic Variations in Health Care: What Do We Know and What Can Be Done to Improve Health System Performance? (Paris: OECD Publishing, 2014), 137–169; Michael P. Hurley et al., “Geographic Variation in Surgical Outcomes and Cost Between the United States and Japan”, American Journal of Managed Care 22 (2016): 600, www.ajmc.com/journals/issue/2016/2016-vol22-n9/geographic-variation-in-surgical-outcomes-and-cost-between-the-united-states-and-japan; и John Appleby, Veena Raleigh, Francesca Frosini, Gwyn Bevan, Haiyan Gao, and Tom Lyscom, Variations in Health Care: The Good, the Bad and the Inexplicable (London: The King’s Fund, 2011), www.kingsfund.org.uk/sites/default/files /Variations-in-health-care-good-bad-inexplicable-report-The-Kings-Fund-April‑2011.pdf.

296 как описывают картину пневмонии разные рентгенологи…: David C. Chan Jr. et al., “Selection with Variation in Diagnostic Skill: Evidence from Radiologists”, National Bureau of Economic Research, NBER Working Paper No. 26467, November 2019, www.nber.org/papers/w26467.

297 В медицине, как, впрочем, и везде, обучение…: P. J. Robinson, “Radiology’s Achilles’ Heel: Error and Variation in the Interpretation of the Rontgen Image”, British Journal of Radiology 70 (1997): 1085, www.ncbi.nlm.nih.gov/pubmed/9536897. Очень важное исследование – Yusuke Tsugawa et al., “Physician Age and Outcomes in Elderly Patients in Hospital in the US: Observational Study”, BMJ 357 (2017), www.bmj.com/content/357/bmj.j1797 – выявило, что эффективность врача тем хуже, чем реже он проходит обучение. Авторы отмечают, что имеется некий компромисс между опытом, накопленным за годы практики, и владением наиболее актуальной информацией и современными методическими указаниями. Исследователи установили, что лучших результатов достигают врачи, незадолго до того закончившие ординатуру, у которых еще свежа в памяти подобная информация.

298 Рентгенологи, например, называют…: Robinson, “Radiology’s Achilles’ Heel”.

299 каппа-статистики…: Подобно коэффициенту корреляции, число каппа может быть и отрицательным, хотя на практике подобное явление встречается редко. Приведем пример различных значений каппы: «слабо (κ = 0,00 до 0,20), удовлетворительно (κ = 0,21 до 0,40), умеренно (κ = 0,41 до 0,60), очень хорошо (κ = 0,61 до 0,80) и почти идеально (κ > 0,80)» (Ron Wald, Chaim M. Bell, Rosane Nisenbaum, Samuel Perrone, Orfeas Liangos, Andreas Laupacis, and Bertrand L. Jaber, “Interobserver Reliability of Urine Sediment Interpretation”, Clinical Journal of the American Society of Nephrology 4, no. 3 [March 2009]: 567–571, https://cjasn.asnjournals.org/content/4/3/567).

300 взаимодействия лекарственных препаратов…: Howard R. Strasberg et al., “Inter-Rater Agreement Among Physicians on the Clinical Significance of Drug-Drug Interactions”, AMIA Annual Symposium Proceedings (2013): 1325, www.ncbi.nlm.nih.gov/pmc/articles/PMC3900147.

301 И все же нефрологи… демонстрируют в своих суждениях…: Wald et al., “Interobserver Reliability of Urine Sediment Interpretation”, https://cjasn.asnjournals.org/content/4/3/567.

302 определение злокачественности поражения молочной железы…: Juan P. Palazzo et al., “Hyperplastic Ductal and Lobular Lesions and Carcinomas in Situ of the Breast: Reproducibility of Current Diagnostic Criteria Among Community-and Academic-Based Pathologists”, Breast Journal 4 (2003): 230, www.ncbi.nlm.nih.gov/pubmed/21223441.

303 пролиферирующего поражения молочной железы…: Rohit K. Jain et al., “Atypical Ductal Hyperplasia: Interobserver and Intraobserver Variability”, Modern Pathology 24 (2011): 917, www.nature.com/articles/modpathol201166.

304 стадии спинального стеноза…: Alex C. Speciale et al., “Observer Variability in Assessing Lumbar Spinal Stenosis Severity on Magnetic Resonance Imaging and Its Relation to Cross-Sectional Spinal Canal Area”, Spine 27 (2002): 1082, www.ncbi.nlm.nih.gov/pubmed/ 12004176.

305 Заболевания сердца – основная причина…: Centers for Disease Control and Prevention, “Heart Disease Facts”, accessed June 16, 2020, www.cdc.gov/heartdisease/facts.htm.

306 Исследования, проводившиеся много лет назад, выявили, что в тридцати одном случае из ста…: Timothy A. DeRouen et al., “Variability in the Analysis of Coronary Arteriograms”, Circulation 55 (1977): 324, www.ncbi.nlm.nih.gov/pubmed/832349.

307 Разброс суждений оказался значительным…: Olaf Buchweltz et al., “Interobserver Variability in the Diagnosis of Minimal and Mild Endometriosis”, European Journal of Obstetrics & Gynecology and Reproductive Biology 122 (2005): 213, www.ejog.org/article/S0301–2115(05)00059-X/pdf.

308 значительный разброс мнений…: Jean-Pierre Zellweger et al., “Intra-observer and Overall Agreement in the Radiological Assessment of Tuberculosis”, International Journal of Tuberculosis & Lung Disease 10 (2006): 1123, www.ncbi.nlm.nih.gov/pubmed/17044205. Об «удовлетворительной» степени межэкспертного согласия см. Yanina Balabanova et al., “Variability in Interpretation of Chest Radiographs Among Russian Clinicians and Implications for Screening Programmes: Observational Study”, BMJ 331 (2005): 379, www.bmj.com/content /331/7513/379.short.

309 рентгенологов разных стран…: Shinsaku Sakurada et al., “Inter-Rater Agreement in the Assessment of Abnormal Chest X-Ray Findings for Tuberculosis Between Two Asian Countries”, BMC Infectious Diseases 12, article 31 (2012), https://bmcinfectdis.biomedcentral.com/articles/10.1186 /1471–2334–12–31.

310 Восемь специалистов лабораторной диагностики, рассматривавшие…: Evan R. Farmer et al., “Discordance in the Histopathologic Diagnosis of Melanoma and Melanocytic Nevi Between Expert Pathologists”, Human Pathology 27 (1996): 528, www.ncbi.nlm.nih.gov/pubmed/8666360.

311 Еще один эксперимент, проведенный в онкологическом центре…: Alfred W. Kopf, M. Mintzis, and R. S. Bart, “Diagnostic Accuracy in Malignant Melanoma”, Archives of Dermatology 111 (1975): 1291, www.ncbi.nlm.nih.gov/pubmed/1190800.

312 Авторы исследования пришли к выводу…: Maria Miller and A. Bernard Ackerman, “How Accurate Are Dermatologists in the Diagnosis of Melanoma? Degree of Accuracy and Implications”, Archives of Dermatology 128 (1992): 559, https://jamanetwork.com/journals/jamadermatology/fullarticle/554024.

313 Сходным образом варьируют и ложноположительные диагнозы…: Craig A. Beam et al., “Variability in the Interpretation of Screening Mammograms by US Radiologists”, Archives of Internal Medicine 156 (1996): 209, www.ncbi.nlm.nih.gov/pubmed/ 8546556.

314 Рентгенологи порой меняют…: P. J. Robinson et al., “Variation Between Experienced Observers in the Interpretation of Accident and Emergency Radiographs”, British Journal of Radiology 72 (1999): 323, www.birpublications.org/doi/pdf/10.1259/bjr.72.856.10474490.

315 степень закупорки сосуда на коронарограмме…: Katherine M. Detre et al., “Observer Agreement in Evaluating Coronary Angiograms”, Circulation 52 (1975): 979, www.ncbi.nlm.nih.gov/pubmed/1102142.

316 В тех областях, где критерии диагностики определены расплывчато…: Horton et al., “Inter- and Intra-Rater Reliability”; и Megan Banky et al., “Inter- and Intra-Rater Variability of Testing Velocity When Assessing Lower Limb Spasticity”, Journal of Rehabilitation Medicine 51 (2019), www.medicaljournals.se/jrm/content/abstract/10.2340/16501977–2496.

317 Однако другой эксперимент (в котором, правда, проблемы диагностики не фигурируют)…: Esther Y. Hsiang et al., “Association of Primary Care Clinic Appointment Time with Clinician Ordering and Patient Completion of Breast and Colorectal Cancer Screening”, JAMA Network Open 51 (2019), https://jamanetwork.com/journals/jamanetworkopen/fullarticle/2733171.

318 вот и еще одно доказательство той роли…: Hengchen Dai et al., “The Impact of Time at Work and Time Off from Work on Rule Compliance: The Case of Hand Hygiene in Health Care”, Journal of Applied Psychology 100 (2015): 846, www.ncbi.nlm.nih.gov/pubmed/25365728.

319 серьезным подспорьем…: Ali S. Raja, “The HEART Score Has Substantial Interrater Reliability”, NEJM J Watch, December 5, 2018, www.jwatch.org /na47998/2018/12/05/heart-score-has-substantial-interrater-reliability (reviewing Colin A. Gershon et al., “Inter-rater Reliability of the HEART Score”, Academic Emergency Medicine 26 [2019]: 552).

320 Мы уже говорили, что обучение…: Jean-Pierre Zellweger et al., “Intra-observer and Overall Agreement in the Radiological Assessment of Tuberculosis”, International Journal of Tuberculosis & Lung Disease 10 (2006): 1123, www.ncbi.nlm.nih.gov/pubmed/17044205; Ibrahim Abubakar et al., “Diagnostic Accuracy of Digital Chest Radiography for Pulmonary Tuberculosis in a UK Urban Population”, European Respiratory Journal 35 (2010): 689, https://erj.ersjournals.com/content/35/3/689.short.

321 Той же цели служит и обобщение…: Michael L. Barnett et al., “Comparative Accuracy of Diagnosis by Collective Intelligence of Multiple Physicians vs Individual Physicians”, JAMA Network Open 2 (2019): e19009, https://jamanetwork.com/journals/jamanetwork-open/fullarticle/2726709; Kimberly H. Allison et al., “Understanding Diagnostic Variability in Breast Pathology: Lessons Learned from an Expert Consensus Review Panel”, Histopathology 65 (2014): 240, https://onlinelibrary.wiley.com/doi/abs/10.1111/his.12387.

322 Выясняется, что лучшие из подобных программ…: Babak Ehteshami Bejnordi et al., “Diagnostic Assessment of Deep Learning Algorithms for Detection of Lymph Node Metastases in Women with Breast Cancer”, JAMA 318 (2017): 2199, https://jamanetwork.com/journals/jama/fullarticle/2665774.

323 самообучающиеся алгоритмы… работают также…: Varun Gulshan et al., “Development and Validation of a Deep Learning Algorithm for Detection of Diabetic Retinopathy in Retinal Fundus Photographs”, JAMA 316 (2016): 2402, https://jamanetwork.com/journals/jama/fullarticle/2588763.

324 Уже сегодня искусственный интеллект по крайней мере не хуже…: Mary Beth Massat, “A Promising Future for AI in Breast Cancer Screening”, Applied Radiology 47 (2018): 22, www.ap- pliedradiology.com/articles/a-promising-future-for-ai-in-breast-cancer-screening; Alejandro Rodriguez-Ruiz et al., “Stand-Alone Artificial Intelligence for Breast Cancer Detection in Mammography: Comparison with 101 Radiologists”, Journal of the National Cancer Institute 111 (2019): 916, https://academic.oup.com/jnci/advance-article-abstract/doi/10.1093/jnci/djy222/5307077.

325 Таблица 3…: Apgar Score, Medline Plus, https://medlineplus.gov/ency/article/003402.htm (last accessed February 4, 2020).

326 шкала «Апгар» практически исключает шум…: L. R. Foster et al., “The Interrater Reliability of Apgar Scores at 1 and 5 Minutes”, Journal of Investigative Medicine 54, no. 1 (2006): 293, https://jim.bmj.com/content/54/1/S308.4.

327 Оценка и подсчет количества набранных баллов по данной шкале – действия относительно…: Warren J. McIsaac et al., “Empirical Validation of Guidelines for the Management of Pharyngitis in Children and Adults”, JAMA 291 (2004): 1587, www.ncbi.nlm.nih.gov/pubmed/15069046.

328 Проводилось исследование, позволившее выяснить, что BI-RADS…: Emilie A. Ooms et al., “Mammography: Interobserver Variability in Breast Density Assessment”, Breast 16 (2007): 568, www.sciencedirect.com/science/article/abs/pii/S0960977607000793.

329 отмечены также в патологической анатомии…: Frances P. O’Malley et al., “Interobserver Reproducibility in the Diagnosis of Flat Epithe-lial Atypia of the Breast”, Modern Pathology 19 (2006): 172, www.nature.com/articles/3800514.

330 Именно по этой причине подавление шума…: См. Ahmed Aboraya et al., “The Reliability of Psychiatric Diagnosis Revisited”, Psychiatry (Edgmont) 3 (2006): 41, www.ncbi.nlm.nih.gov/pmc/articles/PMC2990547. См. также краткий обзор: N. Kreitman, “The Reliability of Psychiatric Diagnosis”, Journal of Mental Science 107 (1961): 876–886, www.cambridge.org/core/journals/journal-of-mental-science/article/reliability-of-psychiatric-diagnosis/92832FFA170F4FF41189428С6A3E6394.

331 В 1964 году проводилось исследование, в котором участвовали 91 пациент…: Aboraya et al., “Reliability of Psychiatric Diagnosis Revisited”, 43.

332 В попытках…: C. H. Ward et al., “The Psychiatric Nomenclature: Reasons for Diagnostic Disagreement”, Archives of General Psychiatry 7 (1962): 198.

333 Клинический специалист – сторонник концепции влияния психологических травм…: Aboraya et al., “Reliability of Psychiatric Diagnosis Revisited”.

334 Третья редакция DSM – III привела к существенному…: Samuel M. Lieblich, David J. Castle, Christos Pantelis, Malcolm Hopwood, Allan Hunter Young, and Ian P. Everall, “High Heterogeneity and Low Reliability in the Diagnosis of Major Depression Will Impair the Development of New Drugs”, British Journal of Psychiatry Open 1 (2015): e5–e7, www.ncbi.nlm.nih.gov/pmc/articles/PMC5000492/pdf/bjporcpsych 1_2_e5.pdf.

335 И все же успех «Руководства…» высоко оценивать…: Lieblich et al., “High Heterogeneity”.

336 Даже в 2000 году, после серьезного пересмотра документа…: См. Elie Cheniaux et al., “The Diagnoses of Schizophrenia, Schizoaffective Disorder, Bipolar Disorder and Unipolar Depression: Interrater Reliability and Congruence Between DSM – IV and ICD‑10”, Psychopathology 42 (2009): 296–298, особенно 293; и Michael Chmielewski et al., “Method Matters: Understanding Diagnostic Reliability in DSM – IV and DSM‑5”, Journal of Abnormal Psychology 124 (2015): 764, 768–769.

337 «повысило надежность диагностики»…: Aboraya et al., “Reliability of Psychiatric Diagnosis Revisited”, 47.

338 серьезные риски…: Aboraya et al., 47.

339 Новая версия «Руководства…»: См. Chmielewski et al., “Method Matters”.

340 Ассоциация американских психиатров…: См., например, Helena Chmura Kraemer et al., “DSM‑5: How Reliable Is Reliable Enough?”, American Journal of Psychiatry 169 (2012): 13–15.

341 в сообществе психиатров по-прежнему отмечается…: Lieblich et al., “High Heterogeneity”.

342 психиатры ожесточенно спорят…: Lieblich et al., “High Heterogeneity”, e‑5.

343 Полевые испытания DSM – V показали…: Lieblich et al., e‑5.

344 Упомянутые нами полевые эксперименты…: Lieblich et al., e‑6.

345 Основной причиной скромного…: Aboraya et al., “Reliability of Psychiatric Diagnosis Revisited”, 47.

346 Их рекомендации включают, во‑первых, прояснение…: Aboraya et al.

347 Один из аналитиков заметил…: Aboraya et al.

348 и медики решительно в них нуждаются…: Некоторые поучительные примеры можно найти у Christopher Worsham and Anupam B. Jena, “The Art of Evidence-Based Medicine”, Harvard Business Review, January 30, 2019, .

Глава 23

349 заголовок в одной из газет…: Jena McGregor, “Study Finds That Basically Every Single Person Hates Performance Reviews”, Washington Post, January 27, 2014.

350 широко распространены аттестации с применением методов суждения…: Переход на цифровые технологии, который сегодня практикуют многие компании, создаст в этой области новые возможности. Теоретически компании способны собрать множество мельчайших подробностей о деятельности каждого сотрудника в процессе работы. Подобные данные позволят использовать исключительно алгоритмический подход при оценке эффективности работы на некоторых должностях. Мы же сосредоточимся на тех позициях, где из оценки эффективности невозможно полностью устранить фактор суждения. См. E. D. Pulakos, R. Mueller-Hanson, and S. Arad, “The Evolution of Performance Management: Searching for Value”, Annual Review of Organizational Psychology and Organizational Behavior 6 (2018): 249–271.

351 большинство авторов приходит к выводу…: S. E. Scullen, M. K. Mount, and M. Goff, “Understanding the Latent Structure of Job Performance Ratings”, Journal of Applied Psychology 85 (2000): 956–970.

352 Остальные 70–80 %…: По результатам некоторых исследований лишь небольшая часть (10 % общей дисперсии) является так называемой точкой зрения оценивающего эксперта, или эффектом уровней организации. Точка зрения оценивающего эксперта означает, что в отношении одного и того же лица босс будет систематически расходиться во мнениях со своим заместителем, а тот – с подчиненным. Истолковывая результаты модели оценки “360 градусов” в благоприятном свете, кто-то наверняка заявит, что данный феномен не является шумом. Если люди на разных уровнях организации систематически отмечают разные аспекты, их суждение в отношении одного и того же лица будет системно отличаться, о чем и скажут присваиваемые ими рейтинги.

353 различным исследованиям…: Scullen, Mount, and Goff, “Latent Structure”; C. Viswesvaran, D. S. Ones, and F. L. Schmidt, “Comparative Analysis of the Reliability of Job Performance Ratings”, Journal of Applied Psychology 81 (1996): 557–574. G. J. Greguras and C. Robie, “A New Look at Within-Source Interrater Reliability of 360-Degree Feedback Ratings”, Journal of Applied Psychology 83 (1998): 960–968; G. J. Greguras, C. Robie, D. J. Schleicher, and M. A. Goff, “A Field Study of the Effects of Rating Purpose on the Quality of Multisource Ratings”, Personnel Psychology 56 (2003): 1–21; C. Viswesvaran, F. L. Schmidt, and D. S. Ones, “Is There a General Factor in Ratings of Job Performance? A Meta-Analytic Framework for Disentangling Substantive and Error Influences”, Journal of Applied Psychology 90 (2005): 108–131; and B. Hoffman, C. E. Lance, B. Bynum, and W. A. Gentry, “Rater Source Effects Are Alive and Well After All”, Personnel Psychology 63 (2010): 119–151.

354 Связь между реальной эффективностью профессиональной деятельности…: K. R. Murphy, “Explaining the Weak Relationship Between Job Performance and Ratings of Job Performance”, Industrial and Organizational Psychology 1 (2008): 148–160, especially 151.

355 фактической эффективности аттестуемого работника…: Рассказывая об источниках шума, мы не уделили внимания возможности шумового эффекта «конкретного случая», которому дает начало систематическое искажение оценки определенного работника или категории работников. Ни одно из прочитанных нами исследований в отношении вариативности оценки эффективности не задавалось целью сопоставить оценку с «истинным» показателем, полученным от стороннего оценщика.

356 для поддержания рабочего тонуса сотрудников…: E. D. Pulakos and R. S. O’Leary, “Why Is Performance Management Broken?”, Industrial and Organizational Psychology 4 (2011): 146–164; M. M. Harris, “Rater Motivation in the Performance Appraisal Context: A Theoretical Framework”, Journal of Management 20 (1994): 737–756; and K. R. Murphy and J. N. Cleveland, Understanding Performance Appraisal: Social, Organizational, and Goal-Based Perspectives (Thousand Oaks, CA: Sage, 1995).

357 отзывов сугубо в целях саморазвития…: Greguras et al., “Field Study”.

358 прогнозирующим объективно измеряемую…: P. W. Atkins and R. E. Wood, “Self Versus Others’ Ratings as Predictors of Assessment Center Ratings: Validation Evidence for 360-Degree Feedback Programs”, Personnel Psychology (2002).

359 анкет, перегруженных многочисленными вопросами…: Atkins and Wood, “Self Versus Others’ Ratings”.

360 98 %…: Olson and Davis, цитата приведена у Peter G. Dominick, “Forced Ranking: Pros, Cons and Practices”, а также в Performance Management: Putting Research into Action, ed. James W. Smither and Manuel London (San Francisco: Jossey-Bass, 2009), 411–443.

361 принудительное ранжирование…: Dominick, “Forced Ranking”.

362 прослеживается в оценке деловых качеств работников…: Barry R. Nathan and Ralph A. Alexander, “A Comparison of Criteria for Test Validation: A Meta-Analytic Investigation”, Personnel Psychology 41, no. 3 (1988): 517–535.

363 Рис. 17…: Адаптировано из Richard D. Goffin and James M. Olson, “Is It All Relative? Comparative Judgments and the Possible Improvement of Self-Ratings and Ratings of Others”, Perspectives on Psychological Science 6, no. 1 (2011): 48–60.

364 Deliotte…: M. Buckingham and A. Goodall, “Reinventing Performance Management”, Harvard Business Review, April 1, 2015, 1–16, doi: ISSN: 0017–8012.

365 В ходе одного исследования…: Corporate Leadership Council, процитировано у S. Adler et al., “Getting Rid of Performance Ratings: Genius or Folly? A Debate”, Industrial and Organizational Psychology 9 (2016): 219–252.

366 «Какие бы меры…»: Pulakos, Mueller-Hanson, and Arad, “Evolution of Performance Management”, 250.

367 революции в процессе управления эффективностью…: A. Tavis and P. Cappelli, “The Performance Management Revolution”, Harvard Business Review, October 2016, 1–17.

368 Руководствуясь имеющимся опытом…: Frank J. Landy and James L. Farr, “Performance Rating”, Psychological Bulletin 87, no. 1 (1980): 72–107.

369 набивая руку на присвоении оценок…: D. J. Woehr and A. I. Huffcutt, “Rater Training for Performance Appraisal: A Quantitative Review”, Journal of Occupational and Organizational Psychology 67 (1994): 189–205; S. G. Roch, D. J. Woehr, V. Mishra, and U. Kieszczynska, “Rater Training Revisited: An Updated Meta-Analytic Review of Frame-of-Reference Training”, Journal of Occupational and Organizational Psychology 85 (2012): 370–395; и M. H. Tsai, S. Wee, and B. Koh, “Restructured Frame-of-Reference Training Improves Rating Accuracy”, Journal of Organizational Behavior (2019): 1–18, doi:10.1002/job.2368.

370 Рис. 18…: Левая секция адаптирована из Richard Goffin and James M. Olson, “Is It All Relative? Comparative Judgments and the Possible Improvement of Self-Ratings and Ratings of Others”, Perspectives on Psychological Science 6, no. 1 (2011): 48–60.

371 большинство исследований…: Roch et al., “Rater Training Revisited”.

372 «звезда»…: Ernest O’Boyle and Herman Aguinis, “The Best and the Rest: Revisiting the Norm of Normality of Individual Performance”, Personnel Psychology 65, no. 1 (2012): 79–119; и Herman Aguinis and Ernest O’Boyle, “Star Performers in Twenty-First Century Organizations”, Personnel Psychology 67, no. 2 (2014): 313–350.

Глава 24

373 большая редкость…: A. I. Huffcutt and S. S. Culbertson, “Interviews”, in S. Zedeck, ed., APA Handbook of Industrial and Organizational Psychology (Washington, DC: American Psychological Association, 2010), 185–203.

374 до некоторой степени полагается на интуитивное суждение…: N. R. Kuncel, D. M. Klieger, and D. S. Ones, “In Hiring, Algorithms Beat Instinct”, Harvard Business Review 92, no. 5 (2014): 32.

375 проблема первостепенной важности…: R. E. Ployhart, N. Schmitt, and N. T. Tippins, “Solving the Supreme Problem: 100 Years of Selection and Recruitment at the Journal of Applied Psychology”, Journal of Applied Psychology 102 (2017): 291–304.

376 Некоторые исследования свидетельствуют…: M. McDaniel, D. Whetzel, F. L. Schmidt, and S. Maurer, “Meta Analysis of the Validity of Employment Interviews”, Journal of Applied Psychology 79 (1994): 599–616; A. Huffcutt and W. Arthur, “Hunter and Hunter (1984) Revisited: Interview Validity for Entry-Level Jobs”, Journal of Applied Psychology 79 (1994): 2; F. L. Schmidt and J. E. Hunter, “The Validity and Utility of Selection Methods in Personnel Psychology: Practical and Theoretical Implications of 85 Years of Research Findings”, Psychology Bulletin 124 (1998): 262–274; and F. L. Schmidt and R. D. Zimmerman, “A Counterintuitive Hypothesis About Employment Interview Validity and Some Supporting Evidence”, Journal of Applied Psychology 89 (2004): 553–561. Следует отметить, что достоверность повышается, если рассматривать определенные подразделы исследования, особенно если в нем использовалась специально продуманная рейтинговая система.

377 «объективной неосведомленностью»…: S. Highhouse, “Stubborn Reliance on Intuition and Subjectivity in Employee Selection”, Industrial and Organizational Psychology 1 (2008): 333–342; D. A. Moore, “How to Improve the Accuracy and Reduce the Cost of Personnel Selection”, California Management Review 60 (2017): 8–17.

378 сходный с собеседником культурный уровень…: L. A. Rivera, “Hiring as Cultural Matching: The Case of Elite Professional Service Firms”, American Sociology Review 77 (2012): 999–1022.

379 Корреляция между оценками…: Schmidt and Zimmerman, “Counterintuitive Hypothesis”; Timothy A. Judge, Chad A. Higgins, and Daniel M. Cable, “The Employment Interview: A Review of Recent Research and Recommendations for Future Research”, Human Resource Management Review 10 (2000): 383–406; и A. I. Huffcutt, S. S. Culbertson, and W. S. Weyhrauch, “Employment Interview Reliability: New Meta-Analytic Estimates by Structure and Format”, International Journal of Selection and Assessment 21 (2013): 264–276.

380 играет роль – и роль огромную!..: M. R. Barrick et al., “Candidate Characteristics Driving Initial Impressions During Rapport Building: Implications for Employment Interview Validity”, Journal of Occupational and Organizational Psychology 85 (2012): 330–352; M. R. Barrick, B. W. Swider, and G. L. Stewart, “Initial Evaluations in the Interview: Relationships with Subsequent Interviewer Evaluations and Employment Offers”, Journal of Applied Psychology 95 (2010): 1163.

381 Даже стиль рукопожатия…: G. L. Stewart, S. L. Dustin, M. R. Barrick, and T. C. Darnold, “Exploring the Handshake in Employment Interviews”, Journal of Applied Psychology 93 (2008): 1139–1146.

382 положительное первое впечатление…: T. W. Dougherty, D. B. Turban, and J. C. Callender, “Confirming First Impressions in the Employment Interview: A Field Study of Interviewer Behavior”, Journal of Applied Psychology 79 (1994): 659–665.

383 об одном поразительном эксперименте…: J. Dana, R. Dawes, and N. Peterson, “Belief in the Unstructured Interview: The Persistence of an Illusion”, Judgment and Decision Making 8 (2013): 512–520.

384 большинство служб подбора персонала отдает предпочтение…: Nathan R. Kuncel et al., “Mechanical versus Clinical Data Combination in Selection and Admissions Decisions: A Meta-Analysis”, Journal of Applied Psychology 98, no. 6 (2013): 1060–1072.

385 «нулевую связь…»: Laszlo Bock, interview with Adam Bryant, The New York Times, June 19, 2013. См. также Laszlo Bock, Work Rules!: Insights from Inside Google That Will Transform How You Live and Lead (New York: Hachette, 2015).

386 Один известный кадровый консультант…: C. Fernandez-Araoz, “Hiring Without Firing”, Harvard Business Review, July 1, 1999.

387 структурированные поведенческие интервью…: Наиболее доступное руководство к структурированным интервью см. у Michael A. Campion, David K. Palmer, and James E. Campion, “Structuring Employment Interviews to Improve Reliability, Validity and Users’ Reactions”, Current Directions in Psychological Science 7, no. 3 (1998): 77–82.

388 что именно должно включать в себя структурированное интервью…: J. Levashina, C. J. Hartwell, F. P. Morgeson, and M. A. Campion, “The Structured Employment Interview: Narrative and Quantitative Review of the Research Literature”, Personnel Psychology 67 (2014): 241–293.

389 структурированные интервью отличаются большей достоверностью предсказания…: McDaniel et al., “Meta Analysis”; Huffcutt and Arthur, “Hunter and Hunter (1984) Revisited”; Schmidt and Hunter, “Validity and Utility”; и Schmidt and Zimmerman, “Counterintuitive Hypothesis”.

390 тестирование образцов выполненных работ…: Schmidt and Hunter, “Validity and Utility”.

391 в израильской армии…: Kahneman, Thinking, Fast and Slow, 229.

392 практические рекомендации…: Kuncel, Klieger, and Ones, “Algorithms Beat Instinct”. См. также Campion, Palmer, and Campion, “Structuring Employment Interviews”.

393 «устойчивой иллюзией»…: Dana, Dawes, and Peterson, “Belief in the Unstructured Interview”.

Глава 25

394 протокол промежуточных оценок…: Daniel Kahneman, Dan Lovallo, and Olivier Sibony, “A Structured Approach to Strategic Decisions: Reducing Errors in Judgment Requires a Disciplined Process”, MIT Sloan Management Review 60 (2019): 67–73.

395 «оценка-обсуждение-повторная оценка»…: Andrew H. Van De Ven and Andrе́ Delbecq, “The Effectiveness of Nominal, Delphi, and Interacting Group Decision Making Processes”, Academy of Management Journal 17, no. 4 (1974): 605–621. См. также главу 21.

ЧАСТЬ VI

396 и считают…: Kate Stith and Josе́ A. Cabranes, Fear of Judging: Sentencing Guidelines in the Federal Courts (Chicago: University of Chicago Press, 1998), 177.

Глава 26

397 Во-первых, попытки реформ…: Albert O. Hirschman, The Rhetoric of Reaction: Perversity, Futility, Jeopardy (Cambridge, MA: Belknap Press, 1991).

398 Вацлав Гавел писал, что противники Франкела…: Stith and Cabranes, Fear of Judging.

399 «Закон трех ошибок»…: Например, см. Three Strikes Basics, Stanford Law School, https://law.stanford.edu/stanford-justice-advocacy-project/three-strikes-basics/.

400 «Вудсон против Северной Каролины»…: 428 U.S. 280 (1976).

401 способствует интеграции предрассудков в наши решения…: Cathy O’Neil, Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy (New York: Crown, 2016).

402 «Потенциально предвзятые математические модели…»: Will Knight, “Biased Algorithms Are Everywhere, and No One Seems to Care”, MIT Technology Review, July 12, 2017.

403 «ProPublica»…: Jeff Larson, Surya Mattu, Lauren Kirchner, and Julia Angwin, “How We Analyzed the COMPAS Recidivism Algorithm”, ProPublica, May 23, 2016, www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm. Заявление о наличии предвзятости в этом примере носит спорный характер; разные типы искажений могут привести к совершенно разным выводам. Что касается точек зрения по данному вопросу и в более широком смысле определения и измерения искажений алгоритма, см. одно из следующих примечаний («не ставит конкретной задачи исследовать»).

404 предиктивной полицейской деятельности…: Aaron Shapiro, “Reform Predictive Policing”, Nature 541, no. 7638 (2017): 458–460.

405 Более того, в этом смысле алгоритмы…: Хотя подобные опасения и всплывают в контексте моделей, опирающихся на искусственный интеллект, нельзя сказать, что для самогó искусственного интеллекта эта проблема носит специфический характер. Еще в 1972 году Пол Словик заметил, что тенденция к моделированию интуиции сохранится и усилится, возможно, усугубляя существующие когнитивные искажения. Paul Slovic, “Psychological Study of Human Judgment: Implications for Investment Decision Making”, Journal of Finance 27 (1972): 779.

406 не ставит конкретной задачи исследовать…: В качестве вступления к спору о противоречивости алгоритма прогнозирования рецидивизма COMPAS см. Larson et al., “COMPAS Recidivism Algorithm”; William Dieterich et al., “COMPAS Risk Scales: Demonstrating Accuracy Equity and Predictive Parity”, Northpointe, Inc., July 8, 2016, http://go.volarisgroup.com/rs/430-MBX‑989/images/ProPublica_Commentary_Final_070616.pdf; Julia Dressel and Hany Farid, “The Accuracy, Fairness, and Limits of Predicting Recidivism”, Science Advances 4, no. 1 (2018): 1–6; Sam Corbett-Davies et al., “A Computer Program Used for Bail and Sentencing Decisions Was Labeled Biased Against Blacks. It’s Actually Not That Clear”, Washington Post, October 17, 2016, www.washingtonpost.com/news/monkey-cage/wp/2016/10/17/can-an-algorithm-be-racist-our-analysis-is-more-cautious-than-propublicas; Alexandra Chouldechova, “Fair Prediction with Disparate Impact: A Study of Bias in Recidivism Prediction Instruments”, Big Data 153 (2017): 5; и Jon Kleinberg, Sendhil Mullainathan, and Manish Raghavan, “Inherent Trade-Offs in the Fair Determination of Risk Scores”, Leibniz International Proceedings in Informatics, January 2017.

Глава 27

407 Они наверняка знают…: Tom R. Tyler, Why People Obey the Law, 2nd ed. (New Haven, CT: Yale University Press, 2020).

408 одно известное и весьма заковыристое судебное разбирательство…: Cleveland Bd. of Educ. v. LaFleur, 414 U.S. 632 (1974).

409 Влиятельные комментаторы в свое время…: Laurence H. Tribe, “Structural Due Process”, Harvard Civil Rights – Civil Liberties Law Review 10, no. 2 (spring 1975): 269.

410 Вспомним ярко выраженную негативную…: Stith and Cabranes, Fear of Judging, 177.

411 серии книг для повышения и восстановления энергетики…: См., например, Philip K. Howard, The Death of Common Sense: How Law Is Suffocating America (New York: Random House, 1995); и Philip K. Howard, Try Common Sense: Replacing the Failed Ideologies of Right and Left (New York: W. W. Norton & Company, 2019).

Глава 28

412 «Норм сообщества Facebook» от 2020 года…: 12. Hate Speech, Facebook: Community Standards, www.facebook.com/communi-tystandards/hate_speech.

413 New Yorker…: Andrew Marantz, “Why Facebook Can’t Fix Itself”, The New Yorker, October 12, 2020.

414 зашумленные суждения, назвав их «бюрократическим правосудием»: bureaucratic justice: Jerry L. Mashaw, Bureaucratic Justice (New Haven, CT: Yale University Press, 1983).

415 В основном все как раз наоборот…: David M. Trubek, “Max Weber on Law and the Rise of Capitalism”, Wisconsin Law Review 720 (1972): 733, n. 22 (quoting Max Weber, The Religion of China [1951], 149).