Книга: Hello World. Как быть человеком в эпоху машин
Назад: Благодарности
Дальше: Примечания

Примечания

1

Brian W. Kernighan and Dennis M. Ritchie. The C Programming Language (Upper Saddle River, NJ: Prentice-Hall, 1978). (Керниган Б., Ритчи Д. Язык программирования С. М.: “Вильямс”, 2017).

2

Robert A. Caro, The Power Broker: Robert Moses and the Fall of New York (London: Bodley Head, 2015), p. 318.

3

На эту тему написаны изумительные эссе, советую почитать. Например: Langdon Winner, Do artifacts have politics? Daedalus, vol. 109, no. 1, 1980, pp. 121–136, https://jstor.org/stable/20024652, где описаны мосты Мозеса. И ближе к современности: Kate Crawford, Can an algorithm be agonistic? Ten scenes from life in calculated publics, Science, Technology and Human Values, vol. 41, no. 1, 2016, pp. 77–92.

4

Scunthorpe Evening Telegraph, 9 April 1996.

5

В английском названии города Scunthorpe выделяется нецензурное слово cunt. (Прим. перев.)

6

Чуквуэмека Афигбо (@nke_ise) опубликовал в Twitter короткое видео с этим эффектом. Если вы еще не видели его, стоит посмотреть. Можно и в YouTube: https://youtube.com/watch?v=87QwWpzVy7I.

7

Из интервью Марка Цукерберга CNN: I’m really sorry that this happened, YouTube, 21 марта 2018, https://youtube.com/watch?v=G6DOhioBfyY.

8

Из личной беседы с гроссмейстером Джонатаном Роусоном.

9

Feng-Hsiung Hsu, IBM’s Deep Blue Chess grandmaster chips, IEEE Micro, vol. 19, no. 2, 1999, pp. 70–81, http://ieeexplore.ieee.org/document/755469/.

10

Garry Kasparov, Deep Thinking: Where Machine Intelligence Ends and Human Creativity Begins (London: Hodder & Stoughton, 2017). Русское издание: Каспаров Г. К. Человек и компьютер: Взгляд в будущее / Пер. с англ. И. Евстигнеевой. – М.: Альпина Паблишер, 2017.

11

TheGoodKnight, Deep Blue vs Garry Kasparov Game 2 (1997 Match), YouTube, 18 Oct. 2012, https://youtube.com/watch?v=3Bd1Q2rOmok&t=2290s.

12

Ibid.

13

Steven Levy, Big Blue’s Hand of God, Newsweek, 18 May 1997, http://newsweek.com/big-blues-hand-god-173076.

14

Каспаров. Человек и компьютер, С. 271.

15

Там же, С. 277.

16

Согласно словарю Merriam-Webster. В “Оксфордском словаре английского языка” дается определение, в котором подчеркивается математическая природа алгоритма: “последовательность действий или набор команд, которые необходимо выполнить при расчетах или поиске решения задачи, особенно с помощью компьютера”.

17

Классифицировать алгоритмы можно по-разному, и я не сомневаюсь, что специалисты по компьютерным наукам будут недовольны столь упрощенным подходом. Более подробный перечень действительно включил бы в себя еще несколько категорий: например, алгоритмы картирования, сведения одних задач к другим, регрессивного анализа и кластеризации. Но я все-таки остановилась на этой классификации, потому что она покрывает все основные случаи и, что немаловажно, помогает дать представление об этой огромной и сложной области науки. См. Nicholas Diakopoulos, Algorithmic Accountability Reporting: On the Investigation of Black Boxes (New York: Tow Center for Digital Journalism, Columbia University, 2014)

18

Kerbobotat: “Зашел на Amazon купить бейсбольную биту и получил интересные предложения аксессуаров”, Reddit, 28 Sept. 2013, https://reddit.com/r/funny/comments/1nb16l/went_to_buy_a_baseball_bat_on_amazon_they_have/.

19

Sarah Perez, Uber debuts a “smarter” UberPool in Manhattan, TechCrunch, 22 May 2017, https://techcrunch.com/2017/05/22/uber-debuts-a-smarter-uberpool-in-manhattan/.

20

Слово “теоретически” я употребила неслучайно. Так бывает не всегда. Над некоторыми алгоритмами не один год трудились сотни, а то и тысячи разработчиков, и каждый из них на том или ином этапе добавлял свои операции. С каждой новой строкой кода система становится все более сложной, до тех пор пока логические нити не переплетутся на манер порции спагетти. В конце концов алгоритм приобретает настолько разветвленную структуру, что человеческий разум уже не в силах разобраться в ней и уследить за всеми переходами.

В 2013 году компания Toyota должна была выплатить три миллиона долларов компенсации после автокатастрофы с участием одного из ее автомобилей. Машина неконтролируемо разогналась, хотя сидевшая за рулем женщина жала на педаль тормоза, а вовсе не газа. На суде выступавший свидетелем специалист сказал, что виновата случайная команда, скрытая где-то в путаной схеме программного обеспечения. См. Phil Koopman, A case study of Toyota unintended acceleration and software safety (Pittsburgh: Carnegie Mellon University, 18 Sept. 2014), https://users.ece.cmu.edu/~koopman/pubs/koopman14_toyota_ua_slides.pdf.

21

Эта иллюзия называется “ваза Рубина”, по имени придумавшего ее Эдгара Рубина. (Здесь приведен пример со страницы https://commons.wikimedia.org/wiki/File:Vase_of_rubin.png). Это пример двойственного изображения, или обратимых фигур – вы видите два темных профиля и белую вазу. На этом рисунке очень легко переключиться с одной формы на другую, но, чтобы сместить равновесие в ту или иную сторону, достаточно добавить пару штрихов. Скажем, подрисовать тонкие контуры глаз или оттенить ножку вазы.

Из той же серии пример с распознаванием изображения собаки и машины. Программисты подобрали картинку на стыке двух категорий, внесли одну маленькую поправочку, и, по мнению компьютера, картинка переместилась из одной категории в другую.

22

Jiawei Su, Danilo Vasconcellos Vargas and Kouichi Sakurai, One pixel attack for fooling deep neural networks, arXiv:1719.08864v4 [cs.LG], 22 Feb. 2018, https://arxiv.org/pdf/1710.08864.pdf.

На русском языке см. https://habr.com/ru/post/498114/ (Прим. науч. Ред.).

23

Перефразированный комментарий, который дал в 2015 году программист и пионер в области машинного обучения Эндрю Ын. См. Tech Events, ‘GPU Technology Conference 2015 day 3: What’s Next in Deep Learning’, YouTube, 20 Nov. 2015, https://www.youtube.com/watch?v=qP9TOX8T-kI.

24

Международный научный проект OpenWorm преследовал именно такую цель – смоделировать мозг червя. Ученые хотели создать искусственную сеть из 302 нейронов, как в мозге червя C. elegans. Для сравнения, у человека примерно 100 000 000 000 нейронов. См. сайт OpenWorm: http://openworm.org/.

25

Chris Brooke, “I was only following satnav orders” is no defence: driver who ended up teetering on cliff edge convicted of careless driving, Daily Mail, 16 Sept. 2009, http://dailymail.co.uk/news/article-1213891/Driver-ended-teetering-cliff-edge-guilty-blindly-following-sat-nav-directions.html#ixzz59vihbQ2n).

26

Ibid.

27

Robert Epstein and Ronald E. Robertson, The search engine manipulation effect (SEME) and its possible impact on the outcomes of elections, Proceedings of the National Academy of Sciences, vol. 112, no. 33, 2015, pp. E4512–21, http://pnas.org/content/112/33/E4512.

28

Epstein and Robertson, The search engine manipulation effect (SEME).

29

Linda J. Skitka, Kathleen Mosier and Mark D. Burdick, Accountability and automation bias, International Journal of Human – Computer Studies, vol. 52, 2000, pp. 701–717, http://lskitka.people.uic.edu/IJHCS2000.pdf.

30

KW v. Armstrong, US District Court, D. Idaho, 2 May 2012, https://scholar.google.co.uk/scholar_case?case=17062168494596747089&hl=en&as_sdt=2006.

31

Jay Stanley, Pitfalls of Artificial Intelligence Decision making Highlighted in Idaho ACLU Case, American Civil Liberties Union, 2 June 2017, https://aclu.org/blog/privacy-technology/pitfalls-artificial-intelligence-decisionmaking-highlighted-idaho-aclu-case.

32

K. W. v. Armstrong, Leagle.com, 24 March 2014, https://www.leagle.com/decision/infdco20140326c20.

33

Ibid.

34

Stanley, Pitfalls of Artificial Intelligence Decision-making.

35

ACLU, Ruling mandates important protections for due process rights of Idahoans with developmental disabilities, 30 March 2016, https://aclu.org/news/federal-court-rules-against-idaho-department-health-and-welfare-medicaid-class-action.

36

Stanley, Pitfalls of Artificial Intelligence Decision-making.

37

Ibid.

38

Ibid.

39

Ibid.

40

Ibid.

41

Kristine Phillips, The former Soviet officer who trusted his gut – and averted a global nuclear catastrophe, Washington Post, 18 Sept. 2017, https://washing-tonpost.com/news/retropolis/wp/2017/09/18/the-former-soviet-officer-who-trusted-his-gut-and-averted-a-global-nuclear-catastrophe/?utm_term=.6546e0f06cce.

42

Интервью Станислава Петрова Павлу Аксенову. “СССР – США: 23 минуты на грани Апокалипсиса”, BBC, https://bbc.com/russian/multimedia/2013/09/130925_v_petrov_anno.

43

Там же.

44

Stephen Flanagan, Re: Accident at Smiler Rollercoaster, Alton Towers, 2 June 2015: Expert’s Report, prepared at the request of the Health and Safety Executive, Oct. 2015, http://chiark.greenend.org.uk/~ijackson/2016/Expert%20witness%20report%20from%20Steven%20Flanagan.pdf.

45

Последовательное игнорирование предупреждений автоматической системы безопасности также явилось одной из причин аварии на Чернобыльской АЭС в 1986 г. (Прим. науч. ред.)

46

Paul E. Meehl, Clinical versus Statistical Prediction: A Theoretical Analysis and a Review of the Evidence (Minneapolis: University of Minnesota, 1996; first publ. 1954), http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.693.6031&rep=rep1&type=pdf.

47

William M. Grove, David H. Zald, Boyd S. Lebow, Beth E. Snitz and Chad Nelson, Clinical versus mechanical prediction: a meta-analysis, Psychological Assessment, vol. 12, no. 1, 2000, p. 19.

48

Любопытный факт: в конце 1950-х и в 1960-х годах цикл исследований в области “диагностики” (словечко не мое – так выразились авторы) гомосексуальности послужил иллюстрацией к редкому исключению из правила превосходства алгоритмов. В данном случае люди дали гораздо более точные оценки и обошли машину по всем показателям – по-видимому, то, что касается сугубо человеческой природы, невозможно адекватно описать с помощью цифр и математического аппарата.

49

Berkeley J. Dietvorst, Joseph P. Simmons and Cade Massey, Algorithmic aversion: people erroneously avoid algorithms after seeing them err, Journal of Experimental Psychology, Sept. 2014, http://opim.wharton.upenn.edu/risk/library/WPAF201410-AlgorithmAversion-Dietvorst-Simmons-Massey.pdf.

50

Nicholas Carlson, Well, these new Zuckerberg IMs won’t help Facebook’s privacy problems, Business Insider, 13 May 2010, http://businessinsider.com/well-these-new-zuckerberg-ims-wont-help-facebooks-privacy-problems-2010-5? IR=T.

51

Clive Humby, Terry Hunt and Tim Phillips, Scoring Points: How Tesco Continues to Win Customer Loyalty (London: Kogan Page, 2008). Русский перевод: Хамби К., Хант Т., Филлипс Т. Набирая очки. Как розничная сеть супермаркетов Tesco выиграла битву за лояльного покупателя, Днепропетровск: Баланс Бизнес Букс, 2006.

52

Ibid., Kindle edn., рр. 1313–1317.

53

Eric Schmidt, The creepy line, YouTube, 11 Feb. 2013, https://youtube.com/watch?v=o-rvER6YTss.

54

Charles Duhigg, How companies learn your secrets, New York Times, 16 Feb. 2012, https://nytimes.com/2012/02/19/magazine/shopping-habits.html.

55

Ibid.

56

Sarah Buhr, Palantir has raised $ 880 million at a $ 20 billion valuation, TechCrunch, 23 Dec. 2015.

Акции Palantir не обращаются на рынке, поэтому цифры ее стоимости основаны на экспертных оценках и варьируются от 6 до 41 миллиарда долларов. В июле 2020 г. объявлено о грядущем размещении акций на бирже, что позволит точнее оценить рыночную стоимость компании. (Прим. науч. Ред.).

57

Federal Trade Commission, Data Brokers: A Call for Transparency and Accountability, (Washington DC, May 2014), https://ftc.gov/system/files/documents/reports/data-brokers-call-transparency-accountability-report-federal-trade-commission-may-2014/140527databrokerreport.pdf.

58

Ibid.

59

Wolfie Christl, Corporate Surveillance in Everyday Life, Cracked Labs, June 2017, http://crackedlabs.org/en/corporate-surveillance.

60

Cookie нужны не только для рекламы. По ним сайты узнают, авторизовались вы или нет (то есть можно ли без опасений посылать важную информацию) и заходите ли вы на эту страницу регулярно (тогда можно, например, скорректировать на сайте авиакомпании или отправить вам на почту код для скидки в интернет-магазине одежды).

61

Heidi Waterhouse, The death of data: retention, rot, and risk, The Lead Developer, Austin, Texas, 2 March 2018, https://youtube.com/watch?v=mXvPChEo9iU.

62

Amit Datta, Michael Carl Tschantz and Anupam Datta, Automated experiments on ad privacy settings, Proceedings on Privacy Enhancing Technologies, no. 1, 2015, pp. 92–112.

63

Latanya Sweeney, Discrimination in online ad delivery, Queue, vol. 11, no. 3, 2013, p. 10, https://dl.acm.org/citation.cfm?id=2460278.

64

Jon Brodkin, Senate votes to let ISPs sell your Web browsing history to advertisers, Ars Technica, 23 March 2017, https://arstechnica.com/tech-policy/2017/03/senate-votes-to-let-isps-sell-your-web-browsing-history-to-advertisers/.

65

Svea Eckert and Andreas Dewes, Dark data, DEFCON Conference 25, 20 Oct. 2017, https://youtube.com/watch?v=1nvYGi7-Lxo.

66

Эти условия ясно прописаны в пользовательском соглашении плагина, который еще и называется Web of Trust (“Сеть доверия”).

67

В этой части работы исследователи опирались на статью Арвинда Нараянана и Виталия Шматикова, представленную на Международном симпозиуме IEEE по безопасности и неприкосновенности личного пространства. Arvind Narayanan and Vitaly Shmatikov, “Robust deanonymization of large sparse datasets”, IEEE Symposium on Security and Privacy, 18–22 May 2008.

68

Michal Kosinski, David Stillwell and Thore Graepel, Private traits and attributes are predictable from digital records of human behavior, Proceedings of the National Academy of Sciences, vol. 110, no. 15, 2013, pp. 5802–5805.

69

Ibid.

70

Wu Youyou, Michal Kosinski and David Stillwell, Computer-based personality judgments are more accurate than those made by humans, Proceedings of the National Academy of Sciences, vol. 112, no. 4, 2015, pp. 1036–1040.

71

Похоже, это говорит о том, что я писала бы туда чаще, если бы не так беспокоилась о реакции на мои посты.

72

S. C. Matz, M. Kosinski, G. Nave and D. J. Stillwell, Psychological targeting as an effective approach to digital mass persuasion, Proceedings of the National Academy of Sciences, vol. 114, no. 48, 2017, https://www.pnas.org/content/114/48/12714.

73

Paul Lewis and Paul Hilder, Leaked: Cambridge Analytica’s blueprint for Trump victory, Guardian, 23 March 2018.

74

Cambridge Analytica planted fake news, BBC, 20 March 2018, http://www.bbc.co.uk/news/av/world-43472347/cambridge-analytica-planted-fake-news.

75

Adam D. I. Kramer, Jamie E. Guillory and Jeffrey T. Hancock, Experimental evidence of massive-scale emotional contagion through social networks, Proceedings of the National Academy of Sciences, vol. 111, no. 24, 2014, pp. 8788–8790.

76

Jamie Bartlett, Big data is watching you – and it wants your vote, Spectator, 24 March 2018.

77

Li Xiaoxiao, Ant Financial Subsidiary Starts Offering Individual Credit Scores, Caixin, 2 March 2015, https://caixinglobal.com/2015–03-02/101012655.html.

78

Rick Falkvinge, In China, your credit score is now affected by your political opinions – and your friends’ political opinions Privacy News Online, 3 Oct. 2015, https://privateinternetaccess.com/blog/2015/10/in-china-your-credit-score-is-now-affected-by-your-political-opinions-and-your-friends-political-opinions/.

79

State Council Guiding Opinions Concerning Establishing and Perfecting Incentives for Promise-keeping and Joint Punishment Systems for Trust-breaking, and Accelerating the Construction of Social Sincerity, China Copyright and Media, 30 May 2016, updated 18 Oct. 2016, https://chinacopyrightandmedia.wordpress.com/2016/05/30/state-council-guiding-opinions-concerning-establishing-and-perfecting-incentives-for-promise-keeping-and-joint-punishment-systems-for-trust-breaking-and-accelerating-the-construction-of-social-sincer/.

80

Rachel Botsman, Who Can You Trust? How Technology Brought Us Together – and Why It Could Drive Us Apart (London: Penguin, 2017), Kindle edn., p. 151.

81

John-Paul Ford Rojas, London riots: Lidl water thief jailed for six months, Telegraph, 7 Jan. 2018, http://telegraph.co.uk/news/uknews/crime/8695988/London-riots-Lidl-water-thief-jailed-for-six-months.html.

82

Matthew Taylor, London riots: how a peaceful festival in Brixton turned into a looting free-for-all, Guardian, 8 Aug. 2011, https://theguardian.com/uk/2011/aug/08/london-riots-festival-brixton-looting.

83

Rojas, London riots.

84

Josh Halliday, London riots: how BlackBerry Messenger played a key role, Guardian, 8 Aug. 2011, https://theguardian.com/media/2011/aug/08/london-riots-facebook-twitter-blackberry.

85

David Mills, Paul and Richard Johnson avoid prison over riots, News Shopper, 13 Jan. 2012, http://newsshopper.co.uk/londonriots/9471288. Father_and_son_avoid_prison_over_riots/.

86

Ibid.

87

Rojas, London riots. Ханна Куэрк, специалист по уголовному праву, доцент Манчестерского университета, в 2015 году писала об этом деле: “Как правило, по обвинению такого рода не арестовывают, не запирают в камере и не отдают под суд”. Carly Lightowlers and Hannah Quirk, The 2011 English “riots”: prosecutorial zeal and judicial abandon, British Journal of Criminology, vol. 55, no. 1, 2015, pp. 65–85.

88

Mills, Paul and Richard Johnson avoid prison over riots.

89

William Austin and Thomas A. Williams III, A survey of judges’ responses to simulated legal cases: research note on sentencing disparity, Journal of Criminal Law and Criminology, vol. 68, no. 2, 1977, pp. 306–310.

90

Mandeep K. Dhami and Peter Ayton, Bailing and jailing the fast and frugal way, Journal of Behavioral Decision-making, vol. 14, no. 2, 2001, pp. 141–168, http://onlinelibrary.wiley.com/doi/10.1002/bdm.371/abstract.

91

Почти половина судей разошлись во мнениях о наиболее правильном порядке действий в каждом случае.

92

В статистике есть свой количественный критерий такого согласия в судейских решениях – так называемая каппа Коэна. Метод основан на предположении, что даже при простом угадывании в итоге может быть достигнута сходимость результатов. Полной воспроизводимости соответствует единица. Ноль означает, что оценки хаотичны. Судьи показали баллы от 0 до 1, в среднем 0,69.

93

Diane Machin, Sentencing guidelines around the world, paper prepared for Scottish Sentencing Council), May 2005, https://scottishsentencingcouncil.org.uk/media/1109/paper-31a-sentencing-guidelines-around-the-world.pdf.

94

Ibid.

95

Ibid.

96

Впервые условно-досрочное освобождение начали применять во Франции в 1700-х годах – осужденного выпускали на волю, если он обещал больше не совершать преступлений: https://www.etymonline.com/word/parole.

97

Ernest W. Burgess, Factors determining success or failure on parole, in The Workings of the Intermediate-sentence Law and Parole System in Illinois (Springfield, IL: State Board of Parole, 1928). Эта работа довольно тяжела для восприятия, вместо нее можно почитать статью Кларка Тиббитса, коллеги Бёрджесса, опубликованную позже: Clark Tibbitts, Success or failure on parole can be predicted: a study of the records of 3,000 youths paroled from the Illinois State Reformatory, Journal of Criminal Law and Criminology, vol. 22, no. 1, Spring 1931, https://scholarlycommons.law.northwestern.edu/cgi/viewcontent.cgi?article=2211&context=jclc. Бёрджесс обозначил и другие социальные типы – “белая ворона”, “невольный преступник”, “тупица” и “гангстер”. По его мнению, меньше всех рисковали вновь оказаться на скамье подсудимых люди из категории “деревенщина”.

98

Karl F. Schuessler, Parole prediction: its history and status, Journal of Criminal Law and Criminology, vol. 45, no. 4, 1955, pp. 425–431, https://pdfs.semanticscholar.org/4cd2/31dd25321a0c14a9358a93ebccb6f15d3169.pdf.

99

Ibid.

100

Bernard E. Harcourt, Against Prediction: Profiling, Policing, and Punishing in an Actuarial Age (Chicago and London: University of Chicago Press, 2007), p. 1.

101

Philip Howard, Brian Francis, Keith Soothill and Les Humphreys, OGRS 3: The Revised Offender Group Reconviction Scale, Research Summary 7/09 (London: Ministry of Justice, 2009), https://core.ac.uk/download/pdf/1556521.pdf.

102

Небольшая оговорка: в этой статистике, вероятно, есть систематическая ошибка. Обычно “помощи зала” просят в первых раундах, пока вопросы еще довольно простые. Тем не менее этот феномен, когда коллективное мнение группы оказывается более верным, чем мнение одного человека, находит подтверждение в литературе. См.: James Surowiecki, The Wisdom of Crowds: Why the Many Are Smarter than the Few, New York, Doubleday, 2004, p. 4. Русский перевод: – Шуровьевски Дж. Мудрость толпы. Почему вместе мы умнее, чем поодиночке… М.: “Манн, Иванов и Фербер”, 2014.

103

Netflix Technology Blog, https://medium.com/netflix-techblog/netflix-recommendations-beyond-the-5-stars-part-2-d9b96aa399f5.

104

Shih-ho Cheng, Unboxing the random forest classifier: the threshold distributions, Airbnb Engineering and Data Science, https://medium.com/airbnb-engineering/unboxing-the-random-forest-classifier-the-threshold-distributions-22ea2bb58ea6.

105

Jon Kleinberg, Himabindu Lakkaraju, Jure Leskovec, Jens Ludwig and Sendhil Mullainathan, Human Decisions and Machine Predictions, NBER Working Paper no. 23180 (Cambridge, MA: National Bureau of Economic Research, Feb. 2017), http://nber.org/papers/w23180. На самом деле в этом исследовании использовался “градиентный бустинг над решающими деревьями” – подход, подобный “случайным лесам”, но отличный от них. В обоих методах для принятия решения агрегируются прогнозы множества решающих деревьев, с той разницей, что при градиентном бустинге деревья вырастают последовательно, а в случайных лесах – параллельно. Для этого исследования данные предварительно поделили пополам. На одной половине учили алгоритм, а другую зарезервировали. Готовый к работе алгоритм брал примеры из той половины, которую ему до сих пор не показывали, и пытался предсказать грядущие события. Если бы данные изначально не разделили на две части, алгоритм просто превратился бы в мудреную справочную таблицу.

106

Ученые не пожалели времени на разработку статистических методов для решения этой конкретной задачи, так что все-таки можно провести обоснованное сравнение прогнозов, которые дали люди и машины. Подробнее об этом см. Kleinberg et al., Human Decisions and Machine Predictions.

107

“Costs per place and costs per prisoner by individual prison”, National Offender Management Service Annual Report and Accounts 2015–16, Management Information Addendum, Ministry of Justice information release, 27 Oct. 2016, https://gov.uk/government/uploads/system/uploads/attachment_data/file/563326/costs-per-place-cost-per-prisoner-2015–16.pdf.

108

Marc Santora, City’s annual cost per inmate is $ 168,000, study finds, New York Times, 23 Aug. 2013, http://nytimes.com/2013/08/24/nyregion/citys-annual-cost-per-inmate-is-nearly-168000-study-says.html; Harvard University, Harvard at a glance, https://harvard.edu/about-harvard/harvard-glance.

109

Luke Dormehl, The Formula: How Algorithms Solve All Our Problems… and Create More (London: W. H. Allen, 2014), p. 123.

110

Julia Angwin, Jeff Larson, Surya Mattu and Lauren Kirchner, Machine bias, ProPublica, 23 May 2016, https://propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing.

111

‘Risk assessment’ questionnaire, https://documentcloud.org/documents/2702103 -Sample-Risk-Assessment-COMPAS-CORE.html.

112

Tim Brennan, William Dieterich and Beate Ehret (Northpointe Institute), Evaluating the predictive validity of the COMPAS risk and needs assessment system, Criminal Justice and Behavior, vol. 36, no. 1, 2009, pp. 21–40, http://northpointeinc.com/files/publications/Criminal-Justice-Behavior-COMPAS.pdf. Согласно исследованию 2018 года алгоритм COMPAS продемонстрировал такую же точность, как “коллектив” респондентов. Исследователи опросили двадцать неподготовленных человек и показали, что их прогноз повторного правонарушения совпадает с оценкой системы COMPAS. Это интересное сравнение, но нельзя забывать, что в реальности у судей нет за дверью бригады незнакомцев, высказывающих свое мнение. Судьи работают в одиночку. И сравнивать им не с чем. См. Julia Dressel and Hany Farid, “The accuracy, fairness, and limits of predicting recidivism”, Science Advances, vol. 4, no. 1, 2018.

113

Christopher Drew Brooks v. Commonwealth, Court of Appeals of Virginia, Memorandum Opinion by Judge Rudolph Bumgardner III, 28 Jan. 2004, https://law.justia.com/cases/virginia/court-of-appeals-unpublished/2004/2540023.html.

114

ACLU brief challenges constitutionality of Virginia’s sex offender risk assessment guidelines, American Civil Liberties Union Virginia, 28 Oct. 2003, https://acluva.org/en/press-releases/aclu-brief-challenges-constitutionality-virginias-sex-offender-risk-assessment.

115

State v. Loomis, Supreme Court of Wisconsin, 13 July 2016, http://caselaw.findlaw.com/wi-supreme-court/1742124.html.

116

Из личной беседы с Ричардом Берком.

117

Angwin et al., Machine bias.

118

Global Study on Homicide 2013 (Vienna: United Nations Office on Drugs and Crime, 2014), http://unodc.org/documents/gsh/pdfs/2014_GLOBAL_HOMICIDE_BOOK_web.pdf.

119

Вероятность такого результата существует всегда, даже без учета пола в расчетах. При любом методе прогнозирования, основанном на таких параметрах, которые в большей мере свойственны одной группе, чем другой – например, на наличии ранее совершенных насильственных преступлений, – несправедливость может иметь место.

120

ACLU, The war on marijuana in black and white, June 2013, https://www.aclu.org/report/report-war-marijuana-black-and-white.

121

Наверное, должно вызвать удивление, что Верховный суд Висконсина поддержал позицию Equivant. Эрик Лумис, которого судья при помощи оценочного инструмента COMPAS приговорил к шести годам тюремного заключения, подал апелляцию. В деле “Лумис против штата Висконсин” говорилось, что использование находящейся в частной собственности компьютерной программы с закрытым кодом для оценки риска и вынесения приговора нарушало право обвиняемого на справедливое рассмотрение дела, так как защита не могла оспорить научную обоснованность оценки. Однако Верховный суд Висконсина постановил, что применение судом первой инстанции машинного средства оценки при вынесении приговора не нарушало право подсудимого на надлежащую правовую процедуру: Supreme Court of Wisconsin, case no. 2015AP157-CR, opinion filed 13 July 2016, https://wicourts.gov/sc/opinion/DisplayDocument.pdf?content=pdf&seqNo=171690.

122

Lucy Ward, Why are there so few female maths professors in universities? Guardian, 11 March 2013, https://theguardian.com/lifeandstyle/the-womens-blog-with-jane-martinson/2013/mar/11/women-maths-professors-uk-universities.

123

Sonja B. Starr and M. Marit Rehavi, Racial Disparity in Federal Criminal Charging and Its Sentencing Consequences, Program in Law and Economics Working Paper no. 12–002 (Ann Arbor: University of Michigan Law School, 7 May 2012), http://economics.ubc.ca/files/2013/05/pdf_paper_marit-rehavi-racial-disparity-federal-criminal.pdf.

124

David Arnold, Will Dobbie and Crystal S. Yang, Racial Bias in Bail Decisions, NBER Working Paper no. 23421 (Cambridge, MA: National Bureau of Economic Research, 2017), https://princeton.edu/~wdobbie/files/racialbias.pdf.

125

John J. Donohue III, Capital Punishment in Connecticut, 1973–2007: A Comprehensive Evaluation from 4686 Murders to One Execution (Stanford, CA, and Cambridge, MA: Stanford Law School and National Bureau of Economic Research, Oct. 2011), https://law.stanford.edu/wp-content/uploads/sites/default/files/publication/259986/doc/slspublic/fulltext.pdf.

126

Adam Benforado, Unfair: The New Science of Criminal Injustice (New York: Crown, 2015), p. 197.

127

Sonja B. Starr, Estimating Gender Disparities in Federal Criminal Cases, University of Michigan Law and Economics Research Paper no. 12–018 (Ann Arbor: University of Michigan Law School, 29 Aug. 2012), https://ssrn.com/abstract=2144002 или http://dx.doi.org/10.2139/ssrn.2144002.

128

David B. Mustard, Racial, ethnic, and gender disparities in sentencing: evidence from the US federal courts, Journal of Law and Economics, vol. 44, no. 2, April 2001, pp. 285–314, http://people.terry.uga.edu/mustard/sentencing.pdf.

129

Daniel Kahneman, Thinking, Fast and Slow (New York: Farrar, Straus & Giroux, 2011), p. 44. Русское издание: Канеман Д. Думай медленно… решай быстро. М.: АСТ, 2017.

130

Если бы мяч стоил 10 пенсов, то бита должна была бы стоить 1 фунт 10 пенсов, что в сумме составило бы 1 фунт 20 пенсов.

131

Chris Guthrie, Jeffrey J. Rachlinski and Andrew J. Wistrich, Blinking on the Bench: How Judges Decide Cases, paper no. 917 (New York: Cornell University Law Faculty, 2007), http://scholarship.law.cornell.edu/facpub/917.

132

Kahneman, Thinking, Fast and Slow, p. 13.

133

Ibid., p. 415.

134

Dhami and Ayton, Bailing and jailing the fast and frugal way.

135

Brian Wansink, Robert J. Kent and Stephen J. Hoch, An anchoring and adjustment model of purchase quantity decisions, Journal of Marketing Research, vol. 35, 1998, pp. 71–81, http://foodpsychology.cornell.edu/sites/default/files/unmanaged_files/Anchoring-JMR-1998.pdf.

136

Mollie Marti and Roselle Wissler, Be careful what you ask for: the effect of anchors on personal injury damages awards, Journal of Experimental Psychology: Applied, vol. 6, no. 2, 2000, pp. 91–103.

137

Birte Englich and Thomas Mussweiler, Sentencing under uncertainty: anchoring effects in the courtroom, Journal of Applied Social Psychology, vol. 31, no. 7, 2001, pp. 1535–1551, http://onlinelibrary.wiley.com/doi/10.1111/j.1559–1816.2001.tb02687.x.

138

Birte Englich, Thomas Mussweiler and Fritz Strack, Playing dice with criminal sentences: the influence of irrelevant anchors on experts’ judicial decision making, Personality and Social Psychology Bulletin, vol. 32, 2006, pp. 188–200, https://researchgate.net/publication/7389517_Playing_Dice_With_Criminal_Sentences_The_Influence_of_Irrelevant_Anchors_on_Experts%27_Judicial_Decision_Making. Criminal sentencing by preferred numbers, Journal of Empirical Legal Studies, vol. 17, no. 1, 2020, pp. 139–163. https://doi.org/10.1111/jels.12246.

139

Ibid.

140

Ibid.

141

Mandeep K. Dhami, Ian K. Belton, Elizabeth Merrall, Andrew McGrath and Sheila Bird, Sentencing in doses: is individualized justice a myth? (готовится к печати). С любезного разрешения Мандип Дхами, из личной беседы с ней.

142

Ibid.

143

Adam N. Glynn and Maya Sen, Identifying judicial empathy: does having daughters cause judges to rule for women’s issues? American Journal of Political Science, vol. 59, no. 1, 2015, pp. 37–54, https://scholar.harvard.edu/files/msen/files/daughters.pdf.

144

Shai Danziger, Jonathan Levav and Liora Avnaim-Pesso, Extraneous factors in judicial decisions, Proceedings of the National Academy of Sciences of the United States of America, vol. 108, no. 17, 2011, pp. 6889–6892, http://pnas.org/content/108/17/6889.

145

Keren Weinshall-Margel and John Shapard, Overlooked factors in the analysis of parole decisions, Proceedings of the National Academy of Sciences of the United States of America, vol. 108, no. 42, 2011, E833, http://pnas.org/content/108/42/E833.long.

146

Uri Simonsohn and Francesca Gino, Daily horizons: evidence of narrow bracketing in judgment from 9,000 MBA-admission interviews, Psychological Science, vol. 24, no. 2, 2013, pp. 219–224, https://ssrn.com/abstract=2070623.

147

Lawrence E. Williams and John A. Bargh, Experiencing physical warmth promotes interpersonal warmth, Science, vol. 322, no. 5901, pp. 606–607, https://ncbi.nlm.nih.gov/pmc/articles/PMC2737341/.

148

Richard M. Levenson, Elizabeth A. Krupinski, Victor M. Navarro and Edward A. Wasserman. Pigeons (Columba livia) as trainable observers of pathology and radiology breast cancer images, PLOSOne, 18 Nov. 2015, http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0141357.

149

Hippocrates’ daughter as a dragon kills a knight, in “The Travels of Sir John Mandeville”, British Library Online Gallery, 26 March 2009, http://bl.uk/onlinegallery/onlineex/illmanus/harlmanucoll/h/011hrl000003954u00008v00.html.

150

Eleni Tsiompanou, Hippocrates: timeless still, JLL Bulletin: Commentaries on the History of Treatment Evaluation (Oxford and Edinburgh: James Lind Library, 2012), http://jameslindlibrary.org/articles/hippocrates-timeless-still/.

151

David K. Osborne, Hippocrates: father of medicine, GreekMedicine.net, 2015, http://greekmedicine.net/whos_who/Hippocrates.html.

152

Richard Colgan, Is there room for art in evidence-based medicine? AMA Journal of Ethics, Virtual Mentor 13: 1, Jan. 2011, pp. 52–54, http://journalofethics.ama-assn.org/2011/01/msoc1–1101.html.

153

Joseph Needham, Science and Civilization in China, vol. 6, Biology and Biological Technology, part VI, Medicine, ed. Nathan Sivin (Cambridge: Cambridge University Press, 2004), p. 143, https://monoskop.org/images/1/16/Needham_Joseph_Science_and_Civilisation_in_China_Vol_6–6_Biology_and_Biological_Technology_Medicine.pdf.

154

“Ignaz Semmelweis”, Brought to Life: Exploring the History of Medicine (London: Science Museum n.d.), http://broughttolife.sciencemuseum.org.uk/broughttolife/people/ignazsemmelweis.

155

“Где Уолли?” – серия детских книг Мартина Хендфорда, где нужно найти человечка Уолли на картинках среди множества людей. (Прим. ред.)

Назад: Благодарности
Дальше: Примечания