Джеффри Хинтон – главный научный консультант Vector Institute. Официальный сайт центра: vectorinstitute.ai/ – Прим. авт.

P. Mozur and John Markoff, “Is China Outsmarting America in A.I.?” New York Times, May 27, 2017 www.nytimes.com/2017/05/27/technology/china-us-ai-artificial-intelligence.html?_r=0

Paul Mozur, “Beijing Wants A. I. to Be Made in China by 2030,” New York Times, July 20, 2017 www.nytimes.com/2017/07/20/business/china-artificial-intelligence.html?_r=0

С поправкой на инфляцию: www.space.com/17547-jfk-moon-speech-50years-anniversary.html. Выступление президента Джона Кеннеди «Мы решили отправиться на Луну» в Университете Райса в Хьюстоне 12 сентября 1962: www.youtube.com/watch?v=WZyRbnpGyzQ. Когда 20 июля 1969 года астронавт Нил Армстронг ступил на Луну, средний возраст инженеров НАСА составлял 26 лет, инженеров, которых в школьные годы вдохновила речь Кеннеди. – Прим. авт.

«Hello, world! – тестовое сообщение учебной программы из классической книги Брайана Кернигана и Денниса Ритчи «Язык программирования C» (1-е издание) (1978) Englewood Cliffs, NJ: Prentice Hall. – Прим. авт.

Видеозаписи выступлений и дискуссий можно найти по адресу: www.youtube.com/channel/UCB65yIb3bl-cFwOB6j1s8Nw – Прим. авт.

W. B. Arthur, The Nature of Technology: What it is and How it Evolves, The Free Press, New York (2007).

Переменные, которые могут принимать любые значения. – Прим. ред.

В данном случае понятие «сложность» относится к общей теории систем и характеризует такое поведение системы, при котором у нее появляются свойства, не присущие ее элементам в отдельности. – Прим. ред.

George A. Cowan, Manhattan Project to the Santa Fe Institute: The Memoirs of George A. Cowan. University of New Mexico Press. (2010).

Алгоритм PageRank, изобретенный основателями Google Ларри Пейджем и Сергеем Брином, использует ссылки на веб-страницу для определения важности страниц в Интернете. За прошедшее время он был усовершенствован с помощью многоуровневых алгоритмов, чтобы устранить предвзятость при поиске. – Прим. авт.

Kramer Adam D. I.; Guillory Jamie E.; Hancock Jeffrey T. (June 17, 2014). «Experimental evidence of massive-scale emotional contagion through social networks». Proceedings of the National Academy of Sciences. 111 (24): 8788–8790.

Kauffman Stuart (1993). The Origins of Order: Self Organization and Selection in Evolution. Oxford University Press.

Christopher G. Langton. Artificial Life: An Overview. (Editor), MIT Press, 1995.

National Research Council. 2007. The Limits of Organic Life in Planetary Systems. Washington, DC: The National Academies Press. Chapter 5: Origin of Life. www.nap.edu/read/11919/chapter/7

Мозг человека содержит больше нервных клеток, чем требуется в действительности. Благодаря этому существует нейропластичность – свойство, позволяющее мозгу изменяться по мере накопления опыта и даже восстанавливать утраченные связи после травм. – Прим. ред.

McCulloch W. and Pitts W. (1943). “A logical calculus of the ideas immanent in nervous activity”. Bulletin of Mathematical Biophysics, 5:115–133.

Компьютер назывался JOHNNIAC, в подражание другому раннему цифровому компьютеру под названием ENIAC. – Прим. авт.

Силлимановская лекция – награда, присуждаемая Йельским университетом с 1901 года, дающая лауреату право провести цикл лекций по естественным наукам, истории или морали, которые затем выпускают в виде книги. – Прим. ред.

John von Neumann, The Computer and the Brain. New Haven/London: Yale University Press, 1958.

Джон фон Нейман «Вычислительная машина и мозг», перевод Чечина А. М.: АСТ, 2018.

Lyne John and Henry Howe «'Punctuated Equilibria': Rhetorical Dynamics of a Scientific Controversy». in Harris R. A. ed. (2007). Landmark Essays on Rhetoric of Science. Mahwah NJ: Hermagoras Press.

Holland John (1992). Adaptation in Natural and Artificial Systems. Cambridge, MA: MIT Press.

Stiefel K. M., Sejnowski T. J. “Mapping Function onto Neuronal Morphology”, Journal of Neurophysiology, 98: 513–526, 2007.

Язык для программирования с одновременным использованием множества парадигм – совокупности идей и понятий, определяющих стиль написания компьютерных программ. – Прим. ред.

www.wolframalpha.com

Интересное эссе о том, как развивалось мышление Вольфрама, можно найти тут: blog.stephenwolfram.com/2017/05/a-new-kind-of-science-a-15-year-view/ – Прим. авт.

Image identification: blog.stephenwolfram.com/2015/05/wolfram-language-artificial-intelligencethe-image-identification-project/

Athenaeum – частный клуб в кампусе Калтеха в Пасадене, основанный в 1930 году. Его членами могут стать преподаватели, аспиранты, старшекурсники, выпускники, попечители и сотрудники института. – Прим. ред.

Beckman Auditorium – небольшое здание в стиле нового формализма, созданное известным американским архитектором Эдвардом Дуреллом Стоуном в 1960 году. – Прим. ред.

Он покинул пост корпоративного вице-президента Intel в марте 2020 года. – Прим. ред.

Сейчас известен как Microsoft Cognitive Toolkit – стандартизированный инструментарий для работы с сетями глубокого обучения и ИИ. – Прим. ред.

Фонд, поддерживающий развитие науки и общественного понимания. Основан в 2000 году в Лос-Анджелесе норвежским бизнесменом и филантропом Фредом Калви. – Прим. ред.

Roger Blandford, Michael Roukes, Larry Abbott, Terrence Sejnowski (Chair), “Report on the Third Kavli Futures Symposium on Growing High Performance Computing in a Green Environment,” September 9–11, 2010, Tromø, Norway cnl.salk.edu/Media/Kavli-Futures.Final-Report.11.pdf

Экзафлопсными называют компьютеры, которые могут выполнять 10¹⁸ вычислительных операций в секунду. – Прим. ред.

10¹⁵ операций в секунду.

10¹⁵.

Соучредитель корпорации Intel. Свой «закон» он сформулировал в 1965 году. – Прим ред.

Carver Mead, Lynn Conway, Introduction to VLSI systems, Addison-Wesley, 1980.

Mahowald M. A., Mead C. The silicon retina. Scientific American, 264:76–82 (1991).

Milton and Francis Clauser Doctoral Prize. Докторская премия имени братьев Клаузеров ежегодно присуждается в Калифорнийском технологическом институте кандидату, чьи исследования демонстрируют высочайшую степень оригинальности и потенциал для открытия новых направлений человеческой мысли. – Прим. ред.

Mahowald M., Douglas R. A silicon neuron. Nature 354:515–518 (1991).

Строительство продолжалось с 1911 по 1987 год. Девять электростанций имеют общую установленную мощность более 1000 мегаватт. – Прим. ред.

Carver Mead. Collective Electrodynamics: Quantum Foundations of Electromagnetism, MIT Press, 2002.

Отец Тоби, Макс Дельбрюк, был биофизиком и в 1950-х годах основал молекулярную биологию; в 1969 году он получил Нобелевскую премию. Это еще одно звено между микроэлектроникой и молекулярной биологией, которое будет рассмотрено в главе 18. – Прим. авт.

C. Posch, T. Serrano-Gotarredona, B. Linares-Barranco, and T. Delbruck, “Retinomorphic eventbased vision sensors: bioinspired cameras with spiking output,” Proc. IEEE, vol. 102, no. 10, pp. 1470–1484, 2014.

Потенциал действия, или спайк, – быстрое колебание мембранного потенциала, возникающее при возбуждении нервных, мышечных, некоторых железистых и растительных клеток. – Прим. ред.

Sejnowski T. J. The Book of Hebb, Neuron, 24, 773–776, 1999.

Обнаружение совпадений (англ. сoincidence detection) в нейробилогии – процесс, позволяющий нейронам кодировать информацию, выявляя появление близких по времени, но распределенных в пространстве входных сигналов. – Прим. ред.

Hebb, D.O. (1949). The Organization of Behavior. New York: Wiley & Sons.

Robert F. Service. The brain chip. Science, 345: 614–616, 2014, science.sciencemag.org/content/345/6197/614.full

В 2017 году.

Recurrent spiking networks: Huh D., Sejnowski T. J. “Gradient Descent for Spiking Neural Networks,” arXiv:1706.04698v1.

Boahen K. A. “Neuromorph’s Prospectus”, IEEE Xplore: Computing in Science and Engineering, special issue on the topic “Beyond Moore’s Law” 19(2), 14–28, 2017.

Soni J., Goodman R. A Mind at Play: How Claude Shannon Invented the Information Age, (Simon & Schuster: New York) (2017).

Предел Шеннона (англ. Shannon limit) – максимальная скорость передачи, для которой имеется возможность исправить ошибки в канале с заданным соотношением сигнала и шумов. – Прим. ред.

Golomb S. W. Shift Register Sequences: Secure and Limited-Access Code Generators, Efficiency Code Generators, Prescribed Property Generators, Mathematical Models, World Scientific Publishing Co; 3rd Revised Edition (2017).

http://blog.stephenwolfram.com/2016/05/solomon-golomb-19322016/

Hedy's Folly: The Life and Breakthrough Inventions of Hedy Lamarr, the Most Beautiful Woman in the World’ by Richard Rhodes, Doubleday, 2012.

Gödel, Escher, Bach: An Eternal Golden Braid.

Riggs L. A.; Ratliff F.; Cornsweet J. C.; Cornsweet T. M. N. (1953). «The Disappearance of Steadily Fixated Visual Test Objects». Journal of the Optical Society of America. 43 (6): 495.

Rajesh P. N. Rao & Dana H. Ballard. (1999). “Predictive coding in the visual cortex: a functional interpretation of some extra-classical receptive-field effects.” Nature Neuroscience 2, 79–87.

Осознание этого подвигло Мида на создание нейроморфных систем, которые, как и мозг, работают в режиме реального времени. Mead C. 1990. Neuromorphic electronic systems. Proc. IEEE 78:1629–36. – Прим. авт.

Так же употребляются названия предсказательное кодирование, предиктивное кодирование, прогностическая обработка. – Прим. ред.

von Helmholtz Hermann (1867). Handbuch der physiologischen Optik. 3. Leipzig: English translation: Optical Society of America (1924–25): Treatise on Physiological Optics.

McClelland J. L. & Rumelhart D. E. “An Interactive Activation Model of Context Effects in Letter Perception: Part 1. An Account of Basic Findings.” Psychological Review, 88(5) 401–436, 1981; “Part 2. The Contextual Enhancement Effect and Some Tests and Extensions of the Model,” Psychological Review, 89 (1) 60–94, 1982.

Muller L., Piantoni S., Koller D., Cash S. S., Halgren E., Sejnowski T. J. “Rotating waves during human sleep spindles organize global patterns of activity during the night,” eLife, e17267 (2016).

Соединяющая машина.

10¹⁵.

Выражение означает, что для успеха в долгосрочной перспективе нужно предпринимать необходимые шаги прямо сейчас, а также не жертвовать долгосрочной выгодой ради сиюминутной прибыли. – Прим. ред.

Известное высказывание Артура Кларка: «Любая достаточно развитая технология неотличима от магии». – Прим. авт.

Глава адаптирована из: Sejnowski T. J. Consciousness, Daedalus, Winter, 144: 123–132, 2015.

Francis H. C. Crick, What Mad Pursuit: A Personal View of Scientific Discovery (New York: Basic Books, 1988).

Единого общепринятого научного определения сознания не существует. Однако оно включает в себя состояние бодрствования, способность воспринимать то, что находится или происходит вокруг, а также осознание себя и мира. – Прим. авт.

Crick F. “The function of the thalamic reticular complex: the searchlight hypothesis.” Proc. Natl. Acad. Sci. USA 81:4586–90, 1984.

Francis Crick and Christof Koch, “The Problem of Consciousness,” Scientific American 267 (3) (1992): 10–17; Francis Crick and Christof Koch, “Constraints on Cortical and Thalamic Projections: The NoStrong-Loops Hypothesis,” Nature 391 (1998): 245–250; Francis Crick and Christof Koch, “A Framework for Consciousness,” Nature Neuroscience 6 (2003): 119–126; and Francis Crick, Christof Koch, Gabriel Kreiman, and Itzhak Fried, “Consciousness and Neurosurgery,” Neurosurgery 55 (2) (2004): 273–281.

F. Crick and C. F. Koch. “Are We Aware of Neural Activity in Primary Visual Cortex?” Nature 375 (1995): 121–123; Koch C, Massimini M, Boly M & Tononi G (2016) The neural correlates of consciousness: Progress and problems. Nature Review Neuroscience 17: 307–21.

Quiroga R. Q., Reddy L., Kreiman G., Koch C. & Fried I. Invariant visual representation by single neurons in the human brain. Nature 435, 1102–1107 (2005).

Karl Deisseroth and Mark J. Schnitzer, “Engineering Approaches to Illuminating Brain Structure and Dynamics,” Neuron 80 (2013): 568–577.

Valerio Mante, David Sussillo, Krishna V. Shenoy, William T. Newsome, “Context-Dependent Computation by Recurrent Dynamics in Prefrontal Cortex,” Nature 503 (2013): 78–84.

Отчет BRAIN 2025 www.nih.gov/science/brain/2025/index.htm

Churchland P. S. and Sejnowski T. J. The Computational Brain, 2nd edition, Cambridge, MA: MIT Press (2016).

face cells – группа нейронов, которая активнее всего реагирует при распознании лиц. – Прим. ред.

L. Chang and D. Y. Tsao. “The code for facial identity in the primate brain.” Cell, 169:1013–1028.e14, 2017.

David A. Bulkin and Jennifer M. Groh, “Seeing Sounds: Visual and Auditory Interactions in the Brain,” Current Opinion in Neurobiology 16 (2006): 415–419.

David M. Eagleman and Terrence J. Sejnowski, “Motion Integration and Postdiction in Visual Awareness,” Science 287 (2000): 2036–2038.

Stephen L. Macknik, Susana Martinez-Conde, and Sandra Blakeslee, Sleights of Mind: What the Neuroscience of Magic Reveals About Our Everyday Deceptions (New York: Henry Holt, 2010).

Stanislas Dehaene and Jean-Pierre Changeux, “Experimental and Theoretical Approaches to Conscious Processing,” Neuron 70 (2011): 200–227.

Moeller S., Crapse T., Chang L. and Tsao D. Y. The effect of face patch microstimulation on perception of faces and objects Nat. Neurosci. 20, 743–752 (2017).

Parvizi J., Jacques C., Foster B. L., Withoft N., Rangarajan V., Weiner K. S. and Grill-Spector K. Electrical stimulation of human fusiform face-selective regions distorts face perception. J. Neurosci. 32, 14915–14920 (2012).

Sejnowski T. J. What Are the Projective Fields of Cortical Neurons? van Hemmen J. L. Sejnowski T. J. (Ed.), In: 23 Problems in Systems Neuroscience, Oxford University Press, 394–405, 2005.

Leanne Chukoskie, Joseph Snider, Michael C. Mozer, Richard J. Krauzlis, and Terrence J. Sejnowski, “Learning Where to Look for a Hidden Target,” Proceedings of the National Academy of Sciences of the United States of America 110 (2013): 10438–10445.

Terrence J. Sejnowski, Howard Poizner, Gary Lynch, Sergei Gepshtein, and Ralph J. Greenspan, “Prospective Optimization,” Proceedings of the Institute of Electrical and Electronic Engineering 102 (2014): 799–811.

F. C. Crick, C. Koch, “What is the function of the claustrum?” Philos. Trans. R. Soc. Lond. B Biol. Sci., 360 (2005), 1271–1279.

Lincoln T. A., Joyce G. F. (February 2009). «Self-sustained replication of an RNA enzyme». Science. 323 (5918): 1229–32.

Cech T. R. (Jul 2012). «The RNA worlds in context». Cold Spring Harbor Perspectives in Biology. 4 (7): a006742.

Feldman J. A. (2016). Mysteries of visual experience. arxiv.org/abs/1604.08612

Patricia S. Churchland, V. S. Ramachandran, and Terrence J. Sejnowski, “A Critique of Pure Vision,” in Large-Scale Neuronal Theories of the Brain, ed. Christof Koch and Joel D. Davis (Cambridge, Mass.: MIT Press, 1994), 23–60.

John Allman (1999). Evolving Brains, New York: Scientific American Library.

Skinner B. F. (1971). Beyond freedom and dignity. Hackett Publishing Co., Indianapolis, Indiana.

Chomsky N., (1971) The Case Against B. F. Skinner The New York Review of Books, 17: 18–24.

Специалист, разрабатывающий инструменты для обработки естественного языка, распознавания текста и речи, системы переводов и т. п. – Прим. ред.

Chomsky N. (1980). Rules and representations. Oxford: Basil Blackwell.

Gopnik A., Meltzoff A. & Kuhl P. (2000). The scientist in the crib: What early learning tells us about the mind. New York: HarperCollins. Goodman, E. (2003).

Мешок слов (англ. Bag of Words) – модель текстов на натуральном языке, в которой каждый документ или текст выглядит как неупорядоченный набор слов без сведений о связях между ними. – Прим. ред.

Mikolov T., Sutskever I., Chen K., Corrado G. & Dean J. “Distributed representations of words and phrases and their compositionality.” In Proc. Advances in Neural Information Processing Systems 26 3111–3119 (2013).

Это было обращение от МТИ к Институту Макговерна, чтобы убедить их сделать существенный вклад в понимание биологической основы языка и языковых нарушений. – Прим. авт.

«Да пребудет с вами сила», – как говорил мастер-джедай Оби-Ван Кеноби в «Звездных войнах». – Прим. авт.

Fodor Jerry. «The Mind/Body Problem». Scientific American (244): 124–132.

Hassabis D., Kumaran D., Summerfield C., Botvinick M., «Neuroscience-Inspired Artificial Intelligence», Neuron, 95, 245–258 (2017).

Neuroeconomics, Second Edition: Decision Making and the Brain: Paul W. Glimcher, Ernst Fehr, Academic Press: New York (2013).

Camerer C. Behavior game theory: Experiments in strategic interaction. Princeton University Press. (2003).

«Artificial Intelligence Vision: Progress and Non-progress».

«Intelligence and Bodies».

«Why Natural Language Processing is Now Statistical Natural Language Processing».

Синтия Бризил в МТИ и Хавьер Мовеллан разработали социальных роботов, которые взаимодействуют с людьми и используют выражение лица для общения, делая первые шаги к вычислительной теории эмоций. – Прим. авт.

«Theory of Neural-Analog Reinforcement Systems and Its Application to the Brain Model Problem».

Wolfram S., Farewell Marvin Minsky (1927–2016), Idea Makers Personal Perspectives on the Lives & Ideas of Some Notable People, blog.stephenwolfram.com/2016/01/farewell-marvin-minsky-19272016/

Graves A., Wayne G., Reynolds M., Harley T., Danihelka I., Grabska-Barwińska A., Colmenarejo S. G., Grefenstette E., Ramalho T., Agapiou J., Badia A. P., Hermann K. M., Zwols Y., Ostrovski G., Cain A., King H., Summerfield C., Blunsom P., Kavukcuoglu K., Hassabis D. Hybrid computing using a neural network with dynamic external memory. Nature. 2016 538: 471–476.

Организмы, используемые в качестве моделей для изучения тех или иных свойств, процессов или явлений живой природы. Полученные данные переносятся на другие организмы. – Прим. ред.

www.nobelprize.org/nobel_prizes/medicine/laureates/2002/brenner-lecture.html

thesciencenetwork.org/search?program=Reading+the+Human+Genome+with+Sydney+Brenner

Имагинальные диски – зачатки ног и усиков у мух. – Прим. авт.

Сидней Бреннер опубликовал свою оригинальную историю в Brenner S. «Francisco Crick in Paradiso», Curr Biol. 6(9):1202, 1996: «В Кембридже я делил кабинет с Фрэнсисом Криком в течение двадцати лет. Одно время он интересовался эмбриологией и много думал об имагинальных дисках у мушки-дрозофилы. Однажды он бросил на стол книгу, которую читал, с раздраженным криком: «Бог знает, как работают эти имагинальные диски!» В мгновение ока я увидел, как Крик прибывает на небеса, а Петр приветствует его словами: «О, доктор Крик, вы, должно быть, устали после долгого путешествия. Садитесь, выпейте и расслабьтесь». «Нет, – говорит Крик, – я должен увидеть Бога и задать ему вопрос». После некоторых уговоров ангел соглашается отвести Фрэнсиса к Богу. Они пересекают среднюю часть небес и наконец, перейдя железнодорожные пути, попадают в заваленный хламом сарай с гофрированной железной крышей, в глубине которого возился маленький человечек в комбинезоне с большим гаечным ключом в заднем кармане. «Бог, – произносит ангел, – это доктор Крик. Доктор Крик, это Бог». «Я так рад с вами познакомиться, – говорит Крик. – Я должен задать вам этот вопрос. Как работают имагинальные диски?» «Ну, – приходит ответ, – мы взяли немного этого материала и добавили к нему кое-что еще… на самом деле, мы не знаем, но я могу сказать вам, что мы создавали здесь мух на протяжении двухсот миллионов лет, и никто ни разу не жаловался». – Прим. авт.

Сидней Бреннер умер в апреле 2019 года. – Прим. ред.

Dobzhansky, Theodosius (March 1973), «Nothing in Biology Makes Sense Except in the Light of Evolution», American Biology Teacher, 35 (3): 125–129, JSTOR 4444260; reprinted in Zetterberg, J. Peter, ed. (1983), Evolution versus Creationism, Phoenix, Arizona: ORYX Press.

www.youtube.com/watch?v=C9M5h_tVlc8

www.youtube.com/watch?v=L9ITpz4OeOo

Nagel, Thomas (1974). «What Is It Like to Be a Bat?» The Philosophical Review. 83 (4): 435–450.

Антропогенез изучает происхождение человечества. Официальный сайт: carta.anthropogeny.org – Прим. авт.

Группа в Ла-Хойя и CARTA были основаны под руководством Аджита Варки, врача-ученого в Калифорнийском университете в Сан-Диего, увлеченного эволюцией. – Прим. авт.

Около 1 % ДНК – это последовательности, кодирующие белки, и 8 % – регуляторные последовательности, связывающие белки. – Прим. авт.

Berg Howard C. (2003). E. coli in motion. New York, NY: Springer.

Navlakha S. & Bar-Joseph Z. Algorithms in nature: the coka: nvergence of systems biology and computational thinking. Molecular Systems Biology 7, 546 (2011).

Отсылка к выражению «тонкий край клина» (англ. thin edge of the wedge) – незначительное изменение, с которого начинается большое развитие. – Прим. ред.

Churchland P. S. and Sejnowski T. J. The Computational Brain, 2nd edition, Cambridge, MA: MIT Press (2016). https://mitpress.mit.edu/books/computational-brain

Quartz S. R., Sejnowski T. J. Liars, Lovers and Heroes: What the New Brain Science Has Revealed About How We Become Who We Are, New York: Harper-Collins, 2002.

Mackintosh N. J. IQ and Human Intelligence (second Ed). Oxford: Oxford University Press. (2012).

Griffin D. R. Animal minds. Chicago: University of Chicago Press (1992).

Бишоп К. М. Распознавание образов и машинное обучение / Перевод Д. А. Клюшина. М.: Вильямс, 2020.

MacKay D. Information Theory, Inference, and Learning Algorithms, Cambridge: Cambridge University Press, 2003.

Паттерсон Дж., Гибсон А. Глубокое обучение с точки зрения практика / Перевод А. А. Слинкина. М.: ДМК Пресс, 2018.

Бенджио И., Курвилль А., Гудфеллоу Я. Глубокое обучение / Перевод А. А. Слинкина. М.: ДМК Пресс, 2018.

Murphy K. P. Machine Learning: A Probabilistic Perspective, Cambridge, MA: MIT Press (2014).

Саттон Р., Барто Э. Обучение с подкреплением / Перевод А. А. Слинкина. М.: ДМК Пресс, 2020.

Goldhagen Sarah Williams. Louis Kahn’s Situated Modernism. New Haven, CT: Yale University Press, 2001.

Francis Crick. The Astonishing Hypothesis: The Scientific Search for the Soul. Chicago: Charles Scribner's Sons, 1995. Р. 146.