Астро Теллер, «капитан муншотов» Google (moonshot – полет на Луну, в переносном смысле – смелый и передовой проект), 6 февраля 2015 года сказал, что глубокое обучение помогло снизить потребление энергии на 15 % и тем самым ежегодно экономить компании Google X сотни миллионов долларов. – Прим. авт.

Реверсивная инженерия, или обратное проектирование, – исследование объекта с целью понять принцип его работы. – Прим. ред.

Перцептрон – математическая или компьютерная модель восприятия информации мозгом. – Прим. ред.

В переводе на русский книга вышла в 1965 году. – Прим. ред.

В переводе на русский книга вышла в 1971 году. – Прим. ред.

«О дивный новый мир, где обитают такие люди!» – «Буря», Шекспир, пер. О. Сорока, 1989. – Прим. авт.

Beer Bottle Pass – перевал в горной цепи Люси-Грей-Маунтинс в штате Невада. – Прим. ред.

Власич Б. General Motors хочет управлять беспилотными автомобилями будущего. New York Times, 4 июня 2017 года. www.nytimes.com/2017/06/04/business/general-motors-self-driving-cars-mary-barra.html

Ингрем К. Невероятный человеческий потенциал, потраченный на дорогу на работу. Washington Post, 24 февраля 2016 года. www.washingtonpost.com/news/wonk/wp/2016/02/25/how-much-of-your-life-youre-wasting-on-your-commute

Американские центры обработки данных потребляют все больше энергии. Совет по защите природных ресурсов, 2015. www.nrdc.org/resources/americas-data-centers-consuming-and-wasting-growing-amounts-energy

Льюис-Краус Гидеон. New York Times Magazine, 14 декабря 2016 года. www.nytimes.com/2016/12/14/magazine/the-great-ai-awakening.html?_r=0 Hemingway is # 1

Цит. по: Хемингуэй Э. Снега Килиманджаро / Перевод с английского Н. А. Волжиной. М., 1968.

Перевод оригинала с английского языка на русский, выполненный Google Переводчиком в 2021 году. – Прим. ред.

Eugene Onegin. A Novel in Verse by Alexandr Pushkin / Translated from the Russian, with a Commentary, by Vladimir Nabokov. In four volumes. – NY: Pantheon Books, 1964.

Ранние попытки приведены в статье «Завышенная эффективность рекуррентных нейронных сетей» по ссылке: karpathy.github.io/2015/05/21/rnn-effectiveness/ – Прим. авт.

G. Hinton, L. Deng, G. E. Dahl, A. Mohamed, N. Jaitly, A. Senior, V. Vanhoucke, P. Nguyen, T. Sainath, B. Kingsbury, «Deep Neural Networks for Acoustic Modeling in Speech Recognition», IEEE Signal Processing Magazine, vol. 29, no. 6, pp. 82–97, Nov. 2012.

W. Xiong, Wayne Xiong, Jasha Droppo, Xuedong Huang, Frank Seide, Achieving Human Parity in Conversational Speech Recognition, arXiv:1610.0525.

Esteva A., Kuprel B., Novoa R. A., Ko J., Swetter S. M., Blau H. M., Thrun S. Dermatologist-Level Classification of Skin Cancer With Deep Neural Networks. Nature 542 (7639), 115–118. 2017.

Siddhartha Mukherjee, A. I. Versus M.D. What happens when diagnosis is automated? April 3, 2017 New Yorker. www.newyorker.com/magazine/2017/04/03/ai-versus-md

Kales A., Rechtschaffen A. (Eds.) A manual of standardized terminology, techniques and scoring system for sleep stages of human subjects. Allan Rechtschaffen and Anthony Kales, editors. National Institutes of Health publication, no. 204, Bethesda, Md., U. S. National Institute of Neurological Diseases and Blindness, Neurological Information Network, 1968.

Sei Chong, Morning Agenda: Big Pay for Hedge Fund Chiefs Despite a Rough Year, New York Times May 16, 2017 www.nytimes.com/2017/05/16/business/dealbook/hedge-funds-amazon-bezos.html

За исключением Агентства Национальной Безопасности, в числе сотрудников которого – сотни математиков (Alfred W. Hales, personal communication). – Прим. авт.

Сарфраз Манзур. «Гении математики работают на Уолл-стрит. Биржевые маклеры остаются без работы, так как их заменят гении математики, использующие сверхсовременные компьютеры. Но во благо ли это или во вред?» The Telegraph, 23 июля 2013 года.

Shaw D. E.; Chao Jack C.; Eastwood Michael P.; Gagliardo Joseph; Grossman J. P.; Ho C. Richard; Ierardi Douglas J.; Kolossváry István; et al. (May 2007). «Anton – компьютер для моделирования молекулярной динамики». International Symposium on Computer Architecture: Proceedings of the 34th annual international symposium on Computer architecture. ACM. 35 (2).

Далее – МТИ.

Ян Эллисон. «Бывший физик-ядерщик Анри Вельбрук объясняет, как машинное обучение снижает риск высокочастотной торговли», International Business Times, 23 марта 2016 г. www.ibtimes.co.uk/formernuclear-physicist-henri-waelbroeck-explains-how-machine-learning-mitigates-high-frequency1551097

Такой подход уже получил имя «электронное расследование» (также «автоматизированный анализ», или technology-assisted review, TAR) – автоматизированный сбор и анализ цифровой информации, релевантной для конкретного судебного процесса. – Прим. ред.

Moravčík M., Schmid M., Burch N., Lisý V., Morrill D., Bard N., Davis T., Waugh K., Johanson M., Bowling M. «DeepStack: Expert-level artificial intelligence in heads-up no-limit poker». Science. 356: 508–513 2017. Стандартное отклонение – это половина ширины колоколообразной кривой. Только 16 процентов выборок больше одного стандартного отклонения от среднего. Только один из десяти миллионов образцов имеет более четырех стандартных отклонений от среднего значения. – Прим. авт.

Вспоминается сюжет американского фильма «Военные игры 1983 года». – Прим. авт.

Silver David; Huang Aja; Maddison Chris J.; Guez Arthur; Sifre Laurent; Driessche George van den; Schrittwieser Julian; Antonoglou, Ioannis; Panneershelvam Veda (2016). «Mastering the game of Go with deep neural networks and tree search». Журнал Nature. 529 (7587): 484–489.

«Surveyor-1» приземлился на поверхность Луны 2 июня 1966 года в 6:17:36 UT. Место посадки находилось на равнинной территории в 100-километровом кратере к северу от кратера Флемстид. – Прим. авт.

«Ужасное разочарование подростка, проигравшего AlphaGo», Quartz, May 27, 2017. qz.com/993147/the-awful-frustration-of-a-teenage-go-champion-playing-googles-alphago/

Paul Mozur, “Beijing Wants A. I. to Be Made in China by 2030,” New York Times, July 20, 2017. www.nytimes.com/2017/07/20/business/china-artificial-intelligence.html?_r=0

Выражение «состояние потока», «быть в потоке» означает психическое состояние, в котором человек полностью включен в то, чем он занимается. – Прим. ред.

Также текучий, флюидный. – Прим. ред.

Говард Гарднер. Структура разума: теория множественного интеллекта. – М.: Вильямс, 2007.

Flynn J. R. Massive IQ gains in 14 nations: What IQ tests really measure. Psychological Bulletin. 101, 171–191 (1987).

Douglas C. Engelbart, Augmented Intelligence: Smart Systems and the Future of Work and Learning, SRI Summary Report AFOSR-3223, www.dougengelbart.org/pubs/augment-3906.html

На русском языке доступно по ссылке https://ru.coursera.org/learn/learnhow. – Прим. ред.

Оакли Барбара. «Mindshift. Новая жизнь, профессия и карьера в любом возрасте». Издательство «Питер», 2020.

Рынок образования оценивается в 1,3 триллиона долларов и делится на следующие основные секторы: раннее детское образование – 70 миллиардов долларов; начальное и среднее образование – 670 миллиардов долларов; высшее образование – 475 миллиарда долларов. medium.com/students-for-the-future/how-big-is-the-education-market-in-the-us-report-from-whitehouse-91dc313257c5. – Прим. авт.

Британский ученый, известный своими работами в области глубинных нейронных сетей. – Прим. ред.

Algorithmic retailing: Automatic for the people, журнал The Economist, April 15, 2017, p. 56.

Нейронные системы обработки информации. Ранее была аббревиатура NIPS, в 2018 году ее сменили на NeurIPS. Так как данная книга была написана незадолго до переименования, в оригинале и в библиографических ссылках употребляется аббревиатура NIPS, которую мы и будем использовать далее во избежание путаницы. – Прим. ред.

По словам Михаэлы Эннис, студентки МТИ в 2016 году, «историю о том, что старшекурсникам МТИ поручили создать компьютерную зрительную систему в качестве летнего проекта, ежегодно рассказывает профессор Винстон. Также он говорит, что его студентом был Сассман». – Прим. авт.

Roger Peterson, Guy Mountfort and P.A.D. Hollom, Field Guide to the Birds of Britain and Europe. Peterson Field Guides Series, 2001.

Бьюкенен; Шортлиф (1984). «Экспертные системы на основе правил. Эксперименты MYCIN Стэнфордского проекта эвристического программирования. Reading, MA: Addison-Wesley.

Сиддхартха Мукерджи. «Искусственный интеллект против медицины: Что случится, когда постановка диагноза станет автоматизированной?» Нью-Йорк, 3 апреля 2017 года. www.newyorker.com/magazine/2017/04/03/ai-versus-md

Педро Домингос (2015 год). «Мастер-алгоритм: как поиски Ultimate Learning Machine переделают наш мир». Никто не знает, как измерить здравый смысл, который мы воспринимаем как данность. – Прим. авт.

«Коты легче людей и могут группироваться в воздухе, даже если падают спиной вниз». Sechzera Jeri A.; Folsteina Susan E.; Geigera Eric H.; Mervisa Ronald F.; Meehana Suzanne M. (December 1984). «Development and maturation of postural reflexes in normal kittens». Experimental Neurology. 86 (3): Pages 493–505.

Stefik M. Strategic computing at DARPA: Overview and assessment. Commun. ACM 28, 7 (July 1985). 690–704.

Находится в США, штат Массачусетс. – Прим. ред.

А также другие бытовые роботы и несколько линеек роботов-помощников для армии США. – Прим. ред.

Сейчас Национальный центр суперкомпьютерных приложений (NCSA) – один из ведущих центров по разработке высокопроизводительных вычислительных систем. – Прим. ред.

Tesauro G. Sejnowski T. J. A Parallel Network That Learns to Play Backgammon, Artificial Intelligence Journal, 39, 357–390, 1989.

На местном уровне обнаруживаются различия в клеточных свойствах и связях между отдельными частями коры, которые, по-видимому, отражают специализацию разных сенсорных систем и уровней иерархии. – Прим. авт.

Wason P. C. (1977). «Self-contradictions». In Johnson-Laird P. N.; Wason P. C. Thinking: Readings in cognitive science. Cambridge: Cambridge University Press.

Главная особенность такой архитектуры состоит в том, что память физически разделена и система строится из отдельных модулей, каждый из которых представляет собой полнофункциональный компьютер. – Прим. ред.

По Lindsay P. H, Norman D. A. Human Information Processing: An Introduction to Psychology. 2nd ed. New York: Academic Press; 1977.

Wiener Norbert (1948). Cybernetics, or Control and Communication in the Animal and the Machine. Cambridge: MIT Press.

O. G. Selfridge. «Pandemonium: A paradigm for learning». In D. V. Blake and A. M. Uttley, editors, Proceedings of the Symposium on Mechanisation of Thought Processes, pages 511–529, London, 1959.

Пандемониум (обучаемая классифицирующая машина) и демон (процедура, запускаемая автоматически при выполнении некоторых условий) давно стали терминами в сфере IT и утратили метафорическое значение. – Прим. ред.

Least Mean Squares. See B. Widrow and S. D. Stearns, Adaptive Signal Processing, PrenticeHall, 1985. LMS: Least Mean Squares.

Модель Samsung S6 была выпущена в 2015 году. На 2021 год у флагманских смартфонов производительность достигает триллиона операций в секунду. – Прим. ред.

Gray M. S., Lawrence D. T., Golomb B. A., Sejnowski T. J. A Perceptron Reveals the Face of Sex, Neural Computation, 7, 1160–1164, 1995.

Golomb B. A., Lawrence D. T., Sejnowski T. J. “SEXNET: A Neural Network Identifies Sex from Human Faces,” Touretzky, D. S. Lippmann, R. (Ed.), Advances in Neural Information Processing Systems, 3, San Mateo, CA: Morgan Kaufmann Publishers, 572–577, 1991.

Отсылка к популярному телешоу 1950-х годов Dragnet, показывающее преступников по материалам ФБР. – Прим. авт.

Mikel Olazaran (1996). «A Sociological Study of the Official History of the Perceptrons Controversy». Social Studies of Science. 26 (3): 611–659.

С 1990 года работает в США. – Прим. ред.

Vapnik V. The Nature of Statistical Learning Theory. Springer-Verlag, New York, 1995.

Liu W.; Principe J.; Haykin S. (2010). Kernel Adaptive Filtering: A Comprehensive Introduction. Wiley, New Jersey.

Christoph von der Malsburg. “The correlation theory of brain function.” Internal Report 81–2, MPI Biophysical Chemistry, 1981. See Reprint in Models of Neural Networks II, chapter 2, pages 95–119. Springer, Berlin, 1994. fias.uni-frankfurt.de/fileadmin/fias/malsburg/publications/vdM_correlation.pdf

P. Wolfrum, C. Wolff, J. Lücke, and C. von der Malsburg. “A recurrent dynamic model for correspondence-based face recognition.” Journal of Vision 8, 1–18, 2008.

Fukushima, Neocognitron (1980). «A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position». Biological Cybernetics. 36 (4): 93–202.

Kohonen Teuvo (1982). «Self-Organized Formation of Topologically Correct Feature Maps». Biological Cybernetics. 43 (1): 59–69.

Pearl J. 1988. Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference. San Mateo, Calif.: Morgan Kaufmann.

Hinton G., Anderson J. A. Parallel Models of Associative Memory, Erlbaum (1981).

Временная (на 2–4 года) позиция кандидата или доктора наук, который занимается научно-исследовательской деятельностью. – Прим. ред.

Горнолыжный курорт в штате Вайоминг, США. – Прим. ред.

Sejnowski T. J. David Marr: A Pioneer in Computational Neuroscience Vaina, L. (Ed.), In: Selected Papers of David Marr, Boston, MA: Birkhäuser, 297–301, 1991 58.

Marr D., Poggio T. (1976), Cooperative computation of stereo disparity. Science 194: 283–287.

Julesz Béla (1971). Foundations of Cyclopean Perception. Chicago: The University of Chicago Press.

«Magic Eye» – автостереограммы со скрытой трехмерной структурой, создающей узор, который можно увидеть, расширяя глаза. Кристофер Тайлер создал первые черно-белые автостереограммы в 1979 году. – Прим. авт.

Марр Д. Зрение. Информационный подход к изучению представления и обработки зрительных образов / Изд-во «Радио и связь». М., 1987.

Теория вероятностей – раздел математики, изучающий закономерности случайных явлений. – Прим. ред.

Sejnowski T. J. A Stochastic Model of Nonlinearly Interacting Neurons, Princeton University, Thesis, 1978.

Sejnowski T. J. Vernon Mountcastle: Father of Neuroscience, Proceedings of the National Academy of Sciences U.S.A., 112, 6523–6524, 2015.

В Университете Хопкинса есть три отделения биофизики: на факультетах медицины и общественного здравоохранения и в Школе искусств и наук Кригера (я был на факультете биофизики Томаса Дженкинса в кампусе Homewood Школы искусств и наук). – Прим. авт.

(ориг.) Mind/Brain Institute.

Перевод С. Я. Маршака. – Прим. ред.

Электрорецепция – способность животных ощущать электрические сигналы окружающей среды. – Прим. ред.

Sejnowski T. J., Yodlowski M. L. A Freeze-Fracture Study of the Skate Electroreceptor, Journal of Neurocytology, 11, 897–912, 1982.

Sejnowski T. J., Reingold S. C., Kelley D. B. Gelperin, A. Localization of [3H]-2-Deoxyglucose in Single Molluscan Neurones, Nature, 287, 449–451, 1980.

Kuffler S. W., Sejnowski T. J. Peptidergic and Muscarinic Excitation At Amphibian Sympathetic Synapses, Journal of Physiology, 341, 257–278, 1983.

Разветвленный отросток нейрона, принимающий сигналы от других нейронов. – Прим. ред.

System Development Corporation – компания некоммерческих программ в Санта-Монике, работающая по контракту с американской армией. Была основана в 1969 году для распределения доходов от продажи зданий в рамках программы грантов с 1980 по 1988 год. – Прим. авт.

Отсылка к английской пословице Не is a good friend that speaks well of us behind our backs. – Тот хороший друг, который о нас за глаза хорошее говорит. – Прим. ред.

Лисп-машина – продукт компании Symbolics, предназначенный для написания программ обработки символов ИИ. Тем не менее он был недостаточно хорош для обработки чисел, что было необходимо для моделирования нейронных сетей. – Прим. авт.

Мне как участнику президентской программы «Молодой исследователь» предложили хорошую скидку от новой компьютерной компании Ridge, которая продавала компьютеры мощностью VAX-780, что в то время было очень хорошим вариантов для теоретических вычислений. – Прим. авт.

Далее – Калтех.

Клуб Гельмгольца был создан Фрэнсисом Криком, Вилейануром Рамачандраном и Гордоном Шоу в 1980-х годах и продолжало свою деятельность на протяжении 20 лет. Более подробная история: Aicardi C. Of the Helmholtz Club, SouthCalifornian seedbed for visual and cognitive neuroscience, and its patron Francis Crick, Stud Hist Philos Biol Biomed Sci. 45, 1–11 (2014). – Прим. авт.

«Я многому научился у всех, с кем сталкивался. Мне стыдно принимать идеи от людей… Мой самый интенсивный опыт – это Клуб Гельмгольца. Не знаю, слышали ли вы о нем. …Там было, может, человек двадцать. Я никогда не пропустил ни разу. Я находил, кто может меня подменить на занятии, если оно совпадало по времени со встречей в клубе. Но я бы ходил туда в любом случае, потому что это слишком важно, чтобы пропустить». Carver Mead. In: Anderson J. A., Rosenfeld E., editors. Talking nets: An oral history of neural networks. The MIT Press; Cambridge & London: 2000. Р. 238.

Desimone R., Albright T. D., Gross C. G., Bruce C. Stimulus-selective properties of inferior temporal neurons in the macaque, J Neurosci. 4: 2051–2062. 1984. У многих исследователей в лаборатории Гросса были бороды, поэтому нейроны в зрительной коре, которые реагировали на ершики для туалета, так же реагировали на бороды. – Прим. авт.

Практически всегда один из глаз доминантный, то есть пропускает через себя чуть больший объем информации в визуальную область головного мозга и точнее передает информацию о местоположении объектов. – Прим. ред.

Hubel David (1988) Eye, Brain, and Vision. W. H. Freeman & Co., New York, 1988 стр. 191–216.

Конец критического периода может быть не таким резким, как считалось ранее, и стереовидение может быть достигнуто у взрослых с исправленным косоглазием после интенсивной практики. Более подробная информация: См.: Barry S. R. (2009). Fixing my gaze: A scientist’s journey into seeing in three dimensions. New York: Basic Books. Я знал «стерео Сью», когда был аспирантом в Принстонском университете. – Прим. авт.

Есть несколько исключений из этого правила: гранулярные клетки в зубчатой извилине гиппокампа и нейроны в обонятельной луковице генерируются на протяжении всей жизни. Specter M., Rethinking the Brain, New Yorker, July 23, 2001, www.michaelspecter.com/2001/07/rethinking-the-brain/ – Прим. авт.

Sejnowski T. J. How Do We Remember the Past? Brockman, J. (Ed.), In: What We Believe But Cannot Prove: Today's Leading Thinkers on Science in the Age of Certainty, The Free Press, 97–99, 2005; Roger Y. Tsien, Very long-term memories may be stored in the pattern of holes in the perineuronal net, Proceedings of the National Academy of Sciences, USA, 110: 12456–12461 (2013).

При болезни Альцгеймера нарушается целостность внеклеточного матрикса, что может способствовать потере долговременной памяти (из личного разговора с нейробиологом Джоном Оллмэном). – Прим. авт.

Одна из знаковых черт главного героя юмористического романа «Жизнь и мнения Тристрама Шенди, джентльмена» – его любовь к пространным отступлениям от основной темы. – Прим. ред.

Интервью с Гери вы можете найти по ссылке scienceblogs.com/retrospectacle/2006/10/15/sfn-special-lecture-architect-1/ – Прим. авт.

Kunsberg B. S., Zucker S. W. Critical Contours: An Invariant Linking Image Flow with Salient Surface Organization, arXiv:1705.07329.

Связь между ними объясняется геометрией критических точек и градиентными переходами на поверхностях, называемых комплексом Морса – Смейла. – Прим. авт.

Lehky S. R., Sejnowski T. J. Network Model of Shape-from-Shading: Neural Function Arises from Both Receptive and Projective Fields, Nature, 333, 452–454, 1988.

Оптогенетика – методика исследования работы нервных клеток, основанная на внедрении в их мембрану специальных каналов – опсинов, реагирующих на возбуждение светом; разработана в 2005 году. – Прим. ред.

Sejnowski T. J. What Are the Projective Fields of Cortical Neurons? van Hemmen J. L., Sejnowski T. J. (Ed.), In: 23 Problems in Systems Neuroscience, Oxford University Press, 394–405, 2005.

В специальной литературе обычно фигурирует название «зона MT» от англ. middle temporal area. – Прим. ред.

Коннекто́м – полное описание структуры связей в нервной системе организма. – Прим. ред.

Geddes Linda (20 July 2016). «Human brain mapped in unprecedented detail; nearly 100 previously unidentified brain areas revealed by examination of the cerebral cortex». Nature doi:10.1038/nature.2016.20285.

Диффузионная спектральная томография отслеживает направление аксонов, которые составляют белое вещество в коре. – Прим. авт.

“Two Foundations Collaborate On Cognitive Neuroscience”, The Scientist, October 1989 www.the-scientist.com/?articles.view/articleNo/10719/title/Two-Foundations-Collaborate-OnCognitive-Neuroscience/

С электромагнитными волнами длиной менее одного миллиметра. – Прим. ред.

Hasson U., Yang E., Vallines I., Heeger D. J., Rubin N. A hierarchy of temporal receptive windows in human cortex. Journal of Neuroscience 28(10):2539–2550 (2008).

«The Organization of Behavior».

«Neural networks and physical systems with emergent collective computational abilities».

«A learning algorithm for Boltzmann Machines».

«Learning internal representations by error-propagation».

«Learning to predict by the methods of temporal differences».

«An information-maximization approach to blind separation and blind deconvolution».

«ImageNet Classification with Deep Convolutional Neural Networks».

J. Herault, C. Jutten. Space or time adaptive signal processing by neural network models. In JS Denker (Ed.) Neural Networks for Computing, AIP Conference Proceedings 151 (1), 206–211 (1986).

Синонимы: анализ независимых компонент, метод независимых компонент. В специальной литературе, как правило, употребляется аббревиатура ICA (англ. Independent Component Analysis). – Прим. ред.

System gets wired up during development: Linsker R (1988). «Self-organization in a perceptual network» IEEE Computer. 21 (3): 105–17.

Bell A. J., Sejnowski T. J. “An Information-Maximization Approach to Blind Separation and Blind Deconvolution”, Neural Computation, 7, 1129–1159, 1995.

Также важный вклад в разработку независимого компонентного анализа внесли Пьер Комон, Жан-Франсуа Кардозу, Эпо Хиваринен, Эркки Оя, Анджей Цихоцкий, Сюнъити Амари, Ли Тэ Вон, Майкл Левицки и многие другие. Почти все важные открытия совершаются разными способами несколькими исследователями почти одновременно. – Прим. авт.

Bell A. J., Sejnowski T. J. “The 'Independent Components' of natural scenes are edge filters,” Vision Research, 37, 3327–3338, 1997.

Бруно Ольсхаузен и Дэвид Филд пришли к такому же выводу с другим алгоритмом обучения, основанным на разреженности: BA Olshausen, DJ Field, Emergence of simple-cell receptive field properties by learning a sparse code for natural images.” Nature 38: 607, 1996. – Прим. авт.

Barlow H. (1961) «Possible principles underlying the transformation of sensory messages» in Sensory Communication, MIT Press.

Bell A. J., Sejnowski T. J. “Learning the Higher-Order Structure of a Natural Sound”, Network: Computation in Neural Systems, 7, 261–266, 1996.

A. Hyvarinen and P. Hoyer. “Emergence of phase- and shift invariant features by decomposition of natural images into independent feature subspaces”. Neural Computation, 12(7): 1705–1720, 2000.

Функция потерь – мера расхождения между истинным значением оцениваемого параметра и оценкой параметра. – Прим. ред.

Система с двумя противоположно заряженными полюсами. – Прим. ред.

McKeown M. J., Jung T.-P., Makeig S., Brown G. D., Kindermann S. S., Lee T.-W., Sejnowski T. J. “Spatially Independent Activity Patterns in Functional MRI Data During the Stroop Color-Naming Task,” Proceedings of the National Academy of Sciences of the United States of America, U.S.A. 95, 803–810, (1998).

Mantini D., Perrucci M. G., Del Gratta C., Romani G. L., Corbetta M. (2007) “Electrophysiological signatures of resting state networks in the human brain.” Proceedings of the National Academy of Sciences of the United States of America, U.S.A 104:13170–13175.

Donoho, D.L. (2006). «Compressed sensing». IEEE Transactions on Information Theory. 52 (4): 1289–1306.

Возможно, в мозжечке, на уровне мшистых волокнистых входов, сходящихся на дендритах гранулярных клеток: Eagleman D. M., Coenen O. J.-M. D., Mitsner V., Bartol T. M., Bell A. J., Sejnowski T. J. “Cerebellar Glomeruli: Does Limited Extracellular Calcium Implement a Sparse Encoding Strategy?”, Proceedings of the 8th Joint Symposium on Neural Computation, The Salk Institute, 2001.

Тони Белл изучает структуру воды с помощью ICA и спектроскопии в ближней инфракрасной области. Он пытается доказать, что вода образует связанные структуры, которые взаимодействуют через свет и образуют питательную среду для биомолекулярной жизни в невидимых до сих пор масштабах. Идея состоит в том, что решение возникает, когда «нейронные схемы» разряжаются в достаточной степени, чтобы распространить связанную информацию из более распределенных атомных сетей внутри клеток по всему телу. – Прим. авт.

Минимальное время, за которое большинство нейронов могут сформировать решение, – около 10 миллисекунд, а путь к решению за 1 секунду состоит не более чем из 100 временных шагов. – Прим. авт.

В физике электромагнетизма Майкл Фарадей применял «грязные» методы, а Джеймс Клерк Максвелл – «чистые». – Прим. авт.

Bullock T. H., and Horridge G. A. 1965. Structure and function in the nervous systems of invertebrates. W.H. Freeman and Co., San Francisco.

Chen E., Stiefel K. M., Sejnowski T. J., Bullock T. H. Model of Traveling Waves in a Coral Nerve Network, Journal of Comparative Physiology A, 194(2):195–200, 2008.

Levine D. S., Grossberg S. «Visual illusions in neural networks: line neutralization, tilt after effect, and angle expansion». J Theor Biol. 1976 Sep 21; 61(2):477–504.

Ermentrout G. B., Cowan J. D. «A mathematical theory of visual hallucination patterns». Biol Cybern. 1979 Oct; 34(3):137–50.

Hopfield J. J. «Neural networks and physical systems with emergent collective computational abilities», Proceedings of the National Academy of Sciences of the USA, vol. 79 no. 8 pp. 2554–2558, April 1982.

Алгоритм Марра – Поджио для стереозрения, упомянутый в главе 5, был симметричной сетью, но поскольку они использовали синхронные обновления всех единиц в сети, динамика была намного сложнее, чем с асинхронными обновлениями в сети Хопфилда. Marr D., Palm G., Poggio T., Analysis of a cooperative stereo algorithm. Biol Cybern. 28(4):223–39, 1978. – Прим. авт.

Colgin L. L., Leutgeb S., Jezek K., Leutgeb J. K., Moser E. I., McNaughton B.L., Moser M. B. Attractor-map versus autoassociation based attractor dynamics in the hippocampal network». J Neurophysiol. 2010 Jul; 104(1):35–50.

Также известна как Bell Laboratories или «Лаборатории Белла», ранее – AT&T Bell Laboratories, Bell Telephone Laboratories. Один из самых знаменитых научно-исследовательских центров по разработке современных технологий в мире. Компания существует с 1925 года. – Прим. ред.

Hopfield J. J., Tank D. W. «‘Neural’ computation of decisions in optimization problems». Biol Cybern.; 52(3):141–52. 1985.

Ballard D. H., Hinton G. E., Sejnowski T. J. «Parallel Visual Computation», Nature, 306, 21–26, 1983, R. A. Hummel, S. W. Zucker, «On the foundations of relaxation labeling processes», IEEE Trans. Pattern Anal. Machine Intell., 5, 267–287, 1983.

Kirkpatrick S.; Gelatt Jr C. D.; Vecchi M. P. (1983). «Optimization by Simulated Annealing». Science. 220 (4598): 671–680.

Kienker P. K., Sejnowski T. J., Hinton G. E., Schumacher L. E. “Separating Figure from Ground with a Parallel Network,” Perception, 15, 197–216, 1986.

Zhou H., Friedman H. S., von der Heydt R. “Coding of border ownership in monkey visual cortex.” J. Neurosci. 20: 6594–611. 2000.

Hebb D. O. (1949). The Organization of Behavior. New York: Wiley & Sons.

Ситуация, когда после длительного контакта больного с бредовым расстройством и здорового у здорового начинается аналогичный психоз. – Прим. ред.

Sejnowski T. J., Kienker P. K., Hinton G. E. «Learning Symmetry Groups with Hidden Units: Beyond the Perceptron», Physica, 22D, 260–275, 1986.

Cohen N. J., Abrams I., Harley W. S., Tabor L., Sejnowski T. J. Skill Learning and Repetition Priming in Symmetry Detection: Parallel Studies of Human Subjects and Connectionist Models, 8th Annual Conference of the Cognitive Science Society, Amherst, MA, 1986.

Изменение скорости реакции на воздействие раздражителей при постоянном повторе такого воздействия. – Прим. ред.

Yuhas B. P., Goldstein M. H. Jr., Sejnowski T. J., Jenkins R. E. «Neural network models of sensory integration for improved vowel recognition», Proceedings of the IEEE, 78, 1658–1668, 1990.

Hinton G. E., Osindero S. and Teh Y. (2006) «A fast learning algorithm for deep belief nets». Neural Computation 18, pp. 1527–1554.

Lettvin J. Y., Maturana H. R., McCulloch W. S., Pitts W. H. 1959, “What the frog's eye tells the frog's brain”, Proc. Inst. Rad. Eng., 47, 1940–1951. hearingbrain.org/docs/letvin_ieee_1959.pdf