Дополнительная литература

Введение в нейробиологию

Эта книга лишь кратко коснулась нейробиологии, которая представляет собой обширную область с быстро расширяющимися границами. Наиболее актуальная для глубокого обучения часть нейробиологии называется системной нейробиологией. Если вы хотите узнать больше о мозге и нейронных сетях, хорошей отправной точкой станет книга «Вычислительный мозг» («The Computational Brain»). Она знакомит с основами нейробиологии и рассказывает, как нейронные сети применимы к широкому спектру структур мозга, таких как зрительная система, глазодвигательная система, управляющая движениями глаз, и способы представления пространства в коре.

Книга «Лжецы, любовники и герои: Что новая наука о мозге говорит нам о том, как мы становимся теми, кто мы есть» («Liars, Lovers and Heroes: What the New Brain Science Has Revealed About How We Become Who We Are»), написанная для широкой аудитории, исследует, каким образом наши самые благородные и самые плохие черты коренятся в системах мозга, настолько древних, что мы разделяем их с насекомыми. Те самые алгоритмы, которые DeepMind использовала для обучения AlphaGo.

Общество нейробиологии поддерживает сайт brainfacts.org, где вы можете найти информацию о многих аспектах работы мозга и его расстройств.

Биологический интеллект

Книга «IQ и человеческий интеллект» («IQ and human intelligence») – заслуживающее доверия всестороннее введение в психологию интеллекта, включая социальный и эмоциональный интеллект. Биологическая основа интеллекта зависит от взаимодействия мозга с миром в процессе развития. Животный интеллект также был широко изучен, и «Животных разум» («Animal Minds») – хорошая книга для знакомства с ним.

Машинное обучение

Книга «Распознавание образов и машинное обучение» («Neural Networks for Pattern Recognition») хороша для изучения основ нейронных сетей. Между теорией информации и алгоритмами обучения есть глубинная связь, прекрасно изложенная в книге «Теория информации, логический вывод и алгоритмы обучения» («Information Theory, Inference, and Learning Algorithms»). Глубокое обучение быстро развивается: книга «Глубокое обучение с точки зрения практика» («Deep Learning: A Practitioner's Approach») подойдет для первого знакомства, а учебник «Глубокое обучение» («Deep Learning») в настоящее время доступен онлайн www.deeplearningbook.org. «Машинное обучение: вероятностная перспектива» («Machine Learning: A Probabilistic Perspective») – сборник, охватывающий более широкий спектр алгоритмов машинного обучения. Глубокое обучение с подкреплением находится на переднем крае исследований, и удачная отправная точка – книга «Обучение с подкреплением» (Reinforcement Learning: An Introduction).

Благодарности

Институт биологических исследований Солка (рис. 1), где я работаю, – особое место. Когда вы приближаетесь к институту снаружи, он выглядит как бетонная крепость, но когда вы входите в центральный двор, вид радикально меняется: широкое пространство из белого известняка простирается до Тихого океана, а башни по сторонам закрепляют ощущение нереальности. Моя лаборатория находится в южном корпусе со стороны внутреннего двора (на фото слева). Когда вы входите в лабораторию, слева вас встречает электронно-микроскопическая фотография гиппокампа размером со стену, которая выглядит как поперечное сечение тарелки со спагетти. Отсюда открывается вид на чайную комнату – сердце вычислительной лаборатории нейробиологии.

Рис. 1. Из Института биологических исследований Солка в Ла-Хойя в Сан-Диего открывается вид на Тихий океан. Это знаковое здание, спроектированное Луисом Каном, храм науки. Сюда я прихожу на работу каждый день

Круглый белый чайный стол был ареной для дискуссий с некоторыми из самых выдающихся ученых мира, в том числе Фрэнсисом Криком, который любил беседовать со студентами и коллегами на любые научные темы (рис. 2). Он даже упомянул чайную комнату в своей книге «Удивительная гипотеза»:

Рис. 2. Чайная комната в Лаборатории вычислительной нейробиологии Института Солка в 2010 году. Ежедневные чаепития стали социальным инкубатором для развития многих алгоритмов обучения и научных открытий, описанных в этой книге

«Группа Терри Сейновски в Институте Солка собирается на неформальное чаепитие почти каждый вечер. Эти чаепития – идеальный повод обсудить результаты последних экспериментов, выдвинуть новые идеи или просто посплетничать о науке, политике и новостях в целом. Однажды я пришел на такое чаепитие и объявил Пэт Черчленд и Терри Сейновски, что нашел место, где находится воля! Она в передней поясной коре или где-то рядом. Когда я обсудил этот вопрос с Антонио Дамасио, выяснилось, что он тоже пришел к той же мысли».

Особенно мне памятен день в 1989 году, когда Фрэнсис Крик пришел на чай с Беатрис Голомб. Он сказал мне, что она хочет работать в области нейронных сетей, и я должен взять ее на работу. Беатрис получила докторскую степень по медицине и на тот момент была аспиранткой в Калифорнийском университете в Сан-Диего и некоторое время занималась исследованиями под началом Крика. Она хотела работать над нейронными сетями для своей докторской диссертации, но биологический факультет не дал разрешения. Я последовал совету Крика и узнал от Беатрис столько же, сколько она узнала от меня, и продолжаю учиться у нее с тех пор, как мы поженились в 1990 году.

Стол для чаепитий приехал со мной из Университета Хопкинса: это был первый предмет, который я купил в 1981 году для новой лаборатории на моей первой работе на кафедре биофизики имени Томаса Дженкинса. Кафедра биофизики была похожа на старую семью, а я – на младшего сыночка, которого окружили заботой. Они вселили в меня уверенность двигаться в новом направлении, за что я бесконечно им благодарен. Я приобщился к традиции послеобеденного чаепития, будучи постдокторантом на кафедре нейробиологии Гарвардской медицинской школы. На крупной разносторонней кафедре это был способ поддерживать связь и узнавать о проводимых экспериментах. Моя лаборатория – миниатюрный университет, в котором обучаются студенты из разных областей естественных и технических наук, математики, и медицины, и чаепития – время, когда мы собираемся вместе как группа.

Я везунчик. Мои родители ценили образование и доверяли мне с раннего возраста. Я жил в период беспрецедентного экономического роста и возможности расширять свой кругозор. У меня были наставники и сотрудники, которые щедро делились со мной идеями и советами, и мне посчастливилось работать с поколением исключительно талантливых студентов. Я особенно благодарен Майку Стимаку, Джону Уилеру, Джону Хопфилду, Брюсу Найту, Штефану Куффлеру, Джеффри Хинтону и Соломону Голомбу, которые на развилках моей карьеры помогали мне повернуть в нужную сторону.

Я много кому благодарен за помощь в написании этой книги. Источником вдохновения послужили дискуссии с давней коллегой Патрицией Черчленд и Роджером Бингемом, основателем виртуального научного форума The Science Network. Выводы Джона Дойла из теории управления привели к обсуждению операционной системы мозга. Длительный поход с Кэри Сталлер в горы в Швейцарии помог мне разобраться со вселенной алгоритмов. Барбара Оакли научила меня обращаться к гораздо большей аудитории, чем класс. И Кэри, и Барбара помогли мне оформить эту историю. Многие помогли отзывами и идеями для книги, в том числе Марни Стюарт-Бартлетт, Йошуа Бенджио, Сидней Бреннер, Андреа Чиба, Патриция Черчленд, Гэри Коттрелл, Пол Экман, Микаэла Эннис, Джерри Фельдман, Адам Газзали, Джеффри Хинтон, Джонатан С. Ховард, Скотт Киркпатрик, Ли Тэ Вон, Марк и Джек Никрем, Джей Макклелланд, Барбара Оакли, Томми Поджио, Чарли Розенберг, Дэвид Сильвер, Джим Саймонс, Ричард Саттон, Джерри Тезауро, Паула Таллал, Себастьян Тран, Аджит Варки, Массимо Вергассола и Стивен Вольфрам.

На семинар по вычислительной нейробиологии в Вудс-Хоул, который проводится каждое лето с 1984 года с небольшим постоянным ядром и новыми участниками, всестороннее обсуждение проходило по утрам и вечерам, а послеобеденные часы оставались свободными для активного отдыха. Это было идеальное сочетание умственной и физической деятельности. Слушатели семинара сделали блестящую карьеру. Вудсхоулский семинар все еще существует, но в 1999 году он переехал в Теллурайд, чтобы совпасть с ежегодным семинаром по нейроморфной инженерии. Я благодарен всем тем, кто приходил на эти семинары за последние 30 лет, особенно Стиву Цукеру, Джону Оллману, Майку Страйкеру, Каталин Готард, Бэрри Ричмонду, Джону Дойлу, Дане Балларду, Джону Маунселлу, Бобу Десимону, Биллу Ньюсому и Кристофу Коху.

Мои коллеги из Института биологических исследований Солка и Калифорнийского университета в Сан-Диего – группа выдающихся практиков и исследователей, создающих будущее биомедицинских наук. Преподаватели и студенты Института нейронных вычислений Калифорнийского университета в Сан-Диего интегрировали нейробиологию и вычисления таким образом, о котором я и не мечтал, когда основывал его в 1990 году.

Лаборатория вычислительной нейробиологии в Институте Солка была моим домом последние 30 лет, и многие мои «дети» сделали успешную карьеру по всему миру. Лаборатория походит на семью, и поколения аспирантов и постдокторантов, полных энтузиазма, значительно обогатили мою жизнь. О том, чтобы этот корабль держался на плаву, заботились Розмари Миллер и Мэри Эллен Перри.

Я благодарен издательству MIT Press, которое было надежным партнером 40 лет, опубликовав серию книг по вычислительной нейробиологии, которую я редактировал с Томми Поджио, и журналу Neural Computation, который я основал в 1989 году. Они выпустили в 1992 году мою книгу «Вычислительный мозг» и многие другие основополагающие книги по машинному обучению, включая книгу Саттона и Барто об обучении с подкреплением и передовой учебник по глубокому обучению. Боб Прайор из MIT Press помог довести эту книгу до момента публикации – это был долгий путь с неожиданными поворотами на дороге.

Благодарю сообщество NIPS, без которого я бы не писал эту книгу. Это не всеобъемлющая история данной области, и я сосредоточился только на нескольких темах и людях, которые участвовали в исследованиях нейронных сетей. Например, Международное общество нейронных сетей (International Neural Network Society; INNS) было основано в 1988 году и запустило новый журнал Neural Networks, который стойко ратовал за расширение охвата нейронных сетей. В партнерстве с Институтом инженеров электротехники и электроники (Institute of Electrical and Electronic Engineering; IEEE) они проводят ежегодную Международную совместную конференцию по нейронным сетям. Машинное обучение также породило много конференций высокого уровня, включая Международную конференцию по машинному обучению (International Conference on Machine Learning; ICML), которая сродни Конференции NIPS. Область получила большую выгоду от всех подобных организаций и исследователей, внесших свой вклад.

Беатрис Голомб – критически мыслящий интеллектуал, и у нее я научился избегать шаблонного мышления. Я благодарен Джеффри Хинтону за то, что он делился со мной своим мнением о сетевых моделях на протяжении многих лет. Джефф был избран членом Королевского общества Англии и Канады, а я – членом Национальной академии наук, Национальной медицинской академии и Национальной инженерной академии: редкая честь – быть во всех трех национальных академиях США.

Соломон Голомб однажды сказал мне, что карьера происходит в ретроспективе, и я подтвердил его слова, когда писал эту книгу. Возвращаясь к своему прошлому, я анализировал события и решения, которые привели меня туда, где я сейчас, но, конечно, в то время я этого не знал. В 1964 году я написал три коротких текста для школьного литературного журнала. Первым было эссе о природе гравитации, которая приводила меня в восхищение. Вторым – рассказ о человеке, который обнаружил, что он компьютерная симуляция. Третий представлял собой размышления человека, продающего дом, в котором вырос. Много лет спустя, будучи аспирантом Принстонского университета, я продолжил исследование черных дыр и гравитационных волн в общей теории относительности, теории гравитации Эйнштейна. Получив докторскую степень по физике, я перешел в область биологии, и с тех пор объектом моего интереса стал мозг. Я пока не знаю, что делать с третьей историей, – возможно, она превратится в еще одну главу моей жизни.