За рамками ICA

История ICA иллюстрирует важность технических решений для научных открытий и проектирования. Обычно мы думаем о них как об устройствах, например, микроскопах и усилителях. Но технические решения также являются методами, и они могут позволить делать новые открытия с информацией, полученной с помощью старых инструментов. Запись ЭЭГ существует уже почти 100 лет, но без ICA было невозможно определить основные источники мозга. Мозг – система взаимосвязанных алгоритмов, и я не удивлюсь, если в какой-то части мозга природа обнаружит способ реализации ICA.

В 1990-х годах были и другие достижения в разработке новых алгоритмов обучения для нейронных сетей, многие из которых, как и ICA, теперь часть математического инструментария в машинном обучении. Эти алгоритмы встроены в популярные устройства, которые не позиционируются как использующие нейросети. Например, Ли Тэ Вон и Цзыпин Жун, бывшие сотрудники моей лаборатории, основали компанию SoftMax, где использовали ICA в гарнитуре Bluetooth с двумя микрофонами для подавления фонового шума. Это позволило пользователю слышать, что говорят, даже в столовой или на спортивном мероприятии. В 2007 году компанию SoftMax купила компания Qualcomm, которая разрабатывает микросхемы для сотовых телефонов, и сегодня алгоритмы, подобные ICA, встроены в миллиард мобильных аппаратов. Если бы нам дали по центу за каждый телефон с ICA, мы бы порядком разбогатели.

Тони Белл долгие годы занимался еще более сложной проблемой. В биологии есть множество сетей, и информация поступает от одного сетевого уровня к другому, от молекул к синапсам, нейронам, нейронным популяциям и дальше, к принятию решения. Все это объясняют законы физики и химии. Но у нас складывается впечатление, что ситуацию контролируем мы, а не физика. Как внутренняя активность, возникающая в нейронных популяциях вашего мозга, приводит вас к принятию решения, например, почитать определенную книгу или поиграть в теннис, остается загадкой. Эти решения принимаются значительно ниже уровня вашего сознания. Каким-то образом они возникают из взаимодействия между нейронами, обменивающимися информацией через синапсы, сформированными опытом, который основан на молекулярных механизмах. Но с вашей точки зрения, именно ваше решение вызвало все эти события в мозгу, в противоположном от физики направлении: при самонаблюдении причина и следствие меняются местами. Как примирить эти две позиции – глубокий философский вопрос.

Глава 7. Нейронная сеть Хопфилда и машина Больцмана

Джером Фельдман – специалист по вычислениям, который применил нейросетевой подход к ИИ в 1980-х годах во время своей работы в Рочестерском университете. Фельдман оказался прав, отметив, что алгоритмам, использующимся до этого в искусственном интеллекте, нужно было совершить миллиард шагов, чтобы прийти к заключению, часто ошибочному, в то время как мозгу нужно всего сто шагов, чтобы принять решение, зачастую правильное. В то время правило «ста шагов» Фельдмана не было популярно у ученых, занимающихся ИИ, однако некоторые из них, в том числе Аллен Ньюэлл из Университета Карнеги – Меллона, применяли его как ограничение.

Однажды Джером Фельдман спас меня в аэропорту Рочестера. Я получил президентскую премию молодого исследователя от Национального научного фонда (ННФ) США. Я возвращался из поездки в исследовательскую лабораторию General Electric в Скенектади в штате Нью-Йорк. Измученный полетом обратно в Балтимор, я удивился, почему пилот рассказывал нам о погоде в Рочестере. Я сел не на тот самолет. Когда в аэропорту Рочестера я изо всех пытался найти рейс обратно в Балтимор на следующий день, я столкнулся с Джерри, возвращавшимся с заседания комитета по проекту Intenet2 в ННФ в столице. Он любезно пригласил меня переночевать у него. С тех пор Фельдман перешел в Калифорнийский университет в Беркли, и я вспоминаю его всякий раз, когда застреваю в аэропорту.

Джерри различал «чистые» и «грязные» нейросетевые модели. Модели, над которыми работали мы с Джеффри Хинтоном, были «грязными», потому что они распределяли представление объектов и концепций по множеству компонентов сети, в то время как Фельдман считал, что на одном блоке должна быть одна метка – «чистое» вычислительное представление. В более широком контексте «грязные» модели используют для приближения к правильным ответам, а «чистые» – чтобы найти точное решение проблемы. На самом деле, чтобы добиться успеха, нужны обе модели. У меня не было проблем с получением «грязной» отправной точки, но должно же быть более ясное объяснение, и мы с Хинтоном собирались достичь «чистого» успеха.

Джон Хопфилд

Чтобы получить докторскую степень по физике, вы должны решить задачу, но действительно хороший физик должен уметь решить любую проблему. Великий же физик знает, какую проблему нужно решить. Джон Хопфилд – великий физик. Сделав выдающуюся карьеру в физике конденсированных сред, он обратил свой интерес к биологии и, в частности, к проблеме молекулярной корректуры. Когда ДНК воспроизводит себя во время деления клеток, неизбежны ошибки, которые необходимо исправить, чтобы сохранить точность передачи информации в дочерние клетки. Хопфилд придумал хитрый план, как это сделать за счет энергии. Последующие эксперименты показали, что он был прав. Добиться подобного в биологии – впечатляющее достижение.

Джон Хопфилд был моим научным руководителем в Принстонском университете. Когда я работал с Хопфилдом, он только начал интересоваться нейробиологией. Он был полон энтузиазма и рассказал мне, что узнал на заседаниях Программы исследований в нейробиологии (ПИН), базирующейся в Бостоне, где он слушал лекции других специалистов в данной области. ПИН также опубликовала материалы небольших семинаров, которые были бесценны, так как дали мне представление о том, какие проблемы изучали и какие теории существовали в то время. У меня все еще сохранилась копия семинара по нейронному кодированию, организованного Тедом Баллоком, легендарным нейроэтологом, который позже стал моим коллегой в Калифорнийском университете в Сан-Диего. Книга Теда Баллока и Адриана Хорриджа о нервной системе беспозвоночных стала классикой. Я работал с Тедом над моделированием поведения коралловых рифов и гордился тем, что был соавтором его последнего научного труда.

Рис. 7.1. Джон Хопфилд решает задачу на набережной в Вудс-Хоул в штате Массачусетс. В 1980-х годах Хопфилд оказал основополагающее влияние на нейронные сети, изобретя одноименную сеть, которая открыла дверь для глубокого обучения

Нейронные сети с обратными связями с более ранними слоями и циклическими связями между элементами внутри слоя могут иметь гораздо более сложную динамику, чем сети только с прямыми связями. Общий случай сетей с произвольно связанными элементами с положительными (возбуждающими) и отрицательными (тормозящими) весами – сложная математическая задача. Джек Коуэн из Чикагского университета и Стивен Гроссберг из Бостонского университета ранее изучали такие сети и добились прогресса, показав, что нейросети могут воспроизводить зрительные иллюзии и галлюцинации, но проектировать такие сети для решения сложных вычислительных задач было трудно.