Уроки прошлого

Наконец мы добрались до десятого (и последнего) аргумента против неизбежности технологической сингулярности. Необходимо учиться на ошибках историков прошлого. Точнее, необходимо учиться на ошибках одного из первых защитников идеи сингулярности.

В числе тех, кто впервые о ней написал, был Генри Адамс – внук Джона Куинси Адамса, шестого президента США, и правнук Джона Адамса, второго американского президента и одного из отцов-основателей. В 1904 году Генри Адамс опубликовал автобиографию под заголовком «Воспитание Генри Адамса», где описывал стык двух веков с точки зрения себя молодого. Книга получила Пулитцеровскую премию и вошла в список ста самых важных произведений литературы нон-фикшн.

В тридцать четвертой главе под названием «Закон ускорения» автор сообщает, что «закон ускорения, неизменный и постоянный, как и любой закон механики, не может смягчить свое действие ради удобства человека». Основываясь на этом законе, Адамс предполагает, что научная и иные сферы знания будут развиваться настолько быстро, что общество в 2000 году окажется совершенно недоступным воображению человека из 1900-го. С целью проиллюстрировать этот закон Адамс отмечает, что каждые десять лет с 1840-го по 1900-й объем энергии, извлекаемой из тонны угля, удваивается. На основании этого он предсказывает, что «каждый американец в 2000 году будет знать, как контролировать неограниченную энергию». Если бы это было так!

Адамс, конечно, ошибался. Мы не получили источник неисчерпаемой энергии в 2000-м. И жизнь в том году не была такой уж невообразимой для человека начала двадцатого века. Многие как раз довольно неплохо угадывали, как она будет выглядеть. Герберт Дж. Уэллс, например, спрогнозировал появление новых удивительных технологий, таких как лазеры или ядерное оружие. Многие сегодняшние тренды вроде индустриализации и глобализации были вполне предсказуемы еще в начале прошлого века.

Сверхразумные машины

Названные мною десять причин того, что технологическая сингулярность может не случиться, не означают, что она точно никогда не наступит. Вероятность этого все равно остается. Однако я надеюсь, мне удалось убедить вас в том, что эта вероятность далеко не стопроцентная. Как и многие мои коллеги, пытавшиеся создать машины хотя бы со скромным интеллектом, я сомневаюсь, что мы в скором времени построим машину, способную бесконечно развиваться самостоятельно. Если все будет именно так, то технологическая сингулярность по-прежнему останется интересной, но фантастической идеей.

Несмотря на то что я скептически отношусь к идее сингулярности, это не значит, что мы не создадим машины, способные мыслить как человек или даже лучше. Я уверен, что мы к этому придем. Еще бы, ведь я потратил всю свою сознательную жизнь на то, чтобы приблизиться к этой цели. Нет ничего особенного в нашем интеллекте, как и в целом в нашей биологии. Именно поэтому я думаю, что рано или поздно мы создадим машины, способные мыслить. Возможно, их разум будет работать совсем иначе, чем наш. Но скорее всего они достигнут нашего уровня. А если им удастся сравняться с нами, то трудно предположить, что может им помешать нас опередить. В определенных областях им это уже удалось. Кроме того, у них есть некоторые «врожденные» преимущества по сравнению с людьми.

Однако мне не верится, что сверхразум появится сам по себе, пока мы просто будем наблюдать за тем, как компьютеры развиваются самостоятельно. Я больше склонен считать, что мы добьемся этого таким же способом, как добивались других технологических открытий: тяжелым трудом, развитием науки с помощью изобретательности, программированием машин на то, чтобы они были умнее нас.

AlphaGo научилась играть в го лучше, чем любой человек. Однако ее навык обучения остался на прежнем уровне. Если попросить AlphaGo сыграть в го на доске 9×9 для начинающих, ей придется учиться заново, почти с нуля. Мы пока не знаем, как транспонировать знания, полученные ею на большой доске, для игры на маленькой. Человек, умеющий играть в го, легко сможет сразу начать играть на простой доске.

Искусственному интеллекту все еще далеко до человеческого уровня, а тем более до сверхчеловеческого. Тем не менее я уверен, что мы к этому придем. Мы создадим машины, которые будут лучше нас. Они будут сильнее, быстрее, умнее нас. Однако я все же надеюсь, что они нас не заменят, а дополнят и расширят наши возможности.

Угроза нашему существованию

Голливуд заставил нас волноваться, как бы злые роботы не попытались захватить планету. Согласно фильму, Терминатор появится только в 2029 году, а значит, у нас есть еще около десяти лет. Прав ли был Стивен Хокинг, когда заявил, что сверхинтеллект – самая большая угроза нашему существованию? Прямо сейчас мы – самые разумные существа на планете, а все остальные зависят только от нашей воли. Не будет ли наша судьба зависеть от воли этих сверхразумных машин? Перейдем к вопросу о том, могут ли они просто-напросто нас уничтожить. Будет ли их появление означать конец человечества?

Машины обычно изображаются в кино злыми. Однако бо́льшие опасения должна вызывать некомпетентность. Разумеется, необходимо учитывать вероятность, что сверхразумные машины могут случайно покончить с человечеством. Есть несколько вариантов, как это может произойти.

Прикосновение Мидаса

Наиболее вероятный сценарий заключается в вероятности того, что цели такого компьютера будут недостаточно точно прописаны. В качестве аналогии подходит греческий миф о царе Мидасе, который получил желанный дар – обращать все, к чему прикасается, в золото. Однако царь неудачно сформулировал свое желание: он ведь не хотел, чтобы его еда или родная дочь превращались в золото.

Можно поспорить, что в истории ИИ уже бывали такие случаи, только в более безопасных условиях. Например, исследователи ставили эксперимент, в котором научили компьютер играть в Coast Runners, игру, в которой нужно участвовать в гонках по воде. ИИ предпочитал не доезжать до конца маршрута, а делать небольшие круги, врезаясь в другие лодки, потому что это приносило очки быстрее, чем прохождение гонки.

Будучи умными, такие машины могут достигать поставленных целей удивительными путями. Например, поставим перед компьютером задачу устранить рак. Один из способов это сделать – уничтожить каждого носителя раковых клеток, то есть все человечество. Не совсем то, что мы имели в виду, когда ставили задачу.

Подобные примеры рисуют довольно мрачную картинку. Если бы я поручил вам вылечить рак, а вы бы начали убивать людей, то я, вероятно, решил бы, что не так уж вы и умны. Мы предполагаем, что умные люди усвоили правильные моральные нормы и сочувствуют другим, особенно тем, у кого есть разум и чувства. Разве не должен тогда сверхразум обладать этими же качествами наравне с интеллектом?