— Брайан Дилени, уж не проработали ли вы здесь всю ночь? Когда я вчера вечером уходила, вы обещали, что задержитесь всего на несколько минут. А это было в десять часов.

С этими словами в лабораторию вошла рассерженная Шелли.

Брайан потер рукой предательскую щетину и заморгал покрасневшими от усталости виноватыми глазами.

— Почему вы так думаете? — попробовал он увильнуть от ответа.

Ноздри у Шелли сердито раздулись.

— Ну, для этого более чем достаточно на вас посмотреть. Вид у вас ужасный. Кроме того, я попробовала вам позвонить, но ответа не было. Как вы можете понять, я забеспокоилась.

Брайан схватился за ремень, где у него обычно висел телефон, но не обнаружил его.

— Наверное, положил куда-нибудь. Я не слышал звонка.

Она взяла свой телефон и одним нажатием кнопки памяти набрала его номер. Где-то вдалеке послышалось жужжание. Поглядев в ту сторону, Шелли увидела, что телефон лежит около кофеварки. Она молча протянула аппарат ему.

— Спасибо.

— От вас просто нельзя отходить ни на минуту. Мне пришлось идти разыскивать ваших телохранителей — они и сказали мне, что вы все еще здесь.

— Предатели, — пробормотал он.

— Они так же заботятся о вас, как и я. Нет таких важных дел, чтобы из-за них стоило рисковать здоровьем.

— Есть, Шелли, в этом-то все и дело. Помните, когда вы уходили вчера вечером, мы бились с программой-координатором? Что бы мы ни делали, система норовила свернуться в клубок и умереть. Поэтому я начал с простой задачи — сортировки кубиков по цвету. Потом усложнил ее, предложив разноцветные кубики разной формы. А когда я через некоторое время посмотрел, программа-координатор все еще работала, но все остальные, видимо, отключились. Тогда я решил записать, что произойдет, когда я снова все запущу, и на этот раз ввел языковую программу, которая записывала все команды, поступавшие от координатора в остальные блоки. Теперь он стал работать медленнее, и я наконец понял, что происходит. Вот, смотрите сами.

Он поставил запись, сделанную ночью. На экране показался робот, быстро сортирующий разноцветные кубики, потом он стал работать медленнее, еще медленнее и наконец совсем остановился. Из динамика слышался глубокий бас Робина-3:

— ...К-линия 8997, выдай ответ на входной сигнал 10983... время реакции слишком велико... отвечай немедленно... блокирую. Задаю подпроблему 384. Принят ответ от К-4093. Блокирую замедленные ответы от К-3274 и К-2314. Задаю подпроблему 385. Ответы от К-2615 и К-1488 противоречат друг другу — блокирую обоих. Задаю...

Брайан выключил динамик.

— Понимаете?

— Не совсем. Одно ясно: эта программа только и делает, что блокирует другие.

— Ну да, в этом-то и дело. Предполагалось, что она должна обучаться на опыте, вознаграждая хорошо работающие блоки и блокируя плохо работающие. Но ей был задан слишком высокий порог — ее устраивали только безупречные и мгновенные ответы. Поэтому она вознаграждала только те блоки, которые отвечали быстро, а более медленные отключала — даже когда они пытались сделать то, что в конечном счете было бы правильнее.

— А, понимаю. А дальше — эффект домино: когда какой-нибудь блок отключался, ослабевала связь других блоков с ним...

— Вот именно. И тогда реакция этих блоков замедлялась, и они тоже, в свою очередь, отключались. Пока программа-координатор не заблокировала всех.

— Какой ужас! Получается, что она совершила самоубийство!

— Ничего подобного! — раздраженно сказал он голосом, хриплым от усталости. — Это чистейший антропоморфизм. Машина — не человек. И что такого ужасного, когда одна схема отключает другую схему? Да там же нет ничего, кроме электроники и программ. К человеку это никакого отношения не имеет, при чем тут ужас?

— Не говорите со мной таким тоном!

Кровь бросилась в лицо Брайану, но он тут же опустил глаза.

— Простите, беру свои слова обратно. Кажется, я просто устал.

— Вам кажется, а я точно это знаю. Ваши извинения приняты. И это действительно был антропоморфизм. Но дело не в том, что вы мне говорили, а в том, каким тоном. Давайте не будем больше цапаться, лучше пойдем подышим воздухом. И уложим вас спать.

— Хорошо. Только сначала я кое-что просмотрю.

Брайан подошел к терминалу и углубился в схему робота. Один за другим на экране появлялись чертежи.

В конце концов он мрачно кивнул:

— Ну конечно, опять ошибка. Она появилась после того, как я исправил последнюю. Помните, я ввел установку на подавление чрезмерной блокировки, чтобы робот не отключался сам собой? А теперь он бросился в другую крайность — не знает, когда нужно остановиться. Этот искусственный интеллект прекрасно отвечает на простые вопросы, но только если ответ можно найти почти не думая. А вы видели, что произошло, когда он не знал ответа. Начал произвольный поиск, заблудился и не понимал, что надо остановиться. Он, можно сказать, не знал, чего именно не знает.

— Мне показалось, что он просто свихнулся.

— Можно сказать и так. Для ошибок в работе человеческого мозга у нас есть множество слов — паранойя, кататония, фобия, невроз, нерациональное поведение. Наверное, для всех новых причуд, которые появятся у наших роботов, придется придумывать новые слова. И можно не надеяться, что новая конструкция заработает сразу после первого включения. В данном случае она пыталась воспользоваться всеми своими экспертными системами, чтобы решить одну и ту же задачу. Координатор оказался недостаточно силен, чтобы подавить ненужные. Весь этот набор

слов свидетельствовал о том, что он цеплялся за любую ассоциацию, которая, казалось, может привести его к решению, как бы мало вероятно это ни было. А когда какой-нибудь подход оказывался неудачным, эта штука не догадывалась, что надо остановиться. Даже если наш искусственный интеллект будет работать, нет никакой гарантии, что он не окажется, с нашей точки зрения, ненормальным.

Брайан потер небритую щеку и взглянул на замершую в неподвижности машину.

— Давайте-ка как следует посмотрим вот здесь, — он ткнул пальцем в схему на экране. — Здесь видно, что случилось на этот раз. У Робина-3-1 была слишком сильная блокировка, и он отключался. Поэтому я изменил этот параметр, и теперь блокировка недостаточна.

— Так что же делать?

— Ответ простой — ответа не существует. Нет, это никакая не мистика. Я хочу сказать, что координатор должен знать больше. Именно потому, что чудес не бывает, что общего решения нет. Не может быть простого рецепта, который срабатывал бы во всех случаях, — потому что все случаи разные. Стоит только это признать, как все становится намного понятнее! Координатор должен быть связан с базой знаний. И тогда он сможет на опыте учиться тому, что должен делать!

— Вы хотите сказать, что он узнает, какую стратегию применить в данной ситуации, вспомнив, какая пригодилась ему в прошлом?

— Именно так. Вместо того чтобы искать жесткую формулу, которая срабатывала бы всегда, пусть учится на опыте, от одного случая к другому. Потому что нам нужна машина, которая была бы разумна сама по себе, чтобы не приходилось постояннно дежурить поблизости, поправляя ее, когда что-то идет не так. Мы должны научить ее исправлять ошибки по мере их появления. Исправлять самостоятельно, без нашей помощи. Теперь я знаю, что делать. Помните, когда она словно ходила по кругу, повторяя одно и то же? Нам-то легко было видеть, что она бьется на одном месте. Но она не понимала, что зациклилась, — и именно потому, что зациклилась, она не могла выйти за пределы замкнутого круга и увидеть его со стороны. Это мы исправим — добавим записывающее устройство, которое будет запоминать, что она только что делала. И часы, которые будут то и дело прерывать работу программы, чтобы она могла просмотреть запись и увидеть, что движется по кругу.

— Или еще лучше — добавить еще один процессор, который будет постоянно работать, присматривая за первым. Мозг Б для присмотра за мозгом А.

— А может быть, и мозг В для присмотра, не зациклился ли мозг Б. Черт возьми! Я только что вспомнил, что в одной из моих старых записей говорилось: «Здесь поставить мозг Б, чтобы подавить зацикливание». Надо бы мне, конечно, тогда писать пояснее. Дайте-ка я прикину, каким должен быть этот мозг Б.

— Только не сейчас! В таком состоянии вы все испортите.

— Вы правы. Пора спать. Лягу, не беспокойтесь, только сначала чего-нибудь поем.

— Я пойду с вами и выпью кофе.

Брайан отпер дверь и сощурился от яркого солнечного света.

— Вы мне как будто не доверяете.

— Да, не доверяю — после сегодняшней ночи.

Шелли прихлебывала кофе, пока Брайан расправлялся с завтраком по-техасски — бифштексом с яйцом и оладьями. Не в состоянии его одолеть, он перевел дух и отодвинул тарелку. Если не считать двух сменившихся с дежурства охранников, которые сидели за столом в дальнем углу, они были в столовой одни.

— Вот теперь я чувствую себя более или менее человеком, — сказал он. — Еще кофе?

— Нет, мне более чем достаточно, спасибо. Как вы думаете, сумеете вы наладить ваш свихнувшийся искусственный интеллект?

— Нет, я так на него разозлился, что стер ему всю память. Придется заново переписать кое-какие программы, прежде чем мы снова его загрузим. Это займет пару часов. Даже ассемблеру «лама-5» требуется для таких вещей много времени. И на этот раз, прежде чем запускать новый вариант, я хочу сделать резервную копию.

— Это значит — дубликат. А как вы думаете, когда у вас будет работающий человекоподобный искусственный интеллект, можно будет снять копию и с него?

— Конечно. Что бы он ни делал, это все равно всего лишь программа. Программу всегда можно скопировать, и любая копия ничем не будет от нее отличаться. А почему вы спрашиваете?

— Проблема индивидуальности. Будет ли второй искусственный интеллект в точности таким же, как и первый?

— Да, но только в тот момент, как будет скопирован. А как только заработает, начнет думать сам, — станет меняться. Вспомните: мы не что иное, как наша память. Когда мы что-то забываем, или чему-нибудь обучаемся, или нам приходит в голову новая мысль, новая ассоциация, — мы меняемся. Становимся кем-то другим. И это же относится к искусственному интеллекту.

— Вы в этом уверены? — спросила она с сомнением.

— Безусловно. Потому что именно так функционирует сознание. А это значит, что мне придется еще много поработать над критериями оценки. Потому-то и оказались неудачными столько прежних вариантов Робина. Проблема в оценке последствий — мы об этом уже говорили. На самом деле схема «возбудитель—реакция—вознаграждение» для обучения не годится: таким способом можно решать только простые задачи, дающие непосредственный результат. Нет, нужно добиваться масштабного мышления, надо обдумывать долгосрочные последствия, выяснять, какие стратегии действительно были эффективными, а какие заводили в тупик, какие ходы, казавшиеся полезными, на самом деле ничего не дали.

— У вас получается, что сознание — это что-то вроде... вроде луковицы.

— Ну да. — Он улыбнулся этому сравнению. — Хорошая аналогия. Слой за слоем, и все соединены между собой. Человеческая память не просто ассоциативна, она не ограничивается сопоставлением ситуаций, реакций на них и результатов. Это еще и прогноз. Возникающие ассоциации тоже должны включать долгосрочные цели и планы. Вот почему так важна разница между краткосрочной и долговременной памятью. Почему требуется примерно час, чтобы запомнить что-то надолго? Потому что должен быть какой-то буферный период, чтобы решить, какое поведение на самом деле достаточно полезно, чтобы занести его в память.

Внезапно он ощутил усталость. Кофе остыл, голова начинала болеть, надвигалась депрессия. Шелли заметила это и дотронулась до его руки.

— Пора спать, — сказала она. Он вяло кивнул и с трудом поднялся со стула.