Кнопка «Стоп!»
Случилось несчастье: умная и ласковая «Малютка», любимица всех работников Института автоматики Союза Коммунистических Государств, «сошла с ума».
Машина с выпуклыми глазами-локаторами, с неуклюжими конечностями краба металась из угла в угол в одном из боксов полигона института, ощупывая стены и пол. Время от времени она останавливалась, словно что-то обдумывала, потом снова начинала исследовать помещение. Особенно ее интересовали те участки бокса, которые были перекрыты надежными стальными дверями.
В кабине наблюдения рядом с боксом — двое: инженер Дэйв и его учитель, пожилой директор Института автоматики. Оба не сводят глаз с «Малютки».
— Так в чем же дело, профессор? — спрашивает Дэйв. — Мы недавно проверили всю схему. Никаких повреждений нет, контрольные задания выполняются абсолютно точно. И вот, как видите, включилась самостоятельно и рвется вон из помещения…
— Выпустите ее…
— Нельзя, профессор! — встревожено возражает Дэйв. — Она натворит таких дел!
— Выпустите.
Пожав плечами, Дейв щелкнул выключателем.
Стальная плита ворот медленно поднялась. «Малютка» насторожилась, подползла к отверстию.
В соседнем боксе находится почти такая же, только меньше размерами кибернетическая машина. Это — первая, еще несовершенная модель электронно-вычислительной машины с самопрограммированием. Ее электронный мозг отключен, атомный реактор удален. Она не могла сделать ни одного движения.
Со своей старшей сестрой кибернетическая «Малютка» встречается впервые. В ее системе машинных рефлексов нет таких, которые определяли бы родственные чувства. Наоборот, инженер Дэйв запрограммировал действия машины так, что она воспринимает каждый неизвестный предмет как потенциального врага. Теперь он и сам не рад этому.
— Хищник! Самый настоящий хищник! — в голосе инженера звучит почти отчаяние.
Сравнение с хищником совсем не случайное. Щупальца «Малютки» шевелятся встревожено, реле-переключатели электронного мозга лихорадочно стучат. Там сейчас решается сложная задача: «Что это, как в таком случае поступить?»
Неизвестный предмет, который не проявляет агрессивных намерений, по программе, надо ощупать, сфотографировать и обойти. А «Малютка», как только закончился процесс анализа, сорвалась с места, налетела на свою «сестру» и начала ее яростно разрушать.
«Кроха» — машина универсальная. Ее щупальца оборудованы газовыми резаками, пилами, гайковертами. Теперь все эти инструменты пущены в ход. Движения сооружения чрезвычайно слаженные, точные. Она действует не наугад, а в первую очередь уничтожает устройства управления своей жертвы. И в этом есть что-то отвратительное и страшное: с таким равнодушием и методичностью даже мясник не разделывает забитое животное.
— Что ты делаешь, проклятая?! — бледный инженер Дэйв едва сдерживается, чтобы не крикнуть в микрофон безоговорочную команду «Стоп!».
— Не волнуйтесь, Дэйв… — директор института сосредоточен, но спокоен. — Когда она начала проявлять склонность к агрессивности?
— Дня три назад. Обходя препятствия, она поползла прямо на нас с братом. А сегодня утром у нее появилась мания разрушения.
— Разрушения?.. — директор с сомнением покачал головой. — А что делает «Малютка» с деталями разрушенных машин?
— Не знаю, ибо не позволял ей ничего разрушать.
— Ну, сейчас увидим.
«Кроха» продолжала свое дело. Быстро и уверенно она разбирала поверженную машину на составные части, поврежденные детали выбрасывала прочь, а пригодные — бережно сортировала. За какой-то час от сложной установки остался голый металлический скелет и кучи железок, проводов, пластмассы.
Собственно, ничего необычного в действиях «Малютки» до сих пор не было. Еще при конструировании инженер Дэйв вложил в электронную память сооружения программу демонтажа любой другой машины по специальному приказу. Но что же она будет делать дальше?
«Малютка» замерла. Казалось, утолив жажду разрушения, она успокоилась. Однако микрофоны доложили: реле-переключатели сооружения щелкают все интенсивнее, а на дубляжной схеме в кабине наблюдения индикаторы каждого участка электронного мозга машины ярко сияют. Что за процессы анализа и синтеза происходят сейчас в нем? Какие новые команды записываются на барабаны памяти? Определить это уже невозможно. «Малютка» вышла из-под контроля своего создателя, она — «сошла с ума».
Нет, машина не мыслит и сознания не имеет. И разве есть сознание в черве или насекомом? Но ведь они же выполняют сложные целенаправленные действия, порожденные и усовершенствованные трудным и длительным процессом эволюции. Так, может, и машинные рефлексы кибернетической «Малютки» сейчас перестраиваются в направлении наибольшей целесообразности?
— Ну же, ну!
Инженер Дэйв с волнением ждал дальнейших действий «Малютки». Но самостоятельно выработанная программа электронного мозга сооружения была просто невероятной: «Малютка» начала разбирать сама себя. Гайковерты и клешни-зажимы сняли защитный кожух аппаратуры, в схему вдвинулись щупальца, оборудованные электрическими паяльниками.
На дубляжной схеме в кабине наблюдения, один за другим, гасли индикаторы каскадов машины. Их более пятидесяти тысяч, и потеря нескольких десятков из общего количества еще неопасно. Но, в конечном счете, наступит момент, когда электронному мозгу будет нанесен непоправимый вред… Что же будет тогда?
Два противоположных чувства борются в душе инженера Дэйва: желание довести до конца необычный эксперимент и опасения за машину, на строительство которой потрачено так много усилий. Если бы не директор института, конструктор давно бы уже прекратил это саморазрушение машины. Но что, что она делает? Какова его программа действий?
Отключаются не все каскады подряд. Есть определенная закономерность в отключении индикаторов на дубляжной схеме.
— Профессор!.. — Дэйв вскочил, сжал кулаки. — Дальше можно не ждать… Она пытается добраться до кнопки «Стоп»!
— Молчите! Следите! — директор так возбужден, что потерял свою обычную выдержку. — Смотрите и запоминайте на всю жизнь! Сейчас в этом боксе рождается машина высшего класса — «Машина Дэйва». Я горжусь тем, что вы мой ученик!
Дэйв сердито засопел, но не возразил. Это — гибель «Малютки». Достаточно ей выключить кнопку «Стоп!», тот участок электронного мозга, которая блокирует всю схему, и сооружение выйдет из-под контроля человека полностью. Энергии атомного реактора хватит «Крохе» надолго. Она будет делать все, что ей заблагорассудится, не подпустит к себе никого. И ее придется, в конечном счете, уничтожить.
— Ничего не понимаю, профессор… — смущенно сказал Дэйв. — Я породил механического хищника. Ошибочность конструкции «Малютки» — бесспорная…
— Как вы сказали? — Профессор отвел взгляд от иллюминатора, улыбнулся. — Ошибочность конструкции?
— Ничего не понимаю, профессор… — смущенно сказал Дэйв.
— А вот то, что не понимаете, — плохо! Какую программу вы дали «Малютке»? Любой ценой бороться за свое, так сказать, существование? Это означает: устранять все препятствия, противостоять всякому нежелательному воздействию. Кнопка «Стоп!» для электронно-вычислительной машины — самый сильный нежелательный раздражитель. Какую бы программу не произвел ее электронный мозг, вы можете в любую минуту вмешаться и нарушить весь ход машинных рефлексов. Поэтому естественно, что, в конечном счете, процесс логического анализа привел «Малютку» к выводу о необходимости выбросить кнопку «Стоп!»?
— Понимаю, профессор! — Дэйв бросился к схеме, лихорадочно просмотрел глазами основные узлы. — Итак, если так, «Малютка» со временем будет развиваться, так сказать, становиться «разумнее»?
— Кто знает… — профессор с сожалением покачал головой. — Видимо, она так и останется хищником, потому что вы обрекли ее на такую судьбу… Чего можно ждать от нее в будущем? Разве того, что приобретенные ею примитивные машинные рефлексы усовершенствуются до высшей степени, да и только.
— Так что же делать?
— И что же… — профессор задумался. — Надо повышать «интеллект» машины. Пятьдесят семь тысяч каскадов — ничтожно мало. Их нужно иметь хотя бы миллион. При таком количестве элементов «эгоизм» машины этого типа станет целесообразным. Но вы понимаете сами: на сегодняшнем уровне знаний это практически невозможно. Объем и вес электронного мозга машины перейдут всякие границы. Монтаж превратится в почти невыполнимую задачу. Даже если использовать печатные схемы каскадов, их придется соединять невероятным количеством проводов…
Уже давным-давно ушел директор института, разошлись работники лаборатории, а Дэйв все еще сидел в кабинете наблюдения, задумчиво глядя в пространство. Воодушевление, которое охватило его после неожиданной похвалы учителя, было кратковременным, и постепенно сменилось угнетением. Учитель поспешил с выводами. «Машины Дэйва» еще нет, и неизвестно, когда она будет. Чтобы создать ее, надо покинуть проторенный путь, пойти напрямик сквозь чащу неизведанного, а на такой подвиг силы уже не хватит.
Инженер посмотрел в иллюминатор. Бедная «Малютка», какие еще машинные рефлексы работают сейчас в твоем примитивном электронном мозге? Какая безумная программа действий записывается на твоих барабанах памяти?
«Малютка» не могла бы ему ответить. Она была всего-навсего электронным устройством для решения логических задач. Какими бы целесообразными не представляются ее дела, думать эта машина не может. За нее думал в свое время инженер Дэйв. Его мысли нашли воплощение в кибернетической конструкции и продолжают жить в ней, приобретая совершенно неожиданное и нежелательное направление.
— Постой, постой!.. — Дэйв взглянул на «Малютку» даже немного испуганно.
Сознание… Мышление…
Каждый человек имеет основание считать, что в сделанном им воплощается толика его разума. Но в данном случае речь идет о гораздо большем. Творческая мысль конструктора кибернетической машины высшего класса будет жить в электронном устройстве даже после смерти ее создателя…
Где, на каком этапе развития материи обычные, доступные для понимания силы — электрические, химические, магнитные или еще какие там взаимодействия — порождают чудесные, непостижимые явления — жизнь и сознание?
Материя смотрит сама на себя глазами человека, осмысливает себя человеческим мозгом. А нельзя эту способность к анализу передать машине? Машина будет существовать как угодно долго; она способна пронести разум человека сквозь время и пространство, в бесконечность.
По спине Дэйва пробежали мурашки. Парадоксальность предположения словно подняла перед ним на мгновение ту тяжеленную завесу, за которой природа скрывает свои глубочайшие тайны.
— Сквозь время и пространство! — Дэйв выскочил из кабины наблюдения и помчался к телевизиофонной будке. Впервые за несколько последних лет он почувствовал горячее желание увидеть Рума, рассказать ему об идее, которая только что сверкнула в мозгу.
Но его постигло разочарование: брата не было дома.
— Очень жаль! — Дейв неспешно оделся, вышел во двор института. Остановился.
Была мягкая и теплая ночь ранней весны. Из-под последних сугробов тихо журчали ручейки. Еще вчера в воздухе кружились снежинки, а сейчас плывет смоляной запах почек, влажной земли, первых цветов. И мерцают, мерцают на густом бархате неба крупные мохнатые звезды.
Дэйв долго стоял, утонув взглядом в бездне Космоса. Сегодняшняя ночь была одной из тех, что запоминаются на всю жизнь. Он испытал и неизвестное до сей поры чувство своей беспомощности, и величественное возвышение, почувствовал за спиной могучие крылья.
Звезды Космоса, далекие Солнца! Даже свет до вас идет десятки, сотни, а то и тысячи лет — а что уж говорить о несовершенных космических ракетах жителей Пирейи!
Люди научились преодолевать пространство. Когда-нибудь, они облетят свою Галактику, доберутся до других звездных систем. А вот побороть неумолимое время вряд ли удастся. Жизнь человека строго ограничена рамками наиэфемернейшей в природе величины — временем. Его хватит на путешествие до планет — соседок Пирейи, но и только. А далекие солнца?!
Поэтому, если так устроен мир, пусть на помощь человеку придет машина, умная машина. Эта кибернетическое устройство устремится в космическое пространство, достигнет поверхности неизвестной планеты неизвестной солнечной системы, исследует ее всю, зафиксирует стоящее и вернется домой.
На Пирейе, тем временем, пройдут десятки, а может, и сотни лет. Истлеет прах тех людей, что снаряжали космический вездеход в его долгое путешествие. Но наука — бессмертна. Потомки с благодарностью примут наследие предков. Если и не сам Дейв, то пусть его творческая мысль преодолеет время и пространство!
Дэйв смущенно улыбнулся: да, далеко же завели его мечты!
А впрочем, нет, это уже не мечты, а серьезная научная гипотеза, которая отныне станет для него смыслом жизни.
Не осталось и следа от подавленности и усталости. Дэйв вновь чувствовал себя полным энергии и задора. Хотелось поскорее сесть за чертежный стол, чтобы стремительно набрасывать на гладкую поверхность плотной бумаги буквы и цифры, стать первопроходцем в неведомое.
Вместо того, чтобы пойти домой, Дэйв направился к своему рабочему кабинету.
Той же ночью в его мозгу возникло дерзновенное предположение о возможности совершенно нового принципа создания кибернетических машин. Стремление «Малютки» самосовершенствоваться натолкнуло на парадоксальный вывод: при построении машин высшего класса надо не усложнять, а, наоборот, максимально упрощать конструкцию. Пока электронный мозг машины примитивен, все возможные действия машины должен заранее предусмотреть и запрограммировать конструктор. Машина же высшего класса получит только одну программу — самосовершенствоваться, имея лишь единственный абсолютный запрет — не делать ничего плохого человеку.
Такая машина в первые часы после создания будет походить на слепого, глупого щенка. Знакомясь с окружающим миром, она будет делать целый ряд бессмысленных, немотивированных поступков. Но это не страшно. Разве не так же обстоит дело и с живыми существами? Каждый организм приобретает опыт самостоятельно, ценой многочисленных экспериментов, мучительных неудач. А кибернетическая машина, имея безупречную электронную память, никогда не ошибется во второй раз. Процесс эволюции машинных рефлексов будет течь в ней чрезвычайно быстро, и уже через несколько декад «обучения» машина высшего класса сможет выполнять самые сложные задачи.
Конечно, космический вездеход еще долго будет оставаться несбыточной мечтой, но машины высшего класса уже в скором времени смогут заменить человека на различных работах. Они будут подниматься в заоблачные выси и вгрызаться в недра планеты, будут работать в ядовитой атмосфере химических заводов и прокладывать пути. Мощные и неутомимые, они станут верными помощниками человека, обеспечат ему полное господство над природой.
Дэйв нетерпеливо ждал утра, чтобы рассказать обо всем своему учителю. Решение проблемы было где-то рядом. Дейву казалось: достаточно рассказать учителю, и тот подскажет, как достичь такого упрощения кибернетических машин, как создать малогабаритный электронный мозг на миллионы каскадов.
Лишь в полдень на посадочной площадке перед главным корпусом приземлился знакомый вертолет.
Дейв помчался навстречу учителю. Взволнованный, возбужденный, он еще по дороге начал рассказывать ему о своем проекте, однако профессор слушал невнимательно, а когда зашли в кабинет, вздохнул и сказал:
— Садитесь, Дэйв. Ваша гипотеза оригинальная, привлекательная, но пока что необоснованна и несвоевременная…
Дэйв обиженно пожал плечами и сел.
— Про машину высшего класса, к сожалению, будем говорить позже. Сейчас вам придется оставить даже «Малютку»… Высший Совет Труда и Обороны поручил вам очень ответственное задание…
Профессор раскрыл портфель, вытащил из него и подал Дейву толстую папку. В ней были фотокопии чертежей и схем какой-то электронно-вычислительной машины. Если «Малютка» немного походила на краба, то удлиненный корпус и многочисленные, низко посаженные щупальца-манипуляторы придавали незнакомой машине сходство со сколопендрой.
— Что это за машина? — ревниво спросил Дэйв.
— Это последняя, сверхсекретная модель института автоматики Кейз-Ола.
— Какое же задание мне поручается?
У Дейва болезненно сжалось сердце. Действительно, рано еще мечтать о космическом вездеходе! Эта «сколопендра» — не что иное, как кибернетический танк Кейз-Ола. Как остановить это стальную чудовище? Ее хоть и примитивный, зато узкоспециализированный электронный мозг работает быстро и четко; она не чувствует, и не сочувствует, и не знает страха. Воплощение тупой жестокости, она будет ползать, чтобы душить и разрушать, покорная хищнической программе: уничтожать и не быть уничтоженной.
Профессор задумчиво барабанил пальцами по столу.
— Надо отыскать как можно больше уязвимых мест у этой машины… Вы сказали вчера: «"Малышка" сошла с ума…» Так вот, надо найти способ вызвать такое «безумие» в любой электронно-вычислительной машине с самопрограммированием.
— Да, профессор. За какое времени надо выполнить задание?
— Как можно быстрее. Привлеките к работе весь отдел. Прежде всего, исследуйте и составьте подробную инструкцию, каким образом легче всего выключить атомный реактор и заменить барабаны памяти другими.
— Это нелегкая задача, профессор! Видите: здесь обозначены цифровые замки. Шифр неизвестен.
Профессор вместо ответа развел руками: да, задание очень сложное, но от успеха или неуспеха Дейва, возможно, будет зависеть судьба сотен тысяч людей.
— Понимаю, профессор! — Дейв резко поднялся, взял папку с фотокопиями и направился к лаборатории.