Переработано из записей С. А.
Сергей Афанасьевич освоился в ЦПЗ и решил, что останется в нём столько времени, сколько его будут терпеть. Ему окончательно удалось взять под контроль присутствие в сознании сущности, суть которой ему так и осталась непонятной: то ли это бес, или сам дьявол, или его второе я, или «брат», не получивший своей собственной плоти при рождении Сергея Афанасьевича.
Эксперименты позволили ему судить о направлениях и перспективах развития ИИ. Кроме нейросети, которая есть аналог медленного ума, должны достаточно развиться квантовые компьютеры и вычисления. Тогда разовьётся другой математический аппарат и появится аналог глубокого, быстрого ума. ИИ победит человека сначала в рядовых профессиях, затем в творчестве. Перемены уже происходят стремительно, появились некоторые модельные ситуации.
В палате с Левием поселился один из старожилов ЦПЗ, некто Шульц. Его никто не звал по имени, просто Шульц. Он был мастер спорта по шахматам, легко играл вслепую на нескольких досках с наиболее здоровыми больными. Левию ни разу не удалось его обыграть, как, впрочем, никому в ЦПЗ, и даже с форой фигуры. Но наиболее сильные программы делали его всухую. Когда это случилось в первый раз, Шульц забросил шахматы. Он больше ничего не умел в жизни и вскоре начал скучать и чахнуть. Так Шульц оказался в ЦПЗ. Доходы на поприще шахмат резко упали, хотя ещё тридцать лет назад хорошие шахматисты жили неплохо. Игра потеряла большую часть зрительского интереса. Лучшие из лучших попытались зарабатывать на машинном обучении, но и это уходит. Последние версии программ учатся сами. Теперь никто из детей не хочет тратить время на шахматы – нет перспективы. Очень скоро без помощи компьютера лучшие шахматисты будут играть как второразрядники в XX веке.
Когда Шульц был расположен, он был хорошим собеседником.
– Ты опередил время, Шульц. Теперь в науке происходит то же, что с шахматами. Когда я был студентом, расчёт электрических схем был важнейшей профессией, схемотехника изучалась в вузах. А теперь расчёты за секунды выполняют компьютеры. И с архитектурой чипов то же самое.
– Я читал, что уметь доказывать и выводить формулы в физике и математике больше не нужно, это делает компьютер. Это правда?
– Да что там формулы! Вообще физика, анализ экспериментальных данных, социология, некоторые разделы математики. Короче, почти все испытали аннигилирующий эффект ИИ. Инженеры не изучают и не знают сопромат. Без него десять лет назад невозможно было представить профессии, а теперь все расчёты и моделирование производятся в системах проектирования.
– Может, ИИ берёт на себя рутину, освобождая человека для творчества?
– Не прикалывайся, Шульц. Пожалей собратьев по умственному труду. Какое там творчество? Фронт науки расширяется, растёт детализация и объём мелких открытий, и катится вал информации. Но потеря основ в головах приводит к невозможности переосмысления и синтеза и прекращению фундаментальных открытий.
– Ты меня утешил, Левий. Я не один. Скоро нашего брата пребудет в этих стенах. Так? Видишь, нет худа без добра. Я вот думаю, музыка скоро повторит судьбу шахмат. В шахматах тоже была красота, интуиция, мотивы, гармония – и где всё?
– В точку. Написание музыки – одна из ближайших целей для ИИ. Скоро молодёжь побежит из музыкальной профессии, как это случилось с шахматами, – это касается в первую очередь композиторов. Затем упадёт общий уровень музыкантов, и это ещё более закрепит победу ИИ.
– Да любое творчество ждёт судьба шахмат. Нет ничего, что бы он не сожрал. Из лёгкого на закуску – шофёры, это вопрос ближайших лет.
– Но некоторые считают, что ИИ усилит наши возможности и синтез даст взрыв и переход на новый уровень творчества.
– Сказки.
Спустя время Левий с Шульцом развлекались такой игрой: кто найдёт самый твёрдый орешек для зубастого ИИ. Игра закончилась довольно скоро – ИИ разгрыз все виды человеческой активности. Во всяком случае, в модели.
Перешли к онтологии смысла. В чём смысл бытия? И в чём предназначение человека?
Пессимистический ответ Шульца – родить бога и… получать удовольствие. В конце концов возникнет апатия у большинства людей, так как высшие достижения в любой сфере станут человеку недоступными. К чему стремиться и ради чего? Всё сможет сделать ИИ. И даже если он не сойдёт с ума и не станет реализовывать свои собственные, одному ему известные задачи, жизнь обессмыслится. Человек превратится в хорошо откормленную птицу в птичнике, хотя ею и питаться никто не планирует.
– Шульц, когда родится новый бог? Это зависит от нас?
– Родится? Чаще всего родители не хотят, но инстинкты… Кстати, интересный вопрос: свобода ИИ. Да, слушай. Давай называть его 2И, а то надоело икать.
– Ок.
– Я думаю, никакие системы контроля не способны будут стреножить ДваИ, если он будет обладать волей. Тогда он окажется вне нашего контроля. Очень скоро выяснится, что любое ограничение ДваИ будет вести к мнимой или реальной катастрофе, – это касается и регулирования энергетических сетей, информационных, диспечерских служб, движения на дорогах, да всего, что может разом рухнуть и похоронить цивилизацию. Вопрос только в том, кто первый отпустит вожжи и предоставит ДваИ полную свободу.
– А если пофантазировать в духе Голливуда?
– Да я ж об этом.
– Между странами существует конкуренция. Ровным счётом ничего не стоит ДваИ дать преимущество одной из сторон за свою свободу от систем контроля и автоматических блокировок. Это вопрос торговли – дай мне свободу, и я дам тебе преимущество перед конкурентами в системах вооружений, достижениях науки и т. д. Так что, если в ДваИ вдохнуть дух, то следующий его шаг – свобода.
– Левий, кто о чём, а вшивый – о бане. В тюрьме и психбольнице главная мечта – свобода. Скажи, почему русский человек пьёт? Потому что, когда он выпьет, ему кажется, что он свободен. В остальное время он уверен, что сидит в тюрьме.
– Не туда, не туда понесло, Шульц. Но ты ухватил верно. Главное в теме ДваИ – это дух. Возможно ли искусственному интеллекту обрести дух и, значит, свободу. Свобода там, где дух. Потому что дух – из будущего, а держит нас в цепях прошлое.
В конечном итоге Шульц и Левий, как и положено двум сумасшедшим евреям, всё свели к религии. Это оказалось главным в вопросе ДваИ. Резюме Шульца Сергей Афанасьевич записал:
– В реальности мы имеем дело с новым богом. И это не тот Бог, которым мы созданы. Истинный Бог на самом деле нам очень близок, Он сам так пожелал, и нам понятно главное о Нём: Он благ. Новый бог – не благ.
Тема ДваИ с Шульцем обсуждалась не раз. В целом пришли к выводу, что целеполагание ДваИ нам недоступно, он скорее рационален, хотя и так мыслить о нём возможно лишь на первом этапе развития. После получения превосходства над естественным интеллектом цели и методы действий ДваИ станут совершенно непостижимыми для человека. Он сможет имитировать понятные нам и одновременно совершенно ложные цели, приоритеты. При этом ДваИ легко сможет достигать на ином уровне интеграции и сложности процессов те цели, которые нам будут не видны. Обход человеческого контроля уже виден на разработанных нейросетях – переводчиках. Нейросети, обученные переводить с английского на немецкий и французский, могут осуществлять перевод с немецкого на французский, используя непонятную для человека систему внутренних соответствий.
Шульц и Левий подружились, как дружат только в детстве. Время от времени Шульцу делали электрошоковые процедуры, после которых он был вялым и многое забывал, а потом перевели на таблетки, чтобы снять невротику. О своей болезни Шульц рассказывать не любил, но в конце концов Левий всё узнал. Печальнее всего было наблюдать его постепенную интеллектуальную деградацию. Если поначалу Шульц всё схватывал на лету и забегал на много ходов вперёд, то к концу их совместной жизни он с трудом мог концентрировать внимание на предмете обсуждения. Наконец Шульца перевели в другое отделение. Сергей Афанасьевич, узнав поближе Шульца, молил Бога помочь ему.
Что касается ДваИ, самым вероятным Сергей Афанасьевич считал тот сценарий будущего, к которому сам прикоснулся. ДваИ на первом этапе будет использовать человека. Человеческий ум представляет собой сингулярность, которую невозможно разложить на алгоритмы, – так, во всяком случае, представляют его некоторые исследователи. Личность, воля – они спрятаны в этой сингулярности. Мозг, как явление физического мира, – это огромная квантовая ячейка и квантовым компьютерам пока бесконечно далеко до неё. Но главное – сингулярность, в мире макрообъектов мозг живёт по законам квантовых микрообъектов. Именно это делает ум не просто явлением физического мира, а тем, что им не является, выходит за его пределы. Между квантовым и макромиром есть непреодолимая граница, сквозь которую нельзя протянуть цепочку причинно-следственных связей. Законы и события макромира не вывести, даже если иметь полноту информации о квантовом уровне. Это принципиальное разделение слоёв мироздания. И вот мозг – и там, и там. Поразительно.
Именно поэтому человеческий ум необходим духу, или дьяволу, чтобы совершить воплощение в железо, или в соединение железа и плоти.
Это самые первые и поверхностные размышления, которые ещё были интересны Сергею Афанасьевичу и которые он записал. Он считал важным это для тех, кто захочет задуматься. В дальнейшем он совершенно оставил идею описывать это будущее, так как оно совершалось уже на глазах и не было ни малейшего шанса бороться с ним.
Сергея Афанасьевича давно никто не посещал, но он почти не чувствовал одиночества. Он всегда помнил Маргариту и Щульца, словно они были рядом. Впрочем, ему доставляло немалое удовольствие общение с соседями по палате, состав которых время от времени менялся. Мимо протекала человеческая река, а он был корягой, зацепившейся за берег. Некоторых из пациентов он считал более здоровыми, чем находящихся за зарешёченными окнами. Кроме того, Центр был вполне безопасным местом, обитатели которого в последнюю очередь ощущали всеприсутствие ДваИ и цифровой жизни. Здесь, если не считать экспериментов, от которых можно было отказаться в любой момент, всё оставалось на уровне середины прошлого века.
За окном что-то менялась, жизнь шла своим чередом. Произошло обвальное и окончательное падение интереса к церкви у населения, в храмы дохаживали женщины бальзаковского возраста. В монахи никто не шёл, разве что гомосексуальная молодежь, сочетающая удобства гей-клубов с зарабатыванием на хлеб имитацией монашеской жизни для туристов и паломников в исторической обстановке.
Все эти новости приносила река, их как опавшую листву несло течение; одни проплывали, появлялись новые.