Книга: Технологии против человека
Назад: Глава 9. Счастливая случайность
Дальше: Глава 11. Земля 2030: рай или ад?

Глава 10. Цифровая этика

У технологий нет этики, но человечество зависит от них

Давайте произведем некоторые экспоненциальные расчеты. Если мы продолжим идти тем же путем, то всего за восемь или 12 лет – в зависимости от того, когда начнем считать, – общий технологический прогресс совершит скачок от сегодняшней точки разворота от четырех до 128. В то же время сфера нашей этики будет продолжать ограничиваться линейным, поэтапным и человеческим масштабом улучшения, от четырех до пяти или шести, если повезет, ситуация немного изменится, когда мы адаптируемся к новой структуре.



Даже если закон Мура в конечном итоге перестанет действовать для микрочипов, многие из технологических областей, от рабочих частот канала связи до искусственного интеллекта (ИИ) и глубинного обучения, по-прежнему будут расти как минимум экспоненциально и с комбинаторными эффектами – изменения усиливают друг друга186.

Пройдет еще десять лет, и в итоге мы действительно сможем стать на 95 % более автоматизированными, гиперсвязанными, виртуализированными, крайне эффективными – и гораздо менее человечными, чем можно представить себе сегодня. Возникнет общество, которое, не отдавая себе отчета, следует по экспоненциальному пути мегасдвигов (см. главу 3). Общество, которое не останавливается, чтобы оценить последствия для человеческих ценностей, убеждений и этики. Общество, которым управляют технологи, венчурные капиталисты, фондовые рынки и военные. Такое общество, скорее всего, вступит в истинно машинную эпоху.

Так что же такое этика? Если не ограничиваться простым ответом – то, как человек должен жить, – греческое слово «этос» означает обычай и привычку187. Сегодня мы часто используем слово «этика» как синоним или условное обозначение для нравственности, ценностей, предположений, целей и убеждений. Главная задача этики состоит в том, чтобы задаваться вопросом, правильным ли является поступок или нет в каждом конкретном случае. Ваша этика определяет, что вам кажется правильным, и во многих случаях трудно объяснить, почему вы считаете именно так или иначе. Это, безусловно, одна из проблем, которые мешают согласовать даже самые элементарные этические правила для экспоненциальной эпохи, в которую мы вскоре вступим. Тем не менее дальше я попытаюсь сформулировать некоторые этические правила или принципы руководства развитием технологий.

Сегодня самая неотложная задача состоит в том, чтобы осознать различие между нами и машинами и понять: мы не найдем в машинном мире наших идеалов – их надо искать внутри нас самих.

– Стивен Талбот188,

Биоэтик Лэрри Черчилль говорит, что «этика, понимаемая как способность критически осмыслять нравственные ценности и управлять нашими действиями с позиции таких ценностей, является общим потенциалом человечества»189.

Так, если этика означает способность критически осмыслять нравственные ценности и управлять нашими действиями в соответствии с ними и действительно является общим потенциалом человечества, то должны ли мы 1) не надеяться, что машины и компьютеры смогут по-настоящему понять их, или 2) пытаться кодировать какую-то базовую этику в программное обеспечение и научить машины хотя бы немного понимать и уважать их – это тема так называемой машинной этики?190 Это важный вопрос, на который мы здесь постараемся ответить.

Что происходит с нашей этикой, когда машины становятся самообучающимися? Этические вопросы быстро возникают по ходу экспоненциального развития технологий: например, в случае беспилотных автомобилей – кто должен управлять автомобилем, если авария абсолютно неизбежна? Что касается роботов-помощников – что должен делать робот, если пациент отказывается принимать лекарство? Когда машины перестанут следовать предварительно запрограммированным алгоритмам решений и сами начнут узнавать что-то новое, будут ли они также узнавать то, что даже люди не могут выразить и кодифицировать?

Люди не так то просто принимают трудные решения, такие, например, как «если у этой пациентки есть 35 %-ная вероятность возникновения опасной для жизни медицинской проблемы, то она должна принимать эти лекарства, даже если потребуется сила». Поэтому, конечно, люди в подобных ситуациях каждый раз ведут себя по-разному и порой ошибаются. Позволительно ли это было бы для робота, и приемлемо было бы для нас такое его отношение?

В своем рассказе «Хоровод» (1942) писатель-фантаст Айзек Азимов сформулировал три закона робототехники, не слишком популярных в наши дни:

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.

2. Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат Первому закону.

3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму законам.

Будут ли эти законы и далее актуальными, или утратят свое значение вместе с появлением самообучающихся машин? Может быть, робот-помощник должен будет причинить вред человеку (хоть и незначительный), потому что другой, имеющий больше полномочий человек (например врач) приказал ему обеспечить прием лекарств. Как робот узнает, с чего начать и в какой момент остановиться? Будет ли программа блокировать холодильник, если мы будем придерживаться строгой диеты? Отключит ли она телефон и интернет, чтобы мы не заказывали пиццу? Будет ли наблюдать за туалетом, чтобы выявить признаки незапланированного потребления?

В этом контексте довольно очевидно, что ни один искусственный интеллект никогда не станет по-настоящему умным без этической управленческой модели, потому что без нее ИИ, вероятнее всего, упустит несколько последних частичек этической головоломки, о которых знают люди, и поэтому будет терпеть неудачу в самые важные моменты. Представьте себе ИИ, который управляет вашим автономным транспортным средством, не зная, в каких случаях можно и когда нельзя убить животное, переходящее через дорогу.

Тем не менее, даже если мы должны были сделать роботов умными в плане обучения и принятия решений, основанных на собственном опыте, сегодня они все еще близки к нулю в плане эмоционального и социального интеллекта – два термина, которые сами по себе очень трудно объяснить или даже измерить.

Проблема обучаемых машин – одна из самых важных для меня, когда дело касается этики. Глубинное обучение – это область ИИ, которая получала наибольшие инвестиции с 2015191 года, и, скорее всего, эта тенденция сохранится в ближайшие несколько лет. Мы вряд ли застанем еще одну «зиму» ИИ, когда инвесторы вновь заморозят финансирование проектов ИИ из-за того, что они получили меньше, чем ожидали.

Только представьте себе, что будет, если (когда?) бесконечно мощные машины и суперкомпьютеры смогут научиться решать практически любую проблему, основываясь только на огромном потоке реальных данных, т. е. без каких-либо предварительных команд или программирования. Победа AlphaGo от Google DeepMind, обсуждавшаяся ранее, является наглядным примером таких возможностей обучения в действии192.

Благодаря глубинному обучению мощные машины смогут обнаружить основополагающие рекомендации, принципы и правила, и поэтому смогут понять их и, возможно, даже подражать им. Однако, если это суждено стать следующим важным событием в компьютерной сфере (как американская компания IBM любит говорить, «когнитивных вычислениях»), мы, простые люди, не сможем оценить, правильные ли рекомендации дает нам ИИ или нет, потому что вычислительные возможности машин значительно превысят наши собственные. Действительно злободневная проблема: если мы изобретаем машины, которые на несколько порядков превосходят наши собственные возможности, с IQ 50 000 и выше, как мы поймем, что им можно доверять? И кто может их контролировать? Станут ли они в конце концов разумными в новом понимании? Должны ли мы встраивать в них ряд желательных этических норм, и как это возможно?

В журнале AI Magazine в статье «Вопрос ответственности» (1987) Митчелл Уолдроп писал:

Ясно одно… умные машины воплотят в себе ценности, предположения и цели, независимо от того, сознательно ли их так запрограммируют или нет. Таким образом, по мере того как компьютеры и роботы становятся все более и более умными, становится необходимым внимательно и четко думать о том, что это за встроенные ценности193.

Эта проблема еще более актуальна сейчас, когда мы входим в экспоненциальную эпоху, потому что теперь нам надо проанализировать, какими должны быть этические рамки для всех экспоненциальных технологий, включая ИИ, геоинженерию, когнитивные вычисления и, конечно, редактирование генома человека. Это включает в себя как рамки, которые люди-изобретатели или сборщики (не)преднамеренно программируют в машинах, так и те, которым машины сами могут обучиться и развить с течением времени.

Если суперкомпьютер Watson фирмы IBM действительно умеет думать, как он будет разбираться с критериями и ценностями людей, непонятными, двоякими или используемыми по умолчанию даже для людей? Будет ли этика ИИ предварительно запрограммирована или развита и адаптирована с использованием глубинных обучающих нейронных сетей, которые стремятся имитировать методы приобретения мозгом новой информации? А если они самообучаемые, как люди смогут проверять, контролировать и корректировать их? Как эти системы будут удовлетворять множеству культурных изменений в этике людей?

Более теоретические вопросы об ИИ и глубинном обучении, такие как техническая осуществимость управления такими новыми интеллектами, на данный момент не рассматриваются автором в этой книге, но в любом случае очевидно, что перед нами стоит огромная задача. Действительно, в самом ближайшем будущем роль специалиста по цифровой этике вполне может стать одной из самых востребованных профессий наряду со специалистом по анализу и обработке данных. Может быть, это хорошая работа и для ваших детей?..

И никакой религии?..

Нам также очень важно помнить, что этика и религия – это не одно и то же. В вышедшей в 2011 году крайне важной книге «Больше чем религия» Далай-лама заметил, что у всех есть этика, и только у некоторых людей есть религия, а затем призвал установить глобальную светскую этику, чтобы управлять нашими самыми элементарными решениями, например, касающимися автономных систем вооружения, способных убивать без контроля человека194. Этика и религия – существенно разные понятия, и мы должны помнить об этом различии при обсуждении злободневных тем, таких как редактирование генома человека или небиологические дополнения людей. Я предлагаю по возможности избегать вовлечения религии в эти споры, во-первых, потому что религиозные взгляды не настолько единообразны и повсеместны, как самые элементарные этические нормы и ценности, и во-вторых, потому что в них порой отражается слишком много пережитков прошлого.

Артур Чарльз Кларк обратил особое внимание на это критическое различие в своем интервью 1999 года:

Все считают, что религия и мораль связаны между собой. Однако основа морали очень проста и вовсе не требует никакой религиозности: не поступай с другими так, как не хочешь, чтобы поступали с тобой199.

Создание Глобального совета по вопросам цифровой этики. Какое определение мы дадим этике, подходящее для экспоненциальной эпохи?

Я хотел бы затронуть две основные проблемы. Во-первых, попытаться определить, какой глобально приемлемый ряд этических норм может подойти для экспоненциальной цифровой эпохи. И, во-вторых, попробовать понять, что нам нужно сделать, чтобы убедиться, что благополучие людей и этические проблемы в действительности остаются на повестке дня в мировом масштабе и не поглощены машинным мышлением.

Нам необходимо определить ряд реалистичных этических норм, которые подходят для цифрового века: достаточно открытые, чтобы не тормозить прогресс или препятствовать инновациям, но достаточно сильные, чтобы защитить нашу человечность. Нормы, которые станут компасом, а не картой для будущего, в котором более мощные технологии сначала расширят свои возможности, затем дополнят их, а затем станут еще сильнее угрожать человечеству.

С этой целью я предлагаю создать Глобальный совет по вопросам цифровой этики, которому будет поручено определить, какими должны быть основные правила и основополагающие и универсальные ценности для совершенно нового, полностью цифрового общества.

По большому счету, в настоящее время мы согласны с тем, что ни у каких государств-изгоев не должно быть ядерного потенциала, даже если они могут себе это позволить. Это по-настоящему сложная ситуация, сопряженная с ложью и обманом, – и она постоянно меняется, но необходимое понимание остается, и оно усиливается, потому что альтернатива сопряжена с немыслимым риском.

Точно так же нам нужно согласовать ограничения и независимый контроль масштабов, развития искусственного интеллекта, редактирования генома и других экспоненциальных технологий будущего.

Чтобы начать этот разговор, я использовал прием подмены тезиса. Я знаю, что это сложная задача, и, конечно же, это может быть даже самонадеянно. Но нам нужно начать, даже если я местами и окажусь неправ!

Чтобы поддержать Глобальный совет по вопросам цифровой этики, нам также необходимо разработать простой манифест по цифровой этике, своего рода глобальный договор по экспоненциальным правам человека во все более цифровом мире. Такой манифест и последующий договор могли бы служить руководством для тех компаний, которые изобретают, производят и продают эти технологии (и их директоров), и привлекать их к ответственности. Это действительно важно, потому что последствия экспоненциальных технологических изменений для человеческого существования больше не могут рассматриваться лишь как внешние факторы, как побочный эффект, который не имеет непосредственного отношения к тем, кто его вызывает.

Глобальный совет по вопросам цифровой этики, как мне кажется, должен состоять из хорошо информированных и глубоко мыслящих людей из гражданского общества, академических кругов, правительства, бизнеса и технологий, а также независимых мыслителей, писателей, художников и идейных вдохновителей. (Я и сам был бы рад присоединиться!) Он должен быть глобальным с самого начала и, со временем Совету могут потребоваться аналогичные или даже более широкие полномочия по сравнению с теми, которыми обладают сегодня специальные эксперты ООН по правам человека, а именно – право контролировать, консультировать и публично сообщать о проблемах и нарушениях196.

Как и в случае с устойчивым развитием, этика часто является последним, чисто номинальным пунктом на повестке дня, который могут исключить всякий раз, когда происходит что-то более срочное. Это принципиально ошибочный и очень опасный подход к охране нашего будущего. Так как мы вступаем в эпоху, когда важнейшие события будут происходить поначалу постепенно, а потом ситуация будет развиваться стремительно, у нас просто не будет взлетно-посадочной полосы, чтобы обдумать этические вопросы в тот момент, когда они уже будут безвозвратно раздавлены думающими машинами. Принцип «поживем – увидим» просто-напросто означает отречение человечества от престола.

Новое моральное исчисление

Мы должны тратить столько же времени и ресурсов на цифровую этику, сколько мы тратим на экспоненциальные технологии. Изучение неожиданных последствий экспоненциальных технологий и предотвращение ущерба человечеству, выходя далеко за пределы экзистенциальных рисков, требуют такой же поддержки, какую мы оказываем наукам, которые сейчас движут этими изменениями. Человеческий фактор требует такого же финансирования и продвижения, как и наука – действительно, «древо» познания (наука, техника, инженерия и математика) не может существовать без «корней» (креативность, оригинальность, взаимность и сочувствие).

«Homo roboticus? Люди и машины в поисках взаимопонимания»

В своей книге «Homo roboticus? Люди и машины в поисках взаимопонимания» (2015) журналист The New York Times Джон Маркофф подчеркивает необходимость этого нового морального исчисления:

Оптимисты надеются, что возможность злоупотребления компьютерными системами будет сведена к минимуму, если применение искусственного интеллекта, генной инженерии и робототехники останется сосредоточенным на людях, а не на алгоритмах. Но у технической индустрии нет такой репутации, которая свидетельствовала бы о нравственном просвещении. Было бы замечательно, если бы Кремниевая долина отказалась от прибыльной технологии по этическим соображениям. Однако сегодня решения о внедрении технологий принимаются в основном из соображений рентабельности и эффективности. Необходимо новое моральное исчисление197.

Пять новых прав человека в цифровую эпоху

Вот эти пять основных прав человека, которые, как я скромно предполагаю, могут стать частью будущего манифеста цифровой этики.

1. Право оставаться естественным, то есть биологическим, – у нас должно быть право жить в государстве без автоматизированных систем. Мы должны сохранить за собой право работать, пользоваться государственными услугами, покупать вещи и функционировать в обществе без необходимости размещать дополнительные устройства на наших телах или внедрять их в наши органы. Эти страхи #Подключайся Или Увольняйся уже стали проблемой в отношении мобильных устройств и социальных сетей (хотя и считаются в основном неопасными). Тем не менее можно легко представить себе будущее, в котором нам придется носить очки дополненной или виртуальной реальности, козырьки или шлемы, чтобы получить работу, или даже хуже – будет необходимо использовать или вживить специальные приложения для человеческого организма для трудоустройства. Люди сами по себе больше не будут достаточно хороши – и это нежелательное будущее.

2. Право быть низкоэффективными там где низкая эффективность определяется нашими физиологическим ограничениями, – у нас должно быть право быть медленнее технологий. Мы не должны ставить производительность выше человечества. Вскоре может оказаться намного эффективнее и дешевле использовать цифровую диагностику здоровья с помощью таких платформ, как Scanadu, чем обращаться к врачу каждый раз, когда есть медицинская проблема. Я считаю, что эти технологии в целом приведут к прогрессу и могут быть одним из ключей к снижению стоимости здравоохранения. Тем не менее означает ли это, что мы должны наказывать людей, которые решают поступить иначе, или принуждать к соблюдению новых правил тех, кто не хочет, чтобы их данные о здоровье находились в облаке?

3. Право не быть постоянно на связи – мы должны сохранить за собой право «отключиться», «уйти в тень» в сети и приостановить связь, отслеживание и контроль за нами и нашим местоположением. Можно ожидать, что многие работодатели и компании сделают гиперкоммуникацию с помощью технических средств стандартным требованием в ближайшем будущем. Как работник или застрахованный водитель вы можете понести ответственность за прерывание связи без разрешения, если вы и/или ваш автомобиль больше нельзя будет отследить в сети.

Быть самодостаточным и технически «отключенным» в разное время по собственному желанию – это принципиально важное право, потому что «отключение» позволяет нам оставаться в нашей реальной среде и наслаждаться жизнью. Это также снижает риск цифрового ожирения (см. главу 7) и уменьшает вероятность случайной слежки. Офлайн может стать новой роскошью, но он должен оставаться основным правом.

4. Право быть анонимным – в приближающемся будущем с гиперсвязанным миром у нас все равно должна быть возможность не опознаваться и не отслеживаться, например при использовании цифрового приложения или платформы, а также при комментировании или критике, если это безопасно для других и не нарушает ничьих прав. Безусловно, в некоторых очевидных случаях настоящая анонимность будет невозможна, и, вероятно, этого неразумно ожидать, например, когда дело касается банковских операций в цифровой среде. Тем не менее мы должны быть уверены в том, что защищенные пространства сохраняются там, где не требуется и не считается нормой полное отслеживание, например, когда вы высказываете политические взгляды, обмениваетесь личными фотографиями или получаете медицинскую консультацию. Анонимность, тайна, беспринципность и ошибки являются важнейшими человеческими атрибутами, которые мы не должны пытаться устранить с помощью технологических средств.

5. Право нанимать или привлекать людей вместо машин – мы не должны позволять компаниям или работодателям оказаться в невыгодном положении, если они захотят использовать людей вместо машин, даже если они более дорогие и менее производительные. Вместо этого мы должны предоставлять налоговые льготы тем, кто это делает, и предусмотреть налоги на автоматизацию для компаний, которые значительно сокращают число сотрудников в пользу машин и программного обеспечения. Эти налоги должны быть направлены на переподготовку людей, ставших жертвами технологической безработицы.

Важно заметить, что многие из этих прав затрагивают важный вопрос, находящийся в центре этих споров: сколько свободы мы готовы пожертвовать, чтобы стать или более производительными, или более безопасными? Также нужно задуматься: какой должна быть этика безопасности и как технологии будут решать этот важнейший вопрос?

15 ошибок, которые следует избегать

В целях развития и внедрения четкой и согласованной на глобальном уровне цифровой этики приведем несколько конкретных примеров технологических ошибок, которых нам следует избегать, если мы хотим, чтобы человечество одержало победу.

Я прекрасно понимаю, что в качестве пищи для обсуждения, некоторые из предложенных заповедей могут оказаться слишком упрощенными, идеалистическими, непрактичными, утопическими, неполными и противоречивыми. Поэтому я с вашего позволения представляю их просто в духе отправной точки для дискуссии.

1. Мы не будем требовать или планировать, чтобы люди постепенно сами становились технологиями, только из-за того, что это будет выгодно для технологий или технологических компаний и/или стимулировать рост.

2. Мы не будем позволять, чтобы людьми управляли или, по сути, руководили такие технологии, как искусственный интеллект, интернет вещей или робототехника.

3. Мы не должны изменять природу человека, программируя или производя новых существ с помощью технологий.

4. Мы не будем «дополнять» людей, чтобы достичь сверхъестественных способностей, которые устранят четкое различие между человеком и машиной.

5. Мы не должны наделять машины полномочиями расширять свои права и возможности и таким образом избежать контроля со стороны человека.

6. Мы не будем пытаться заменить доверие слежкой при общении и в личных отношениях только из-за того, что технология делает это возможным всегда и везде.

7. Мы не будем планировать, оправдывать или желать тотального контроля из-за предполагаемой потребности в полной безопасности.

8. Мы не позволим ботам, машинам, платформам или другим умным технологиям взять на себя основные демократические функции в нашем обществе, которые все-таки должны выполнять сами люди.

9. Мы не будем пытаться уменьшить или заменить реальную человеческую культуру алгоритмическим, дополненным или виртуальным моделированием.

10. Мы не будем пытаться свести к минимуму человеческие недостатки только для того, чтобы больше соответствовать технологиям.

11. Мы не будем пытаться покончить с ошибками, тайнами, несчастными случаями и случайностями, используя технологии для их прогнозирования или предотвращения, и мы не будем стремиться сделать все явным только из-за того, что технологии это позволяют.

12. Мы не будем создавать, проектировать или распространять какие-либо технологии с главной целью вызвать зависимость от них.

13. Мы не будем требовать, чтобы роботы принимали нравственные решения, или оснащать их так, чтобы они оспаривали наши решения.

14. Мы не будем требовать или ставить условие, чтобы люди также были экспоненциальными по своей природе.

15. Мы не будем путать чистый алгоритм с точной картиной реальной жизни людей («программное обеспечение обманывает мир»), и мы не будем наделять технологии излишней властью, из-за того что они приносят экономические выгоды.

Что касается конкретного вопроса о том, что все становится явным, социальные сети преподают нам хороший урок: вещи, которые раньше были невысказанными и существовали между строк, теперь незаметно оказались в центре внимания и стали очень четко высказаны, а также усилены групповым мышлением. Хотя мое одобрение некоторой группы гражданских прав, политической организации или социальной задачи могло быть явно выражено в прошлом, все же эта информация не была доступной для всех. Теперь, когда все связано, все мои комментарии можно мгновенно увидеть, изучить и собрать вместе.

Производительность не должна ставиться выше человечества

Экспоненциальные технологии быстро делают более эффективным все, что нас окружает. В результате все становится сервисом, все находится в облаке, и теперь все становится умным. Даже у самого глупого компонента аппаратуры будут датчики, вносящие свой вклад в глобальное цунами данных, которые в паре с искусственным интеллектом могут найти решение практически для любой проблемы198.

Давайте представим себе, каким станет мир в 2030 году. Если буквально все будет отслеживаться, измеряться и быть гиперэффективным, то что случится с вещами, которые не так легко поддаются количественной оценке? Как быть с эмоциями, неожиданностью, стеснением, неуверенностью, созерцанием, тайной, ошибками, несчастными случаями, интуицией и другими отличительными чертами человека? Станут ли они нежелательными, потому что алгоритмы и машины идеальны, они запрограммированы, чтобы не допускать ошибок, работать 24/7/365, не иметь профсоюзов и по большому счету делать то, что им говорят? (По крайней мере, те, которых не научат думать самостоятельно…)

Будет ли ускорение темпов технического прогресса означать, что люди, которые проявляют слишком много не считываемых машинами черт, будут считаться пустой тратой времени, или, что еще хуже, их будут считать помехой высокой производительности?

Будем ли мы все больше приспосабливаться и менять свое поведение, чтобы казаться более эффективными или, по крайней мере, притворяться таковыми? Станет ли идея общей эффективности мощным стабилизирующим фактором, заставляющим нас вести себя более единообразно? Отменит ли в конечном итоге одержимость технологией с ее абсолютной эффективностью молчаливое признание человеческой неэффективности и различий? Такое развитие событий часто кажется мне вероятным, даже если это займет больше времени здесь, в Европе, и, возможно, еще больше в отдельной взятой Швейцарии!

Если достижение максимально возможной эффективности будет оставаться главной задачей, то стремительный рост производительности машин в экспоненциальной эпохе означает, что люди в скором времени, вероятно, не будут участвовать вообще ни в чем. Переход от четырех к 128 в масштабе технологии в следующем десятилетии или около того предполагает, что многие задачи могут быть решены в 32 раза быстрее, чем сегодня. Можете ли вы представить себе, что розничная торговля, банковское дело и транспорт станут в 32 раза эффективнее, чем сегодня? Будут ли они в 32 раза дешевле, и если да, то что это будет означать для нашей экономики?

Нам нужно будет быть очень осторожными при принятии решений, основанных исключительно на эффективности, которая почти наверняка приведет к ликвидации рабочих мест для людей, устранит полномочия людей или иным образом заставит их автоматизироваться, уступить и «отречься от престола» (см. главу 4).

Во многих случаях нам, возможно, придется смириться с этими ужасающими недостатками и признать, что они являются просто частью человеческой жизни, даже если создают препятствия для автоматизации. Альтернативой было бы безжалостно обеспечить эффективность и покончить с теми, кто не соблюдает эти правила: если вы хотите увидеть своего врача лично, а не использовать устройство удаленной диагностики, вы заплатите штраф. Если ваш автомобиль не будет постоянно отслеживаться, то это будет означать, что вы потеряете страховое покрытие. Отказ от имплантации чипа будет означать, что вы не сможете работать в этой компании.

В медицинской сфере есть несколько полезных прецедентов для предстоящих споров. Некоторые люди уже давно утверждают, что кесарево сечение более эффективно, чем естественные роды, и поэтому мы должны полностью отказаться от этой привилегии – явный пример того, чтобы поставить эффективность выше человечества199. Наблюдая за экспоненциальной мощью технологий, я догадываюсь, к чему это может привести: экзогенез – беременность вне матки, дети, рожденные в лабораториях.

Эффективно ли отслеживать ваш автомобиль или любые другие транспортные средства 100 % времени по каждому параметру, такому как скорость, направление, ускорение, внутренняя температура и качество наружного воздуха?

Ответ – да. Но послужит ли это цели, достойной человека? Во многих отношениях ответ также утвердительный: использование автономных транспортных средств и анализ данных отслеживания может помочь значительно уменьшить загрязнение окружающей среды и положить конец большинству аварий. Но во многих других отношениях постоянное отслеживание также было бы пагубным, потому что это был бы самый совершенный инструмент наблюдения, когда-либо изобретенный, и он заставил бы нас ежесекундно действовать в соответствии с требованиями.

Нам необходимо срочно задать себе вопрос, действительно ли мы хотим заменить наши врожденные человеческие чувства и возможности обещанием совершенных функциональных возможностей машины и постепенно потерять сам смысл человеческого бытия? Мы можем в конечном итоге сделать окружающие нас вещи чрезвычайно эффективными, но лишим себя всех целей.

Что делать, если только самые богатые 2 % людей получат доступ к новым генетическим методам лечения, которые обещают резкое продление жизни и долголетие, в то время как у остальных не будет такой возможности? Возникнет ли еще больше гражданских беспорядков и терроризма из-за еще более глубокого неравенства, обусловленного экспоненциальными технологическими достижениями? Только представьте, что произойдет, если появится такое «ДНК-исправление» старения, но только миллионеры смогут позволить себе оздоровительные процедуры, чтобы дожить до 150 лет, в то время как все остальные будут жить более или менее столько, сколько обычно. Кажется очевидным, что наши нынешние этические парадигмы не могут ответить на эти дилеммы под давлением привычного капитализма и ожиданий фондового рынка.

Жизнь вне алгоритма

Итак, что мы можем сделать с технологиями, взявшими на себя руководство там, где не должны? Как мы можем защитить себя от того, чтобы просто стать объектами подпитываемой ботами гиперэффективности, вскармливая гигантский ИИ, который, в свою очередь, диктует нам, как жить, и говорит, что мы больше не можем делать?

Нам необходимо как можно чаще задавать себе вопрос, делаем ли мы что-то, потому что оно неэффективно для машин или потому что оно позитивно для пользователей. Мы должны задавать себе этот вопрос, когда голосуем за новые законы, когда начинаем бизнес и когда отдаем наши деньги технологическим компаниям. Голосование своим кошельком – это мощный инструмент, который потребители используют недостаточно, когда речь идет о цифровой этике. По иронии судьбы, с технологиями это право будет все легче реализовать.

Этический вопрос, вопрос о цели и значении, нужно задавать перед вопросом о целесообразности и стоимости. В будущем главный вопрос в сфере технологий будет не о том, можно ли что-то сделать, а о том, почему, когда, где и кем это должно быть сделано.

Как вариант, можно просто говорить «нет», чаще отказываться от участия, отвергать технологии и процессы, приложения и программное обеспечение, которые явно не подходят для использования человеком, а просто усиливают мощность алгоритмов. Может быть, нам нужно создать наклейку для предупреждения о вреде здоровью или штамп, как на сигаретных пачках сегодня, которые будут сообщать нам, что программа, приложение или устройство «точно не способствует дальнейшему человеческому счастью».

Хотя эффективность и увеличение прибыли иногда являются достойной целью и в конечном счете одним из краеугольных камней капитализма, мы не должны использовать технологии для распространения примитивных убеждений, которые предполагают, что эффективность существует только для того, чтобы быть самой важной и достойной человеческой целью. Это машинное мышление, которое не будет служить нам в долгосрочной перспективе.

Назад: Глава 9. Счастливая случайность
Дальше: Глава 11. Земля 2030: рай или ад?