Кейс №1

«Мир Юрского периода — 2» — пятый фильм про динозавров из серии, начатой «Парком Юрского периода» в 1993 году. Острову, на котором находится парк, угрожает извержение вулкана. Главная героиня Клэр и ее единомышленники придумывают способ перенести парк в другое место, но для этого им нужно решить несколько непростых задач. Одна из них — поиск в парке последнего выжившего велоцираптора по кличке Блю. Клэр зовет на помощь бывшего дрессировщика рапторов. Он сначала отказывается, но потом вспоминает, каким милым, любопытным и добрым динозавром была Блю в детстве, и соглашается помочь Клэр. Вместе они находят Блю, но оказывается, что Клэр предали те, кого она считала друзьями, — они хотят не спасти, а похитить и продать динозавров.

Андрей: Наше доброе отношение и — шире — наша мораль автоматически распространяются на наших ближних, семью и сограждан. Бывает, что в этом месте проходит граница и на граждан других стран доброе отношение некоторых людей уже не распространяется, но, в принципе, наверное, все согласятся, что к людям надо относиться хорошо. А дальше начинаются проблемы. С роботами, клонами и даже животными.

Катя: С обычными животными, кажется, проблем уже нет. Тот же сюжет, что и в «Мире Юрского периода», но с какими-нибудь более симпатичными героями — щеночками, например, — за которыми точно так же охотятся преступники, встречается часто. Понятно, что все живое должно входить в наш нравственный кодекс. Да и не только живое, игрушки тоже давно очеловечены, медвежонок Паддингтон, Вини-Пух.

А: Это интересный вопрос, потому что плюшевых мишек любят все, а динозавр — это рептилия, никто не любит рептилий. К тому же он отвратительный кровожадный хищник, который, между прочим, ест других динозавров, а еще людей и, вполне возможно, плюшевых мишек.

К: Крокодилов можно описать точно так же. Они тоже автоматически не вызывают эмпатии. Больше тебе скажу, у меня многие люди не вызывают эмпатии. Некоторые из них кажутся мне рептилиями, а другие представляют угрозу, как динозавры. Но это же не дает никому права не относиться к ним как к людям.

А: У нас конкретная ситуация, динозавры умирают на острове. Фильм, между прочим, начинается с очень циничных аргументов — «Давайте спасем динозавров, потому что они украшают планету». А если динозавры заслуживают того же, что и щенок, и мишка Паддингтон, то мы должны и без таких аргументов их спасать.

К: Это совершенно другой вопрос. Мы и людей часто не спасаем. Нам стыдно, но мы оправдываемся тем, что не имеем права вторгаться в чужую жизнь. Вторгаться или нет — отдельный разговор, мы пока еще даже не договорились, как нам относиться к динозаврам. Попробуем упростить задачу. Существуют редкие животные. Они могут вымереть. Что мы должны чувствовать по этому поводу?

А: Я на людей примеряю. Если бы мне сказали, что какой-то народ не должен вымереть, я бы согласился с этим, но не потому, что мне жалко народ в целом — мне жалко миллионы людей, которые его составляют.

К: Для меня, что народ, что миллионы — это абстракция. Но конкретное существо я буду защищать от вымирания, даже если оно не вызывает у меня эмпатии. Тип или класс в любом случае не вызывают у меня эмпатии, я вообще не понимаю, как можно испытывать эмпатию к конструкту. Другое дело, что конкретное существо может оказаться и неживым. Как в сериале «Мир Дикого Запада», где роботов невозможно с виду отличить от людей.

Кейс №2

«Мир Дикого Запада» — сериал о парке развлечений, населенном человекоподобными роботами, с которыми можно делать все, чего нельзя делать с людьми. Роботы существуют в рамках своего сценария; если робота убивают, работники парка восстанавливают его, стирают ему память и заново запускают сценарий. Одна из героинь сериала — робот Мэйв. По своему сценарию она хозяйка борделя, которая встречает посетителей «Мира Дикого Запада», а потом погибает во время нападения бандитов. Но в отличие от других роботов ее память по какой-то причине до конца не стерта, она помнит сценарии, в которых участвовала раньше.

Андрей: В одном из сценариев, которые помнит Мэйв, у нее была дочка, и Мэйв отправляется на ее поиски. Пока она ищет, у нее появляется возможность выйти из парка развлечений в реальный мир, но она не делает этого, потому что найти девочку ей важнее. Притом что Мэйв знает, что девочка — робот, который просто отыгрывает свой сценарий.

Катя: Смотри, как интересно, ты своим рассказом очеловечил Мэйв. То же самое происходит в сериале. И тут мы приходим к тому, что я хочу тебе сказать: все дело не в предмете, о котором мы говорим, — будь то дверной косяк, сотовый телефон или робот-андроид, а в нас самих. Мы же знаем, что Мэйв — андроид, только потому, что нам так сказали в сериале. Там же есть герой, про которого мы узнаем, что он андроид, только во втором сезоне.

А: Ты говоришь, что разумом мы можем знать, кто робот, а кто нет, но наша моральная сфера создается не корой больших полушарий. Она складывается из нашего восприятия, привычек, рефлексов, какой-то душевной теплоты. И все это вместе может заставить нас жалеть кого-то даже вопреки разуму.

К: Моя мысль проста. Мы можем так и не узнать, кто это был, это не столь важно. А вот относиться по-человечески к тому, что похоже на человека, или на собаку, или на динозавра, мы должны, причем должны себе. Прожить жизнь, как нам говорили еще до всяких роботов, нужно так, чтобы не было мучительно больно.

А: Если у тебя дома есть робот или собака или динозавр-убийца — ты их любишь, ходишь с ними гулять, играешь в настольные игры по вечерам. И это понятно. Но в принципе, когда мы говорим, что кто-то заслуживает сочувствия или, не дай бог, имеет права, это должно распространяться и за пределы твоего дома.

К: Была такая история — в 2016 году компания Boston Dynamics показала ролик, в котором антропоморфный робот Атлас поднимает и переставляет коробки. Чтобы продемонстрировать способность Атласа адаптироваться, у него из рук выбивали коробки, а его самого толкали. Разразился большой скандал. И мы (я работала тогда в «Медузе») спросили у психолога, почему, как ей кажется, люди стали жалеть этого робота. Она, собственно, так и объяснила: мы жалеем то, что представляем себе, а не конкретную груду железа в конкретной ситуации. Роботу действительно абсолютно все равно, но у нас в голове включаются механизмы, которые его очеловечивают. И если мы будем выключать их насильно, объяснять себе, почему не должно быть жалко робота, мы рискуем тем, что в какой-то момент эти механизмы перестанут работать и в отношении людей. Пока мы не выработали механизма, который позволит нам смотреть на робота и не видеть в нем живого существа, мы должны относиться к роботам как к людям. Причем не только жалеть их, но и судить, и наказывать, и сажать за нарушение закона в роботизированную тюрьму, например.

А: Из того, что ты говоришь, можно сделать множество выводов. Например, если робот с пушкой не антропоморфен и выглядит как танк, его можно уничтожать, в этом ничего плохого нет. Мы решаем, как относиться к некоторому объекту, анализируя его форму и то, как он воздействует на наши органы чувств.

К: Если ты разозлишься и швырнешь об стену телефон, это будет для тебя то же самое, что швырнуть об стену кошку?

А: Нет, конечно.

К: А швырнуть робота-собачку? Так же просто, как телефон?

А: Наверное, собачку сложнее.

К: Вот видишь! А ведь оба, телефон и собачка, это электронные приборы. Те, кто создает роботов, знают, как воздействовать на наши чувства.

А: Ты мне говоришь не про мораль, а про психологию. Я понимаю, что это очень связанные вещи, но все же хотел бы их сейчас разделить, потому что независимо от того, что ты видишь и что тебя умиляет, существует хорошее и плохое. У тебя, кстати, был еще один критерий смешной: если робота или динозавра кто-то полюбил — не важно, по каким причинам, — на него распространяются правила морали. И это, наверное, объективный критерий.

К: Да, танк сам по себе не вызывает эмпатию. Но, если сделать танк с глазками и бровками, которые будут двигаться, когда он стреляет, может возникнуть этический конфликт.

А: Когда ты говоришь про этический конфликт, ты же не считаешь, что у танка появляются такие же права, как у человека или животного? Все-таки расстрелять из базуки танчик с грустными бровками или андроида из «Мира Дикого Запада» или динозавра — это разные вещи.

К: Они разные потому, что мы видим их по-разному. Насилие над тем, что больше похоже на человека, вызывает во мне больший ужас. Обычный танк не вызывает ужаса, танк с бровками — это следующая ступень.

А: То есть ты считаешь, что студия Pixar с мультфильмами про говорящие машинки сделала для создания нашей нравственной вселенной больше, чем Христос?

К: По крайней мере в наше время ее религия распространена шире. Не исключено, что больше людей сочувствуют роботу ВАЛЛ-И, чем Иисусу Христу.

А: Последовательность мультфильмов Pixar кто-то остроумно интерпретировал так — рыбки имеют чувства, машинки имеют чувства, роботы имеют чувства. А в одном из последних мультфильмов, «Головоломка», чувства имеют чувства.

К: Роботов стараются очеловечивать не только за счет формы. Вот, например, голосовые помощники с симпатичными женскими именами. Они не просто отвечают на вопросы, но шутят и флиртуют. В фильме «Она» главный герой влюбляется в такую программу, и, когда оказывается, что у нее таких, как он, миллион, это разбивает ему сердце.

А: Считаем ли мы такую программу моральным субъектом?

К: Ну не знаю. Когда корреспондент «Медузы» Евгений Берг стал объяснять голосовому помощнику «Яндекса» Алисе, что он сейчас прыгнет с крыши, она ему сначала что-то ответила, а потом написала: «Давай». Если кто-нибудь действительно прыгнет, засудят же не программу, а ее владельца. Если ты создаешь нечто, что можно принять за одушевленное существо, даешь ему человеческий голос, ты, конечно, несешь ответственность.

А: Но в таком случае вопрос, является ли голосовой помощник хоть в какой-то мере субъектом, вообще не стоит. В отличие от динозавра Блю или Мэйв из «Мира Дикого Запада» голосовой помощник не воспринимается как живое существо. Иначе, между прочим, над ними бы так не издевались пользователи.

К: Просто у тех, кто издевается, нет фантазии. Я тебе приведу еще один пример — фильм «Из машины».

Кейс №3

Главный герой фильма «Из машины» отправляется на остров, где живет гениальный разработчик, чтобы с помощью теста Тьюринга проверить его новое изобретение. Речь идет о роботе, причем с виду не очень симпатичном — сплошные провода, кусок кожи на лице. Но разговаривает робот женским голосом, кокетничает и флиртует с героем, и тот проникается к роботу чувствами и собирается спасти его от жестокого разработчика.

Катя: В итоге оказывается, что машина обманула главного героя, она была запрограммирована на то, чтобы анализировать его поведение в интернете, захомутать его и манипулировать им. Герой поражен и раздавлен, а робот запирает его с разработчиком на острове, надевает еще какие-то куски кожи, парик, платьице и уходит. Пока что мы действительно не очеловечиваем голосовых помощников, но, если они начнут анализировать твою историю запросов, разговаривать с тобой о том, что тебе интересно, шутить твои шутки, может произойти ровно то же, что в этом фильме.

Андрей: Сейчас у меня нет ответа на вопрос, где проходит граница — кто моральный субъект, а кто нет. Мы можем попытаться из того, что ты говоришь, сделать какую-то последовательную систему, но пока в нашем мире за убийство робота, не важно, насколько он человекоподобен, ничего не будет. Да, я с тобой согласен, что у сценаристов есть набор приемов, с помощью которых они втаскивают разные объекты в нашу моральную сферу. И он на самом деле довольно ограничен. Либо сыграть на каком-то нашем биологическом рефлексе — показать щенка с большой головой или, как в «Бегущем по лезвию», робота, который любит девушку или ребенка. И этого достаточно, робот уже станет биологическим объектом. Либо показать, что он умный. Но кажется, это плохая стратегия. Щенок с большой головой гораздо надежнее.

К: Надо сказать, что этот этический казус возник, еще когда мы в школе учились. Появились игрушки, которые назывались тамагочи, какой-то минимальный набор пикселей, символизировавших зверушку. Она вылуплялась из яйца, и ее нужно было кормить и развлекать. Если ты не справлялся, она умирала. Уже тогда, 20 лет назад, это было дико. Были страшные истории с детьми, которые не могли пережить смерть этих электронных питомцев.

А: Ты опять возвращаешься к тому месту, которое мне не нравится в твоем построении. Если твоему ребенку кто-то подарил тамагочи, а ты знаешь, что ребенок у тебя не особо организованный и точно забудет его покормить, твой родительский долг — раздавить каблуком этого тамагочи как можно скорее. Пусть лучше сейчас твой ребенок поплачет, чем потом из окна прыгнет. Это нравственный поступок — убить тамагочи. Ты никогда не сможешь всерьез осудить человека, который это сделал.

К: Если тебе покажут преступника, который жестоко убил человека, ты его осудишь?

А: Да, наверное.

К: А если тебе месяц будут описывать мучительные подробности этого дела, а потом скажут, что он жестоко убил на самом деле не человека, а робота?

А: Ты мне говоришь, что я глупенький, меня можно обмануть и поэтому моя этическая система не работает. Но меня можно обмануть и по-другому, мне можно очки заклеить лейкопластырем.

К: Мы с тобой чем занимаемся? Как раз и говорим — люди, отклейте лейкопластырь с очков, посмотрите, что творится в мире, в стране, вокруг вас! Я тебе говорю, что нас уже обманывают.

А: Ну хорошо, представь себе, что на Землю прилетит марсианская слизь. Очень умная. Очень мерзкая на вид. У нее вообще не будет моральной сферы, она будет просто так ползти, след светящийся оставлять и людей ни в грош не ставить. Можно эту слизь пытать?

К: Я давно подозреваю, что эта слизь уже здесь. Потому что иногда я не могу найти другого объяснения тому, что происходит вокруг нас.

А: Ты рисуешь совершенно архаическую этическую систему, сродни «Красавице и Чудовищу». Если чудовище никто не любит, его не существует. Но даже в человеческом обществе есть люди, которых никто не любит. Идея, что любое чудовище найдет себе когда-нибудь красавицу или в крайнем случае кто-то прольет над ним слезинку — это самый большой голливудский обман. Есть совершенно отвратительные, заросшие коростой, никому не нужные люди.

К: Пока про них не расскажут историю, от которой у кого-то екнет сердце, всем и будет на них плевать. Это знают те, кто занимается благотворительностью. Надо рассказать историю, чтобы тронуть сердца. Как только тронул сердца, одушевил, деньги текут рекой.

А: То есть, если ты неприятный, поросший коростой, отвратительный неостроумный тип, которого вообще невозможно полюбить, придумай про себя историю, научись писать душещипательные посты в соцсетях и люди тебя впустят в свою моральную сферу?

К: Конечно. Ты еще денег соберешь и станешь великим человеком.

А: Мне кажется, тебе теперь надо подкаст про карьеру вести.

К: До встречи через неделю.

А: Не мучайте слизь.