Книга: Так вышло: 29 вопросов новой этики и морали
Назад: Глава 16. Можно ли уродовать собственное тело?
Дальше: Глава 18. Почему мы сочувствуем роботам?
Глава 17

Этические вопросы сериала «Черное зеркало»

Кейс

Британский сериал «Черное зеркало» посвящен этическим дилеммам и парадоксам, которые возникли с появлением новых технологий. Сюжеты серий не связаны друг с другом, каждая представляет собой законченную историю, которая происходит в своем отдельном мире — либо в альтернативной реальности, либо в будущем. Технологии, вокруг которых строится сюжет, могут быть как фантастическими, так и доступными уже сейчас. Сериал выходит с 2011 года.

Андрей: В нашем подкасте мы говорим о том, что происходит вокруг, и редко касаемся темы будущего. Разговор о «Черном зеркале» — хороший повод это исправить и охватить сразу много вопросов. Но сначала я бы хотел спросить, есть ли у тебя в принципе этические проблемы с новыми технологиями?

Катя: У меня — нет, но это потому, что, с моей точки зрения, развитие технологий само по себе не ставит перед нами новых этических вопросов, а только по-новому формулирует старые.

А: Вот и посмотрим. Начнем с эпизода про память, который называется «История всей твоей жизни». В мире этого эпизода каждый человек носит в голове небольшое зернышко, видеокамеру, на которую записывается весь его жизненный визуальный и аудиальный опыт. И к любому моменту можно вернуться, воспроизвести запись. Главный герой на вечеринке узнает, что его жена когда-то встречалась с одним из гостей. Промучившись пару дней, он приезжает к этому человеку и заставляет его стереть воспоминание. И пока тот стирает, герой видит на экране маленькие отрывки и даты и понимает, что он, вполне возможно, не биологический отец своей дочери. Как и почти все серии «Черного зеркала», эта серия заканчивается трагически. Жизнь героя рушится, в конце концов он берет бритву и вырезает свое зернышко и таким образом отказывается от памяти.

К: И тебе кажется, что это новый этический вопрос?

А: Мне кажется, что не важно, новый он или старый, мне тут интересно, как обыгрываются свойства памяти — способность запоминать и забывать.

К: Память сама по себе — вещь очень ненадежная, она, например, умеет подстраивать детали. И новые технологии все только усложняют. Сервисы вроде социальных сетей могут навсегда изменить память. Например, они заставляют тебя помнить именно те картинки, которые в них опубликованы. Сам бы ты, возможно, запомнил совсем другое. Наша память структурирована новыми технологиями. И в сюжетном повороте — кто-то может увидеть твое воспоминание — на самом деле нет ничего фантастического. Известны случаи, когда люди разводились из-за того, что система автоматического опознавания лиц отмечала их партнеров на каких-то компрометирующих фотографиях в фейсбуке. И точно так же, как и раньше, человек сам решает, готов ли он идти до конца и выяснять все подробности. Это вопрос выбора, и технологии здесь ни при чем.

А: Есть принципиальный момент — все эти новые технологии сохранения памяти дают тебе иллюзию ее полноты и объективности. Даже если ты выкладывал в соцсети только свои фотографии с шампанским на яхте, когда ты на это посмотришь через какое-то время, тебе будет казаться, что это и была твоя жизнь. В тот момент, когда я пишу в фейсбук, я прекрасно понимаю, что я пишу, кто это увидит, какие выставлены фильтры и так далее. Через год это ко мне возвращается, как моя память, а я уже не помню ни контекста, ни фильтров. На самом деле это не моя память, это черт знает что. А уж если у тебя в голове зернышко с видеокамерой, тебе кажется, что все точно так и было, можно вынуть из зернышка факты и вынести приговор.

К: Но зернышки есть у тебя и сейчас. Сообщения, которые ты писал. Письма, записки, дневники, картинки, вещи, которые для тебя имели значение, которые тебе подарили или ты подарил. Да, зернышко, которое ведет круглосуточное наблюдение, создает иллюзию объективности. Но на самом деле эта видеопамять так же необъективна, как инстаграм. И так же необъективна, как записочки и предметы, все это только усиливает иллюзию.

А: Вооруженный иллюзией человек превращается в прокурора. Так и произошло в этой серии «Черного зеркала». Герой начал выбирать из воспоминаний доказательства измены, а другие воспоминания отбросил — как он первый раз поцеловал свою жену, как она первый раз приготовила ему омлет. И еще миллион симпатичных воспоминаний, которые могли бы помочь все исправить.

К: Интересно, что эта встроенная видеокамера существует в мире «Истории всей твоей жизни» как раз для того, чтобы давать человеку возможность посмотреть на все со стороны — серия начинается с того, что герой просматривает свое неудачное собеседование на работу, чтобы понять, что пошло не так. Мне кажется, игры с памятью не должны претендовать на объективность, они не учитывают природу человека. В другой серии «Черного зеркала» про технологии, связанные с памятью, в эпизоде «Крокодил», появляется специальное устройство, которое позволяет снимать воспоминания у свидетелей разных событий, как будто они записаны на видеорегистратор. Не важно, как давно совершен поступок, человек должен нести за него ответственность. И эта технология совершенно не предполагает, что человек меняется, что память можно не стереть, а изжить. Перерасти, забыть, вытеснить. Проделать над собой какую-то психологическую работу.

А: В серии «Крокодил» страховой агент, разыскивая свидетелей по совсем другому делу, напарывается на женщину, очень успешную и милую, которая когда-то кого-то случайно убила. Такое, согласись, довольно сложно перерасти. Ты не можешь забыть, как кого-то убил.

К: Мне кажется, что главный вопрос «Черного зеркала» — технология портит жизнь человека или все-таки человек всегда найдет технологию, чтобы испортить себе жизнь?

А: Давай тогда перейдем к следующему сюжету. Серия, которая называется «Nosedive», что по-русски переводят как «Нырок», но имеется в виду самолет, который входит в штопор и летит в землю. Героиня этой серии живет в обществе, где социальный статус человека полностью определяется рейтингом. Ты встретил человека в лифте, поздоровался, он тебе поставил оценку. Официант принес лимонад, ты поставил ему оценку. Тех, у кого рейтинг высокий, зовут на вечеринки, им дают скидки. Главной героине чуть-чуть не хватает рейтинга, чтобы переехать в хорошую квартиру в хорошем районе. Она пытается поднять себе рейтинг, все, конечно, идет не так, и буквально за один день она становится асоциальным элементом. Но мы-то говорим про технологии, и идея ставить оценки, в отличие от восстановления полной визуальной памяти, — это уже давно часть нашей реальности.

К: В нашей реальности есть много сервисов, к которым обращаются за рекомендацией. Они созданы для того, чтобы ты мог ориентироваться в мире, в котором не разбираешься. Чтобы люди чувствовали себя в безопасности. Все, что происходит в этой серии «Черного зеркала», только на первый взгляд связано с технологиями. Человек пытается заработать репутацию, не подкрепив ее реальными делами. Испокон веков люди пытаются проникнуть в чуждый им мир и хотят быть своими там, где их совершенно не ждут.

А: «Талантливый мистер Рипли».

К: Действительно, фильм «Талантливый мистер Рипли» тоже про катастрофическую попытку влезть в чужой мир.

А: Просто так изменить свой рейтинг не получится, как не получится всю жизнь притворяться кем-то другим. Но я вот точно знаю, что сам факт наличия у человека рейтинга меняет мое поведение. И меня это пугает. Когда я еду в такси, где нужно поставить водителю оценку, я становлюсь злее, капризнее. Иногда я выхожу из машины и думаю: «Ну зачем я так разговаривал с человеком?» И я уверен, что это связано с рейтингом. С тем, что я сижу и думаю, четыре звездочки или три? А вот здесь он почти пересек двойную сплошную, но вовремя вырулил, а здесь подрезал, и, вообще, как он со мной разговаривает!

К: В мире «Nosedive», о котором мы разговариваем, все люди как водители такси. И ты водитель такси. Их рейтинги — это на самом деле обычный институт репутации.

А: А тебе не кажется, что в этом все равно есть какая-то асимметрия? Когда водитель такси ставит мне рейтинг и я — водителю такси, мы в асимметричном положении. Мне гораздо проще наказать его рейтингом, чем ему меня.

К: У меня была некрасивая история с Airbnb. Там такая система, что отзыв, который про тебя написал человек, ты можешь увидеть только через две недели, в течение которых ты тоже можешь написать про него отзыв. И мне пришло уведомление, что про меня написали отзыв. И я подумала, что плохой. Взяла и сама написала про этого человека плохой отзыв. А потом выяснилось, что он совершенно ничего такого про меня не сказал. И мне стало ужасно неловко. Людям нравится действовать симметрично. Если тебе говорят, что ты кому-то симпатичен, то и тебе человек становится сразу немножко симпатичен, а если тебе говорят, что ты человеку не нравишься, то тебе будет довольно неприятно, что ты еще секунду назад про него думал, какой он хороший. В «Черном зеркале» это абсолютно прозрачная система, практически чтение мыслей. Может быть, и неплохо, что у нас люди оставляют свои оценки при себе.

А: Иногда они на них строят целый внутренний мир. И про это в «Черном зеркале» тоже есть серия, которую я хочу обсудить. Но сначала давай поговорим про более оптимистичный эпизод — «Сан-Джуниперо». Так называется прибрежный городок с клубом, морем, ветром и наркотиками, где бесконечно тусуются молодые красивые люди. В какой-то момент мы понимаем, что этот мир — симулированный рай, куда попадают люди после смерти, где они могут наслаждаться жизнью в своем молодом теле.

К: Этот рай можно протестировать — люди отправляются туда раз в неделю, чтобы понять, хотят ли они остаться там после смерти.

А: Героини серии — две пожилые женщины, которые в Сан-Джуниперо молоды и прекрасны, и у них роман, а в реальной жизни одна из них в коме, а другая пережила дочь и любимого мужа.

К: И перед ней стоит вопрос — отказаться ли ей от Сан-Джуниперо и этого нового романа, в надежде встретить мужа и дочь в загробном, по-прежнему неизвестном людям мире, или выбрать вечную и гарантированную райскую жизнь?

А: Ты думаешь, это оптимистичная история?

К: Мне кажется, что это опять обычный человеческий выбор. Надо ли нам надеяться на нечто очень эфемерное или пусть будет синица в руке? В «Черном зеркале», как всегда, выбор доведен до технологического идеала. Сколько людей, столько и фантазий о том, что мы встретим по ту сторону жизни. Даже те, кто исповедует одну религию, могут представлять себе совершенно разные картинки. «Сан-Джуниперо» — одна из них и скорее напоминает чистилище. Там есть персонажи, которые явно потерялись, уже не знают, как себя развлечь, и не могут никуда выйти. В отличие от остальных серий, которые мы с тобой обсуждали, это нереалистичная концепция.

А: У меня есть гипотеза, почему это так. Что это за виртуальная реальность, в которую ты попадаешь и не можешь из нее выйти? Она уже не виртуальная тогда.

К: Нереалистичной эту концепцию делает не то, что из нее нельзя выйти, а то, что она одинакова для двух людей. Потому что представление о рае и аде не может быть одинаковым для двух людей.

А: Тогда и виртуальная реальность должна быть у каждого своя. Про это есть серия «USS Каллистер». Сюжет там очень простой. Компьютерный гений создает виртуальную реальность, которую населяет копиями тех людей, которые, как ему кажется, косо на него смотрят в реальной жизни. Он капитан воздушного судна, которое путешествует по Вселенной, а все эти клоны ему подчиняются.

К: Кто из нас не представлял страшные муки и смешные унижения людей, которые нас обижали?

А: Да, но на самом деле в жизни-то его не обижают. Просто не обращают особенного внимания. Но я бы хотел поговорить не про то, кому мы здесь должны сочувствовать, а про фантазии. Получается, что благодаря этому виртуальному миру он никого не обижает в реальном.

К: На самом деле здесь нет очевидного этического ответа. В этой серии вроде как да, он не совершает в реальности агрессивных действий. Тихий, несчастный и застенчивый трудоголик много лет занимается виртуальным унижением, это для него способ релаксации. Он постоянно дополняет эту реальность, ему нужно все больше и больше, чтобы получать удовольствие, но он по-прежнему не проявляет в жизни никакой агрессии.

А: Его проблема только в том, что он помещает в свою злобную фантазию настолько хорошие клоны, что они сознательны и потому хотят свободы.

К: Если бы они не были сознательны, их мучения не доставляли бы ему удовольствия.

А: Да, но не значит ли это, что он перешел границу, раз он унижает сознательное существо, пусть даже клонированное?

К: Ты сочувствуешь виртуальным клонам, потому что они похожи на людей. На самом деле это просто компьютерный код.

А: Я им сочувствую не потому, что они похожи на людей, а потому, что они сознательны и желают свободы. История заканчивается тем, что эти виртуальные клоны умудряются послать сообщение в настоящую реальность и победить своего поработителя.

К: А он остается запертым на придуманном им корабле. Виртуальные злодеи запирают реального человека, который в жизни никому зла не сделал.

А: Все, что происходит внутри черепной коробки, тебя не интересует? Ты оцениваешь только поведение?

К: Прости, даже в христианстве за помыслы не судят.

А: То есть в фантазиях каяться не надо?

К: Нет. Потому что считается, что, как только ты начинаешь каяться в фантазиях, они становятся более реальными. Про сознательность клонов и про реалистичность их страданий есть еще одна, довольно душераздирающая серия «Черного зеркала». Называется «Черный музей». О кунсткамере пыточных технологий. Чип, который встраивается врачу в голову, чтобы он мог почувствовать страдания пациента и понять, как его лечить. Игрушечный мишка, в котором заперли сознание женщины, которая была в коме. И финальный экспонат — голограмма на электрическом стуле, который каждый желающий может включить.

А: И она каждый раз по-настоящему страдает.

К: Это голограмма человека, которого осудили и приговорили к казни. И, чтобы его семья получила какие-то деньги, он согласился на эту вечную смерть. Судя по всему, он даже не был виновен в преступлении, за которое его осудили. Этот факт оправдывает наше чувство жалости к нему, но за ним прячется важный вопрос — можно ли мучать голограмму?

А: Получается, что все герои «Черного зеркала» на самом деле бессмертны. Просто принцип этой бессмертности меняется — виртуальные копии, голограммы, сознание в машинке.

К: Все истории, которые мы видим, заканчиваются плохо, и таким образом «Черное зеркало» говорит нам: «Хватит заниматься биохакингом, спасай свою душу, а не технологию придумывай».

А: А если не спасешь душу, твое сознание окажется на электрическом стуле и его казнят, причем миллионы раз.

К: Именно про это серия, которая называется «Белый медведь». Женщина пытается весь день спастись от преследователей, пытается вспомнить какую-то девочку и что с ней произошло. В какой-то момент мы понимаем, что девочка в опасности, а потом — что именно эта женщина ее и убила, а теперь в качестве наказания она сама стала жертвой — за ней охотятся люди в парке развлечений. Как только она все вспоминает, ей тут же стирают память, и все начинается сначала.

А: Наказание, месть — если ты бессмертный, когда это все должно заканчиваться?

К: По сценарию ее преступление — убийство ребенка. За такое не существует адекватного наказания, оно превышает размер одной жизни. И поэтому жизнь у нее отнимают каждый день.

А: Самый страшный мотив, который повторяется в «Черном зеркале», — все бесконечно. Ненависть бесконечна, злоба бесконечна.

К: Ужасно не то, что есть технологии, которые позволяют мучить эту женщину каждый день или включать рубильник электрического стула голограммы, а то, что существуют люди, которые каждый день хотят мучить, смотреть и включать этот ток. Каждый день. Когда ты мучаешь голограмму, с тобой действительно происходит что-то необратимое, и поэтому так чудовищны обычные герои этих серий. Они совершают то самое обыкновенное зло, которое не зависит от технологий.

А: Это, кстати, меня раздражает в «Черном зеркале». Технологии при всех их фантастичности я могу хотя бы теоретически обсуждать. Но персонажи этого сериала совершенно картонные. Поэтому авторам сериала постоянно приходится специально уточнять, что люди в этом участвуют, потому что зомбированы. Но если все зомбированы, то кто-то это организовал? Где она эта живая воля? И тогда идея «Черного зеркала» не в том, что технологии — зло, а в том, что люди превращаются в технологии.

К: Это вечная попытка перенести ответственность. Люди совершали самое ужасное зло, прикрываясь войной, религией, политикой, страхом. А теперь прикрываются технологиями. Зло все равно совершает человек. Банальное зло, зло холокоста, зло технологий, зло военных преступлений совершают люди. Не политика. Не время. Не ситуация.

А: В «Черном зеркале» эта фигура злодея, человека, который решил совершить зло и совершил, она сильно ретуширована и спрятана. Его практически нигде нельзя найти. Единственный злодей — герой серии «USS Каллистер», который создал виртуальный мир и унижает своих коллег, — и тот оказался не злодеем. А все люди, которые каждый день мучают, убивают, они сами становятся инструментами.

К: Я с тобой абсолютно не согласна. Они все те же люди. Но, безусловно, они зависят от технологий. Возможность не зависеть от технологий — это роскошь. Сначала она будет доступна только очень обеспеченным людям. Но потом люди научатся отказываться от технологий, потому что это будет им помогать в жизни. Так они смогут чувствовать себя собой. Как спорт помогает тебе ощущать свое тело, так аналоговые вещи будут помогать тебе не чувствовать себя инструментом. Если ты помнишь, в сериале «Друзья» была серия, когда Джоуи и Чендлер, переключая каналы в телевизоре, случайно попали на бесплатный порноканал. Они просто не могли несколько дней поверить в такое чудо. А потом несколько дней не могли поверить в то, что они больше не могут на это смотреть. И наступил момент, когда они отключили его.

А: Ты хочешь сказать, что «Черное зеркало» — это такой бесплатный порноканал?

К: Конечно, и еще мне кажется, важно помнить, что нет технологии, которую ты не можешь выключить. Не может, как ты сказал, быть реальности, из которой нельзя выйти.

А: И мы с тобой выключаем «Черное зеркало».

Назад: Глава 16. Можно ли уродовать собственное тело?
Дальше: Глава 18. Почему мы сочувствуем роботам?