Книга: Технологии против человека
Назад: Глава 3. Мегасдвиги
Дальше: Глава 5. Интернет вещей

Глава 4. Автоматизация общества

Высокая производительность, растущие прибыли на фоне сокращения рабочих мест, увеличивающееся число техномиллиардеров и уменьшающийся средний класс?

Автоматизация заслуживает особого внимания среди прочих мегасдвигов, так как она во все времена была двигателем социальных изменений. Например, восстания луддитов в Англии в 1811–1816 годах, когда на смену ручным ткацким станкам пришли новые механические, происходили от страха людей лишиться средств к существованию из-за новых технологий70.



История насчитывает множество примеров, когда люди, пострадавшие от внедрения технологий в производство, впоследствии открыли для себя новые возможности благодаря техническому прогрессу. Рынки становились более эффективными, цены снижались, производство росло, открывались новые сектора экономики, и индустриальное общество не страдало от устойчивой технологической безработицы, образовавшейся в результате автоматизации71. С каждой волной индустриализации технологии создавали условия для появления новых секторов, в рамках которых на смену исчезнувшим рабочим местам создавались новые. Зарплаты увеличивались вместе с производительностью – по крайней мере, до тех пор, пока не появился интернет.

Если отмотать ход истории к периоду информационной экономики – этот устаревший уже термин раньше использовался для описания эпохи первой волны интернета, – мы заметим, что отношения между технологическим прогрессом и созданием рабочих мест приняли другой характер. В главных экономиках мира, в первую очередь в США, укреплялось неравенство, так как компаниям, располагавшим средствами и платформами для перевода своей деятельности в цифровое русло, требовалось уже гораздо меньше работников, чем раньше72, 73.

Переход от информационной экономики к экономике знаний занял гораздо меньше времени и привел к более деструктивным последствиям. Сейчас, когда мы уже устремились к экономике машинного интеллекта, количество рабочих мест обещает значительно сократиться, и разрыв между производительностью и средним уровнем заработной платы будет только увеличиваться. Используя мегасдвиги, компании смогут производить более совершенные товары, тратя на их производство меньше времени и средств. Мне кажется, что сокращение рабочих мест и рост безработицы станут новой нормой, а не исключением.

Некоторые настораживающие тренды, связанные с занятостью, можно было заметить уже в начале восьмидесятых, когда мы впервые увидели новые устройства и виды автоматизации, способные выполнять нашу работу: сельскохозяйственное оборудование, сварочных роботов, автоматизированный колл-центр. Масштаб проблемы сейчас становится более очевидным. По данным Бюро трудовой статистики США, с 2011 года производительность в общем по США значительно увеличилась, в то время как уровень занятости и уровень зарплат не изменились74. В результате корпоративные прибыли выросли по сравнению с 2000 годом75.

Вместе с тем социальное неравенство продолжает расти по всему миру: по данным The Huffington Post, 62 самых богатых человека скопили больше богатства, чем 50 % населения планеты вместе взятые76.

Главный вопрос заключается в том, усугубит ли ситуацию экспоненциальный технологический прогресс или попытается каким-то образом ее разрешить.

Я считаю, что Бюро по статистике США может отметить еще один более важный тренд, который приобретет решающее значение благодаря мегасдвигам: технологический прогресс более не является катализатором роста зарплат и рабочих мест, как в индустриальную эпоху и даже раннюю эпоху интернета. Маржинальные и общие прибыли компаний растут, когда машины работают вместо людей. Однако миллионы уволенных сотрудников не видят для себя никакой выгоды от автоматизации: дальнобойщику не так-то легко переквалифицироваться в дизайнера интерфейсов!

Теперь представьте, к чему может привести автоматизация в экспоненциальных масштабах. По данным исследования Oxford Martin School 2013 года, 50 % работ могут быть автоматизированы в ближайшие два десятилетия77. Прибыли корпораций стремительно увеличатся, так как им удастся сократить число работников по всему миру, и этот опыт затем сможет применяться во всех сферах производства. Другими словами, выдвигая автоматизацию и прочие мегасдвиги на первый план, крупные компании смогут получать во много раз больше прибыли при участии гораздо меньшего количества людей.

Безусловно, появятся и некоторые новые профессии: дизайнер человеко-машинных интерфейсов, ученый, занятый в сфере облачной биологии, руководитель разработок в области ИИ, биоинформатик-аналитик, менеджер по защите личных данных. Однако миллионы тяжелых физических, да и самых обычных профессий исчезнут навсегда – в первую очередь однообразные, не требующие проявления уникальных человеческих качеств, таких как эмпатия, творческий подход и способность к ведению переговоров. То, что это произойдет, – несомненно; вопрос лишь когда.

В этом и заключается главная сложность взаимодействия человека и технологий: мы должны понять, как скоро совершатся экспоненциальные изменения и чем это обернется для образования, правительственных стратегий, систем социального обеспечения и государственной политики по всему земному шару.

По мере того как ИИ все быстрее замещает ученых, программистов, врачей и журналистов, возможности найти значимую работу становятся настолько редкими, что очень мало кто из нас сможет обеспечить себе рабочее место, где будет заниматься чем-то похожим на типичную современную работу. В то же время большинство вещей, необходимых для удовлетворения наших базовых потребностей по шкале Маслоу (еда, вода, крыша над головой), значительно упадут в цене. Машины возьмут на себя выполнение большинства тяжелых задач, что снизит затраты на предоставление услуг в сферах транспорта, банковских операций, общественного питания и медиа. Мы направляемся к еще не изведанным землям экономики изобилия и к концу тех времен, когда нам приходилось зарабатывать себе на жизнь. В конце концов нам придется отделить деньги от работы, и этот сдвиг может значительно пошатнуть те основания, на которых раньше строилась наша идентичность и ценностные ориентации.

Что будет хорошо, а что плохо? Чем будут расплачиваться за произведенные машинами товары и услуги те люди, которые не смогут найти работу, пусть даже эти товары будут значительно дешевле? Ознаменует ли это конец потребления как основной логики капитализма? Увидим ли мы начало конца известного нам сегодня оплачиваемого труда?

Политики, государственные должностные лица и члены правительства должны уделять больше внимания изменениям, связанным с автоматизацией, и эффективнее управлять этим стремительным процессом. Идейное лидерство станет главным требованием к представителям власти, и любой государственный служащий, несерьезно относящийся к необходимости быть «проводником будущего», серьезно ослабит свою позицию.

В ближайшем будущем главной причиной отдать голос за определенного кандидата станет его способность управляться с настоящим, то есть тем, как дела обстоят сейчас, и в то же время его исчерпывающее понимание того, что нам предстоит в дальнейшем.

Автоматизация в квадрате – пять составляющих

Я часто думаю о том, что автоматизация имеет следующие составляющие, которые изо дня в день ухудшаются.

1. Автоматизация.

2. Слепое подчинение.

3. Отречение.

4. Побочные эффекты.

5. Утрата контроля.

Автоматизация как неминуемый исход

Я считаю, что автоматизация в экспоненциальных масштабах обязательно случится хотя бы потому, что она становится наконец возможной и способствует снижению расходов, что является главной задачей практически всех компаний и организаций. Через пять-десять лет мы увидим новый тип производства, высокоэффективный и низкозатратный. Только подумайте, что в этом случае произойдет с работой и уровнем занятости. Можно ли допустить, чтобы эффективность взяла верх над человечностью? Следует ли нам все автоматизировать только потому, что мы знаем, как это сделать? Должны ли компании, которые инвестируют в замену своих работников технологиями, платить какие-нибудь налоги на автоматизацию, которые бы затем распределялись между теми, кто потерял работу? Уже скоро мы должны будем дать ответы на эти вопросы.

Давайте признаем тот факт, что совместными усилиями разных мегасдвигов, в первую очередь оцифровывания, виртуализации, интеллектуализации (глубокого обучения и ИИ), и роста популярности мобильных устройств каждый день открываются все новые возможности для автоматизации. В начале 2016-го, когда AlphaGo смог преодолеть код игры, он не был запрограммирован на то, чтобы играть в го, – он сам, с чистого листа, этому научился78.

Это уже не узкоспециализированные заранее запрограммированные ИИ-компьютеры, способные опередить человека в сферах, основанных на математике и логике, таких как игра в шахматы. Это ИИ, который способен имитировать работу человеческого мозга с помощью нейронных сетей, самостоятельно обучаться и программировать себя. Представьте себе, как такой ИИ сталкивается с очень сложными и объемными задачами и проблемами и затем выдает нам решение и способ автоматизации этих задач, таким образом превосходя нас практически в любой деятельности, связанной со знаниями.

Стюарт Армстронг пишет в своей книге «Smarter than us: the Rise of Machine Intelligence»:

Если бы ИИ на сверхчеловеческом уровне обладал любой из человеческих возможностей, будь то способность к социализации, технологическому развитию или экономической деятельности, то он скоро добился бы господства над нашим миром. Как мы можем догадаться, развив эти возможности до человеческого уровня, он не остановится на пути к тому, чтобы усовершенствовать их и до сверхчеловеческих. Тем самым, если когда-нибудь компьютер запрограммируют на обладание этими навыками, то ИИ неминуемо приобретет власть над миром79.

Рассмотрим, к примеру, область социального обеспечения: выплаты больничных, пенсий, пособий по безработице, которые, вполне возможно, понадобятся миллионам людей. Вскоре после внедрения ИИ в эту сферу мы сможем располагать умным суперкомпьютером, который будет сам решать, по каким правилам следует определять размер социальных выплат, кому и как их нужно выплачивать. Это, безусловно, приведет к экономии государственного бюджета, но в то же время, вероятно, дегуманизирует население.

Продвинутый ИИ на территории США сможет определить порядок выплат с помощью сбора и анализа данных за последние 80 лет (с момента внедрения системы социального обеспечения в 1935 году)80. Он также сможет использовать и другую доступную информацию для расширения своих знаний по этой теме: медицинские карты, профили пользователей в социальных сетях, юридические нормы и основания, городские и правительственные базы данных. В результате может возникнуть динамично развивающийся ИИ-специалист по социальному обеспечению (так называемый СоцОбесБот), способный выполнять сложные операции, которого будут обслуживать только десять-двадцать процентов работников, занятых в этой сфере на сегодняшний момент. Скажите «прощай» эмпатии и сопереживанию: теперь машины будут определять размер ваших пенсий, а с ними не поспоришь.

Я часто задумываюсь о том, что случится, если эти предположения сначала постепенно, а затем резко начнут осуществляться на практике. Вероятнее всего, нас ждет то же, что сейчас происходит с избыточными социальными медиа. Если мы на каждом шагу сталкиваемся с автоматизацией, то вскоре начинаем плясать под ее дудку, признавая превосходство системы и ее воли над нами – неохотно, но с улыбкой на лице. Нам не слишком нравится то, что происходит, но мы не хотим устраивать сцен.

Затем мы и вовсе начнем отказываться от своих притязаний, как говорится, «отречемся от трона» и передадим всю власть системе. Уже скоро мы перестанем быть главным звеном в цепи – на наше место придет машина и станет новым центром притяжения, превратив нас в свое содержание. Таким образом, инструмент прогресса станет целью, а мы будем работать на то, чтобы система была довольна. Изначально «система» будет состоять из всех людей (узлов в сети), подключенных к глобальной электронной экосистеме.

Facebook сейчас представляет собой главный пример отречения: вместо того чтобы активно участвовать в политической жизни, что нам кажется неудобным и обременительным, мы просто ставим отметку «нравится» на сайте, делимся видео с друзьями, подписываем петиции или в лучшем случае жертвуем пару долларов или евро на проекты Kickstarter и Causes.com.

Слепое подчинение

У нас уже есть некоторое представление об автоматизированных процессах, которые, по-хорошему, не должны подвергаться автоматизации. К примеру, мы можем воспользоваться специальной программой-генератором «привлекательных» текстов, благодаря которой наши посты получат больше лайков в социальных сетях. Мы часто идем на поводу у технологий, когда слепо доверяем их подсказкам, ведь это так просто и удобно. Так, люди часто добавляют в друзья человека только потому, что он является другом друга еще одного друга и недавно поставил им лайк под записью. Почему бы и нет, разве это опасно? И я бы в этом случае согласился, что на данном этапе очень сложно увидеть вред, причиняемый такими действиями.

Отречение

Но вот наступает следующая стадия, и мы начинаем замечать, как невольно перепоручаем наши обязанности технологиям. Вместо того чтобы регулярно навещать бабушку, можно установить ей Skype и видеться с ней еще чаще, но через экран. Хорошо это или плохо?

Или же, вместо того чтобы лично сопровождать бабушку на прием к врачу, мы подарим ей устройство диагностирования на расстоянии, способное измерить основные физиологические показатели в любое время и в любом месте, чтобы нам не пришлось тратить на нее свое время.

Все вокруг нас напоминает о нашем отречении от нашей собственной власти в пользу технологий. Я довольно часто пользуюсь сервисом TripAdvisor, который с уверенностью указывает мне на лучший ресторан, и мы идем именно туда, несмотря на то что нас окружают еще 25 симпатичных с виду заведений. В каком-то смысле мы доверяем машинам руководить нами и выносить за нас решения. Опять же, в случае с TripAdvisor ничего ужасного не происходит, но только представьте себе, как этот тренд увеличивается в экспоненциальных масштабах. В конце концов мы можем прийти к ощущению того, что мы вообще уже ничего не решаем и не можем ни на что повлиять, – те или иные вещи просто происходят с нами. Жизнь станет намного проще, не так ли? Идти следом гораздо легче, чем прокладывать дорогу самому.

За последние два года я уже много раз обсуждал TripAdvisor с друзьями и публикой и пришел к тому, что это просто еще одна информационная точка среди многих, и если я предупрежден о ее соблазнах (подчинении и отречении), то я смогу противостоять им и обратить этот сервис себе на пользу. Как и в других сложных случаях, главное – соблюдать баланс. Но что, если TripAdvisor превратится в ИИ, умного и всемогущего бота, и я уже не смогу с такой легкостью критически оценить его честность? Что, если он станет слишком умным, и я буду вынужден либо полностью довериться ему, либо не доверять совсем?

Карты Google – еще один пример того, как легко люди отказываются от своего «трона». Как часто вам приходилось стоять на перекрестке в чужом городе и искать на экране здание, которое находилось прямо перед вами? Но нет, мы уже не доверяем собственным глазам и глазам других людей. Мы верим тому, что нам говорит высший разум. Нужно ли брать с собой зонт на случай дождя? Google подскажет вернее, чем мое предчувствие о погоде или взгляд в окно.

Этот пример довольно безобиден, но только представьте, как эти тенденции усилятся с помощью экспоненциальных технологий. Появится ли всеобъемлющий медицинский разум, который будет решать, стоит ли нам заводить детей, основываясь на ДНК и различных других факторах? Откажут ли нам в страховке, если мы все же на это решимся, несмотря на запрет? Сможем ли мы свободно принимать решения, не основанные на логике и алгоритмах? Сможем ли мы по-прежнему совершать глупые поступки: превышать скорость, напиваться, есть вредную еду? Или свобода воли перестанет существовать?

Экспоненциальное отречение

Что произойдет, если технологии и дальше будут убеждать нас отдать им свои полномочия, ввиду того что это удобно, эффективно и как бы волшебно? Не говоря о том, что это на 95 % быстрее! Что, если мы сейчас видим только вершину айсберга отречения, находимся на пятом уровне по шкале от 0 до 100? Решимся ли мы «отречься от сознания» и позволить машинам судить о нашей морали и ценностях, как пишет Стивен Талботт для The New Atlantis?81 Если, по выражению Талботта, «технологии настойчиво приглашают нас забыть самих себя», то к чему приведет применение экспоненциально более мощных технологий?

Приведет ли наша забывчивость к тому, что мы по умолчанию будем жить цифровой жизнью, как лунатики, и над нами установится глобальный цифровой феодализм, где технологии-повелители будут управлять нами, а мы даже не сможем понять, каким именно образом они это делают?

В одном можно быть уверенным: технологии и их крупнейшие провайдеры сделают все возможное, чтобы склонить нас к повиновению и отречению, случайно или преднамеренно. Вместо того чтобы изменить диету, мы принимаем лекарства от давления. Когда нам скучно, мы не тратим время на размышления, а спешим заполнить пустоту блестящими планшетами, с головой погрузиться в цифровой мир. Мы не пытаемся помочь нашим детям найти новых друзей – вместо этого мы разрешаем им играть с виртуальными друзьями: роботами-животными и куклой Hello Barbie, первой ИИ-куклой, которая разговаривает с детьми, как живая82. Это намного проще!

Станут ли в таком случае цифровые помощники Amazon Echo и Google Home такими же инструментами отречения?

В случае с социальным обеспечением, упомянутым выше, тяга к отречению может привести к тому, что государственные служащие передадут свои обязанности машинам. Представим, что этот воображаемый СоцОбесБот постепенно начинает брать на себя человеческие задачи, потому что он на 90 % дешевле и на 1000 % быстрее. Тогда, даже если он будет только на 90 % точен, правительство, скорее всего, скажет, что он все равно намного лучше справляется с работой.

Побочные эффекты

Следующим шагом вниз по этой нисходящей спирали может стать ухудшение положения оставшихся человеческих работников, пользователей и клиентов системы. Уровень фрустрации будет расти, но мы мало что сможем с этим сделать, потому что система будет намного масштабнее, быстрее, эффективнее нас. Отдельные раздражители можно будет устранить, но мы не сможем перестать пользоваться системой, принимая во внимание ее всеобъемлющее присутствие во всех сферах нашей жизни.

В который раз лучшим примером является Facebook. С одной стороны, нас очень раздражают постоянные уведомления о том, что кто-то из тех людей, которых мы едва помним, сменил статус. В то же время мы не хотим потерять связь с теми, кто действительно важен для нас. Удобство платформы, ее власть и охват лишают нас возможности изменить то, что нас в ней не устраивает.

Утрата контроля

В итоге превращение реальных людей в цифры, абстрактные данные в рамках проекта по автоматизации социального обеспечения грозит тем, что сама идея помощи людям будет безнадежно извращена и перевернута с ног на голову. Это последний этап, наиболее мрачный из пяти стадий автоматизации, до которого мы можем дойти, если не примем меры в рамках осуществления автоматизации на первых двух стадиях (подчинения и отречения).

Можно лишь надеяться, что эффективно осуществляемая и хорошо спроектированная автоматизация не приведет к таким массовым подавлениям воли и только иногда будет провоцировать приступы раздражения. Однако тот факт, что мы не сможем вовремя понять, что теряем контроль над ситуацией, пока не дойдем до поворотной точки, а потом справиться с ней уже будет не в наших силах, – вызывает беспокойство касательно экспоненциальной автоматизации.

Поиск баланса

Сложность заключается в том, чтобы соблюсти правильный баланс: что мы можем автоматизировать так, чтобы не произошло замещения машинами ценных человеческих проявлений, таких как разговоры или коммуникационные потоки? Когда вы звоните в колл-центр, чтобы изменить номер рейса, хотите ли вы, чтобы сотрудник проявил понимание и эмпатию по отношению к вам? В большинстве случаев – нет, но иногда это необходимо, например, когда возникает непонимание в рамках вежливого общения. Так, до 90 % колл-центров будут автоматизированы в ближайшие несколько лет, но в некоторых случаях нам все равно нужно будет поговорить с живым человеком. Конкретно в этом случае хорошо спроектированная и регулируемая человеком автоматизация может служить примером позитивного развития, но миллионы рабочих мест так или иначе исчезнут.

Продолжим дискуссию о самом ближайшем будущем… Путешествуя самолетом, можно ли довериться полностью автоматизированной беспилотной кабине? Или же нам будет спокойнее, если пилот все-таки будет присутствовать? Проходя медицинское обследование, хотели бы мы, чтобы к нам проявили «гуманность» и сочувствие, или же нам будет достаточно того, чтобы машина сообщила нам только факты? В случае простуды или проблемы с желудком кажется, что автоматический дистанционный диагноз может быть полезен и вполне приемлем. Однако, когда речь идет о постановке таких серьезных диагнозов, как нервное расстройство, астма или диабет, такая автоматизация безусловно дегуманизирует сферу медицинских услуг.

Автоматизации нельзя сказать «да» или «нет»; на вопросы, связанные с ней, необходимо отвечать постепенно и осторожно, стараясь сохранить баланс и всегда заботясь в первую очередь о человеке. Вопрос заключается не в том, смогут ли и как смогут технологии что-либо автоматизировать, а в том, будет ли это способствовать процветанию человечества. В том, за кого мы болеем: за команду технологий или за команду человечества.

Автоматизация внутри нас?

Вместе с вещами, которые подвергаются автоматизации вокруг нас, существует также много вещей, которые могут быть автоматизированы внутри нас и начать оказывать влияние на то, как мы думаем и что мы чувствуем. Подумайте о том, как программы и алгоритмы, умные цифровые помощники, облачные сервисы и роботы, оборудованные ИИ, забирают на себя все больше наших ежедневных дел и как некоторые из нас уже автоматизировали дружбу с помощью социальных сетей и мессенджеров.

Что случится с нашим коллективным разумом, проявляющимся в процессе живого общения, в рамках которого мы учимся, спорим, обсуждаем проблемы, принимаем решения и создаем наши общества и демократические режимы? Как будут формироваться наши решения, если все, что мы видим и слышим друг о друге, будет определяться исключительно алгоритмами, созданными для того, чтобы заставить нас увидеть как можно больше рекламных объявлений, а не людей? Что, если эти инструменты не будут подвергаться общественному контролю, надзору и управлению?.. Будут ли нами управлять машины и алгоритмы, находящиеся в собственности огромных международных интернет-платформ и технологических компаний? Станут ли они «системами виртуального распределения дофамина», запрограммированными на то, чтобы вызвать привыкание и одобрение и достигать максимальных результатов для своих владельцев, рекламщиков и других «шпионов», которые хотят анализировать и использовать наши персональные данные?

Google Новости83, так же как новостная лента Facebook84 и новостное приложение Baidu, 85, практически не управляются людьми. Почти во всех случаях, хотя за процессом и наблюдают люди, всю основную работу выполняют алгоритмы. В этих компаниях очень мало кто занимается контентом в журналистском смысле этого слова – вместо этого работники разрабатывают еще более умные алгоритмы и программы, способные справиться с любой новой задачей. Нет ничего удивительного в том, что девиз Марка Андриссена «Программное обеспечение съедает мир» уже превратился в «Facebook съедает интернет»86. И Facebook не хочет делиться! За исключением программистов, инженеров и исследователей искусственного интеллекта, Facebook нанимает очень мало сотрудников, в чей функционал входит прямое общение с клиентами.

Возможно, очень скоро программы будут не только «съедать», но и «обманывать» мир. Я уже чувствую, что меня обманывают или мной манипулируют, когда листаю ленту в Facebook, потому что я не могу доверять ей так же, как я доверяю The New York Times, The Economist, Der Spiegel или The Guardian, ведь ее единственная цель заключается в извлечении выгоды. Это не средства массовой информации, а средства массового обмана, но мы не можем выбраться из их сетей, хотя прекрасно об этом знаем.

Это не целиком одностороннее движение: по данным Mashable, Apple старается включить человеческий фактор в работу своего новостного приложения, музыкальных рекомендаций и плейлистов, но это определенно исключение, а не правило87.

Автоматизация переживает такой подъем, потому что всем уже понятно, что люди медленны, часто неэффективны и требуют значительного финансирования, в то время как машины недороги в использовании, ультраэффективны, и их показатели продолжают экспоненциально увеличиваться. Производительность вырастет в разы, но уровень трудоустройства людей неизбежно резко снизится. У нас будет работа в будущем, но, скорее всего, она будет оторвана от идеи зарабатывания на жизнь.

Также становится вполне вероятно, что мы больше не увидим того, что другой, возможно, более умный человек хотел бы до нас донести на новостных и медиаплатформах. Вместо этого содержание, которое мы должны увидеть, будет определяться ботом, ИИ, на основе миллионов фактов и отрывков данных, анализируемых в реальном времени. Мы явно рискуем потерять человеческие понятия о ценностях, морали, этике, эмоциях, искусстве и человеческую способность рассказывать истории из-за использования сервисов, которые их не воспринимают. Разумеется, ИИ уже в ближайшем будущем сможет понимать наши чувства и эмоции и даже симулировать их и нашу словоохотливость, но я не думаю, что ИИ когда-нибудь сможет стать человеком.

Я не хочу возвращаться в золотой век печатных газет – они были и остаются непрактичными, коррумпированными монополистами, которым нельзя верить. Однако в большинстве случаев в газетах трудились журналисты и редакторы, чьей работой было знать больше, чем мы, видеть контекст ситуации и определять его важность. Их целью было просветить читателя в определенной теме, хотя их мнения и были субъективными.

Очевидно, что история о якобы найденном в Ираке оружии массового уничтожения, рассказанная американским телеканалом Fox News и многими другими СМИ, показала, что телеканалы и корреспонденты также могут вводить в заблуждение, причем не всегда непреднамеренно. Но, по крайней мере, у нас была возможность выяснить, кто стоял за этим выпуском, и спросить с них. Я думаю, что это невозможно в случае с новостными ИИ-ботами. Более того, я уверен, что мы даже и не подумаем в них усомниться.

Еще одним следствием перехода на автоматизированные новостные ленты будет то, что мы будем видеть контент, отличный от того, который видят окружающие люди: наши семьи, супруги, друзья и коллеги. Их новости будут на 100 % индивидуализированы и, вероятно, поэтому будут полностью отличаться от ваших новостей. Мы, правда, уже подошли к тому этапу, когда у наших устройств появилось достаточно вычислительной мощности, чтобы сделать уникальную новостную ленту для каждого пользователя, основываясь на его личных данных.

Провоцируем ли мы тем самым обострение проблемы «пузыря фильтров», когда алгоритмы создают для нас эхо-камеры, полные людей со схожими интересами, чтобы мы получали больше удовольствия от общения с ними? Как быть с предвзятостью подтверждения? Интересует ли эта проблема такие гигантские генерирующие контент алгоритмы, как Google и Facebook? Или наше беспокойство о фильтрации и искажении информации, а также о манипуляции сознанием – это последнее, что волнует новостных провайдеров?

«Этика – это, конечно, хорошо, но у нас сейчас нет на это времени и ресурсов» – вот что я слышу от большинства компаний, когда мы обсуждаем эти вопросы. Я думаю, они совершают большую ошибку, потому что общество с неограниченной мощностью технологического прогресса без этики обречено.

Давайте представим, что этот новостной бот или ИИ-медиаспециалист теперь курирует не только онлайн новости, но и телевидение, что тоже, без сомнения, случится. Вот возможный сценарий: с помощью технологий ОТТ новости, адаптированные под каждого конкретного зрителя, будут поступать прямо из интернета, минуя привычные службы трансляции и кабельные каналы. CNN или европейские каналы общественного телевещания заменят видеотрансляции в Twitter или Facebook, а приложения, боты и цифровые помощники уничтожат кабельное телевидение и стриминговые службы. Менее чем через десять лет телевидение и интернет превратятся в единое целое, что может полностью перевернуть наше восприятие медиа. И да, у ОТТ существуют и плюсы, поэтому не будем торопиться от них избавиться!

Если, как однажды сказал Кевин Келли, основатель и исполнительный редактор журнала Wired, «машины – для ответов, а люди – для вопросов»88, тогда куда же нас приведут машины в сфере контента, медиа и информации? Какие ответы они нам предоставят: широкий круг сверкающих подделок, основанных на анализе тех вопросов, которые у нас возникали или могли бы возникнуть, если бы нам предоставили возможность немного подумать?

Компьютеры бесполезны. Они могут только давать ответы.

– Пабло Пикассо89

Я считаю, что нас определяют такие уникальные человеческие черты, как способность задавать вопросы, представлять разные исходы событий, мыслить критически, читать между строк и видеть то, что еще только будет. И разве люди, стоящие за медиа и созданием контента, не должны стремиться к тому же?

Я боюсь наступления момента, когда все эти черты будут утеряны из-за машин, контролирующих, что и кого мы видим, на любых платформах на протяжении всего времени. Тогда мы уже будем на пути к тому, чтобы отказаться от нашего сознания и передать нашу человечность в их распоряжение. И прежде чем мы это осознаем, мы можем оказаться в программируемой реальности, принадлежащей владельцам серверов и программ.

Люди выступают в роли репродуктивных органов для технологий.

– Кевин Келли, «What Technology Wants»90

Что случится с нашей способностью принимать решения, если боты будут думать за нас и выступать от нашего лица? Если программы и умные помощники уже принимают за нас простые решения вроде выбора фильма или еды на вечер, куда тогда исчезнут сюрпризы, загадки, ошибки и интуитивные озарения? Можно ли будет запрограммировать этих умных цифровых помощников таким образом, чтобы они были по-человечески несовершенными, непоследовательными, по-своему особенными, но тем не менее могли достигать результатов? Хотели бы мы, чтобы они стали такими?

Будут ли боты голосовать за нас и станут ли представлять нас в демократических институтах, например на референдуме или даже в парламенте? Будут ли наши умные цифровые помощники собирать информацию и затем на основе анализа наших прошлых мнений, поведения и принятых решений советовать нам, за кого стоит проголосовать?

Останется ли свобода воли в прошлом, потому что в будущем все можно будет предсказать?

Свободной воли не будет ни в чем, созданном при помощи искусственного интеллекта.

– Клайд Де Суза
Захватят ли кротовьи норы мир?

Технологии продолжают заманивать нас в свои сети, и я боюсь, что они тем самым говорят нам: «Мы можем предоставить быстрый доступ к любой информации, применяя ИИ, базы данных и роботов. В трудоемких, скучных и медлительных „человеческих штучках“ уже нет нужды».

Сначала они у меня в руках, затем на моем лице, в ушах и, в конце концов, в моей голове. Детям уже не нужно учиться писать, потому что компьютеры смогут слушать, фиксировать и расшифровывать все, что мы им скажем. Нет необходимости разбираться со сложностями в реальных человеческих отношениях, если можно состоять в отношениях, в том числе сексуального характера, с цифровыми эквивалентами с помощью дополненной реальности, виртуальной реальности и роботов. Не нужно учиться играть на инструментах, потому что интерфейс «мозг – компьютер» позволит мне воспроизводить музыку, просто думая о ней. Зачем учить языки, если за меня все скажет мобильный переводчик? Зачем разговаривать с людьми, если они могут просто «сбросить» нам данные? Зачем проявлять эмоции, которые только мешают грамотной работе ИИ?

С помощью автоматизации мы сможем избавиться от старого способа выполнения рутинных человеческих задач и моментально получить те же результаты – так, по крайней мере, планируется. Мы можем пролистать сотни страниц в Twitter и посмотреть многочисленные видео на YouTube, и, казалось бы, стать экспертом в какой-либо области в ничтожные сроки. Мы можем выучить все, что угодно, ровно тогда, когда это понадобится, а не «на будущее» или «на всякий случай». Для этого нам понадобится всего лишь правильная информация и подходящая программа.

Мы предпочитаем плыть по течению в потоке данных, вместо того чтобы их запоминать. В каком-то смысле мы можем стать сверхлюдьми. Или нет?

Я называю это пространственно-временными туннелями по аналогии с космическими воображаемыми путями (на которые можно попасть с помощью варп-двигателя – для тех, кто смотрел «Звездный Путь»). Они символизируют быстрое достижение цели в обход всех человеческих промедлений с помощью технологий.

Но стоит помнить о том, что, слишком много путешествуя по таким туннелям, перестаешь быть человеком, потому что для этого нам требуется хотя бы частично уподобиться машинам. Как не устает напоминать нам лауреат Нобелевской премии, психолог Даниэль Канеман: «Для когнитивных способностей нужно тело, мы думаем телом, а не мозгом»92. Нам нужно понять и принять то, что человечность – это целостность, что познание связано со многими факторами, а не только с получаемыми по цифровым каналам данными, и по-настоящему стоящие решения приходят во время беседы, а не в результате клика мыши (хотя и полученные онлайн-идеи тоже могут быть полезными). Другими словами, если мы уберем процесс и оставим только результат, то это не будет тот же результат – программы нас обманут.

Взаимоотношения между людьми богаты и разнообразны и требуют усилий. И мы управляем ими с помощью технологий. Сообщения, электронная почта, посты – все это позволяет нам быть такими, какими мы хотим быть. Мы можем редактировать, и это значит, что мы можем удалять, то есть ретушировать лицо, голос, плоть, тело – не слишком сильно, не слишком мало, а в самый раз.

– Шерри Теркл, 93

Что случится с нашей человечностью, если мы избавимся от всех нудных человеческих процессов: разговоров, размышлений, эмоциональных проявлений? Станем ли мы полностью зависимы от этих пространственно-временных туннелей и варп-двигателей, несмотря на то что они всегда будут лишь симуляцией человеческого опыта?

Так как все мегасдвиги работают совместно (см. главу 3), комбинаторно и экспоненциально, нам предстоит столкнуться с тем, что переход на цифровой формат, автоматизация и виртуализация спровоцируют еще больший рост автоматизации. Если одно звено в цепи будет автоматизировано, то со всеми остальными придется сделать то же самое. Автоматизация первого звена приводит в действие автоматизацию второго, и автоматизация всего процесса провоцирует цепную реакцию у связанных процессов. Эту логику нельзя изменить, потому что система постарается обойти изменения.

Конечным результатом может стать то, что после автоматизации новостей и информации, покупок и торговли, финансов и медицинских услуг нам придется также автоматизировать себя, чтобы не нарушать работу системы.

Если мы позволим нашим инструментам (компьютеру, смартфону, цифровым помощникам или ИИ) стать целью, а не средствами и заставить нас передать им в руки нашу власть, тогда без нас уже скоро можно будет обойтись, ведь мы будем слабыми конкурентами машинам.

Самый весомый аргумент в пользу того, что ИИ понадобится тело, ученые обнаружат на стадии его обучения и развития – они поймут, что искусственный общий интеллект нельзя «вырастить» без тела.

– Джеймс Баррат. «Последнее изобретение человечества. Искусственный интеллект и конец эры Homo sapiens»94

Как же тогда провести границу между полезной автоматизацией и автоматизацией, которая зашла слишком далеко? Для начала, вот список того, что можно и нужно автоматизировать:

• бухгалтерия, заполнение форм, управление финансами;

• система безопасности в аэропортах;

•составление расписания, назначение встреч;

• прочие рутинные задачи, которые не требуют принятия решений.

Виды деятельности, которые, по моему мнению, не должны быть автоматизированы:

• новости и медиа;

•личные сообщения;

• лайки и подтверждения в социальных сетях;

• дружба (как автоматические подписки в Twitter);

• принятие на работу и увольнение персонала;

• демократические функции (например, подписывание онлайн-петиций вместо активной политической жизни);

• изменения человеческого генома;

• роды.

Напомню, что словарное определение слова «автоматизировать» – это в буквальном смысле «действовать от себя, действовать самостоятельно»95. Разумеется, существует множество задач, автоматизация которых пойдет всем только на пользу. Одни автоматизированные функции помогут большинству, другие – некоторым, а третьи в итоге всем только навредят. В «Машине времени» Герберт Уэллс представил будущее, где мир делят между собой одичавшие морлоки и бездейственные, но благородные элои96. Даже если нам удастся избежать участи морлоков, насколько самодостаточными мы будем себя чувствовать в качестве элоев – пассивных представителей вида с номинальной претензией на превосходство?

Назад: Глава 3. Мегасдвиги
Дальше: Глава 5. Интернет вещей