Петли обратной связи

Мой седьмой аргумент против неотвратимости технологической сингулярности основывается на вероятности того, что в дело вступят неожиданные ответные факторы, которые помешают наступлению сингулярности. Такие петли обратной связи могут быть экономическими или экологическими.

Подобный аргумент, основанный на экономических причинах, приводит Мартин Форд. Еще до наступления сингулярности компьютеры станут настолько разумными, что большинство профессий будет автоматизировано. Это приведет к безработице огромных масштабов. Следовательно, если система капитализма не подвергнется радикальным изменениям, безработица приведет к падению спроса. Падение спроса, в свою очередь, приведет к уничтожению экономики и отсутствию инвестиций в исследования, необходимые для того, чтобы технологическая сингулярность наступила.

Другим фактором может стать экология. Джаред Даймонд говорил, что общества могут иметь тенденцию к самоограничению или даже саморазрушению. На волне успеха они часто переоценивают возможности окружающей среды. В случае с ИИ рост благосостояния может истощить экологические ресурсы, необходимые для поддержания жизни людей. Технологическая сингулярность может не наступить просто потому, что чрезмерное потребление приведет к гибели общества.

Тормоза интеллекта

Восьмой аргумент я позаимствовал у Пола Аллена, сооснователя компании Microsoft. Он называет это «замедлением усложнений». Чем больше мы продвигаемся в изучении интеллекта, тем сложнее идет этот процесс. Нам требуется все больше специальных знаний, а также приходится разрабатывать все больше сложных научных теорий. Такое «замедление усложнений» тормозит прогресс и не дает случиться прорыву в области искусственного интеллекта.

Аллен пишет: «Невероятная сложность человеческого сознания служит контраргументом для тех, кто утверждает, что сингулярность уже близко. Невозможно создать программное обеспечение, способное привести нас к сингулярности, без глубокого понимания того, как работает наше мышление. В отличие от Курцвейла, который предрекает бесконечно ускоряющееся развитие, мы считаем, что путь к этому пониманию, наоборот, замедляется».

Он отмечает, что, просто увеличивая скорость работы программ, мы не создадим разумные машины. Нам необходим серьезный качественный прогресс в программном обеспечении. Такой прогресс потребует от нас прорыва в области изучения человеческого сознания. Здесь как раз в дело вступает замедление усложнений. Наше мышление так просто не раскусишь.

Осторожная экстраполяция

Девятый аргумент заключается в том, что нам стоит более критически относиться к выводам людей, экстраполирующих выводы из графиков (особенно с логарифмической шкалой). Журнал The Economist доказал это на забавном примере – простой одноразовой бритве. Возможно, вы не обращали внимания, но бритвенные лезвия переживают экспоненциальный рост. Доказательства можно увидеть на следующем графике (см. рис. 1).

Рис. 1

Самый простой и проверенный временем способ визуализации экспоненциального роста – построение графика с вертикальной логарифмической шкалой: 1, 2, 4, 8 и т. д. На такой сжатой шкале экспоненциальный рост будет выглядеть как обычная прямая линия.

Пунктирная линия на графике показывает экспоненциальный рост числа лезвий в одноразовой бритве. Так это могло выглядеть, если бы число лезвий удваивалось каждые шестьдесят восемь лет. На самом деле число лезвий растет быстрее. Одно лезвие было в 1903 году. Два – шестьдесят восемь лет спустя, в 1971. Число лезвий удвоилось до четырех всего тридцать два года спустя, в 2003-м. Если экстраполировать данные за первые сто лет существования одноразовых бритв, можно прийти к выводу, что в современных бритвах должно быть два лезвия, а не пять, как это есть на самом деле. Так что закон Мура работает на бритвах. Однако бритвенной сингулярности в ближайшее время все же ждать не стоит.

Можно возразить, что использование таких маленьких чисел – это обманный трюк. Не так сложно показать экспоненциальный рост в случае, когда безопасная бритва Gillette с одним лезвием появилась в 1903-м, а в 2006-м появилась бритва Gillette Fusion с пятью лезвиями. Поэтому я приведу такой пример, где цифры выглядят более впечатляюще.

Представьте себе количество водителей Uber по всей планете. Uber называет их «водителями-партнерами», но, как мы вскоре увидим, они являются кем угодно, но только не партнерами в этом деле. Для демонстрации экспоненциального роста я вновь построю график с логарифмической шкалой, которая сжимает вертикальную ось (см. рис. 2). Каждая отметка на вертикальной оси обозначает удвоение количества водителей Uber: 5000, 10 000, 20 000, 40 000, 80 000, 160 000 и т. д.

Рис. 2

Здесь пунктирная линия опять показывает экспоненциальный рост. Мы снова видим, что закон Мура работает и с количеством водителей Uber. Каждый год с момента основания компании число водителей увеличивается в четыре раза. В 2013-м их было 8500 человек. В 2014-м – 45 000. В 2015-м – 180 000. Однако это вовсе не значит, что произойдет сингулярность Uber и все люди на планете станут таксистами. Этот экспоненциальный рост неустойчив. Число водителей Uber рано или поздно перестанет расти. Произойдет насыщение рынка.

Простая «вирусная» модель объясняет, почему число водителей Uber может увеличиваться в четыре раза каждый год (как минимум поначалу). Представьте, что каждый водитель Uber раз в шесть месяцев советует своему приятелю начать работать с этой компанией. Скорее всего, Uber предлагает систему бонусов для тех, кто так поступает. Именно это и стимулирует такой экспоненциальный рост.

Предположим, что в начале первого года в Uber работало 10 000 водителей. Затем эти 10 000 человек приглашают еще 10 000 новых водителей в первые шесть месяцев. В сумме получается 20 000 водителей. Эти 20 000 приглашают еще 20 000 в следующие полгода. В результате к началу следующего года в Uber работают уже 40 000 человек. По такой логике к началу третьего года в Uber будет числиться 160 000 человек, а к началу четвертого – 640 000 (примерно так в реальности дело и обстояло). Как и любая схема-пирамида, такой экспоненциальный рост в конце концов прекратится. У водителей Uber закончатся друзья, которые там не работают. Спрос на водителей Uber будет удовлетворен полностью. Конкурентные фирмы станут предлагать более привлекательные условия сотрудничества, чем Uber (что не так уж сложно). По совокупности причин пирамида рухнет.

Похоже, многие подобные статистические выкладки за определенные периоды выглядят как экспоненциальный рост: количество лезвий в безопасной бритве, число водителей Uber, даже средняя цена высшего образования. Это, однако, не значит, что все эти показатели стремятся к сингулярности. Существует множество законов физики и экономики, которые не позволяют экспоненциальному росту бесконечно продолжаться.