8. Сознание, созданное сознаниями
Нисходящие компьютеры и восходящие умы
Бактерия способна ощущать происходящие в окружающем ее пространстве изменения, улавливать жизненно важные перемены, чувствовать себя как дома в знакомой среде в своем крошечном умвельте, находить необходимые для выживания и воспроизводства энергию и материалы. Растения и другие неподвижные организмы научились превращать клетки, из которых они состоят, в гигантские армии рабов с заранее заданными функциями – их кормят и защищают в обмен на услуги по мониторингу, снабжению, контролю роста и так далее. Им не нужно вкладывать силы и средства в нечто вроде периферической системы слежения, которая позволяет организму быть мобильным и не вляпываться то и дело в неприятности. Молниеносный контроль – ключевая способность мобильных организмов, поэтому им необходима концентрированная нервная система. (Внимание: растения обладают развитой системой получения и передачи информации, контролирующей изменения во внешней среде, однако эта система имеет распределенный характер, она не концентрируется вокруг некоего центра.) Мозг служит центром контроля, позволяющим быстро и адекватно реагировать на изменения и риски, другими словами, возможности, – жизни в движении.
Как мы уже отмечали, мозг предназначен естественным отбором на роль надежного оборудования, способного стабильно развиваться и извлекать семантическую информацию, необходимую для контроля. Насекомое обычно появляется на свет с полным набором зрелых навыков, все его «оборудование» заранее установлено в процессе богатой истории приключений его предков.
У мечущей икру рыбы нет времени на уроки плавания в юности, да и родители не крутятся вокруг нее, чтобы научить, как правильно это делать, поэтому ей необходим «встроенный» плавательный инстинкт. Новорожденная антилопа гну почти сразу после появления на свет должна быть готова к длительному забегу, у нее совсем небольшой запас возможностей для знакомства с миром и его чудесами; если она не может двигаться вместе со стадом, ее судьба – стать мертвым мясом. Другие млекопитающие и птицы могут позволить себе рождаться незрелыми, то есть атрициалами (по контрасту с прекоциалами); они созданы нуждающимися в кормлении и защите со стороны родителей в течение достаточно долгого детства, в изучении семантической информации, которая приходит к ним не из их генов, и не может быть усвоена путем проб и ошибок ввиду опасности окружающего мира. Даже если они являются чисто скиннеровыми существами, они получают возможность попробовать себя в искусственной среде с пониженным уровнем риска, выбранной их родителями (умело, но совершенно бессознательно). Тем или иным путем мозг учится разным навыкам, в том числе и метакомпетенциям, необходимым для приобретения и оттачивания будущих умений.
Прежде чем обратить внимание на те специальные приемы, которыми мозг располагает для извлечения семантической информации, следует понять, насколько разительно мозг отличается от компьютеров, которые наводнили наш мир. Многие контрольные функции, которые ранее выполняли люди, недавно были узурпированы компьютерами, взявшими на себя целый ряд задач, от подъемников и самолетов до очистки нефти. Теоретическая задумка Тьюринга, воплощенная Джоном фон Нейманом, компьютер с встроенной серией программ, за последние шесть десятков лет невероятно размножился и проник во все сферы деятельности на Земле и уже отправил тысячи, а может, и миллионы своих потомков в космос; это самые путешествующие мозги-детки за всю нашу историю. Блестящие идеализации Шеннона, Тьюринга, фон Неймана, Маккаллоха и Питтса предопределили взрывное развитие информационных технологий и понимания того, что раз природа создала такой органический компьютер, как наш мозг, то возможно и существование кремниевых компьютеров, которые станут вместилищем искусственного интеллекта. Он превзойдет человеческий мозг «в творческих возможностях всех видов» (отклик на возмущения Беверли по поводу высказанной Дарвином мысли, что «тотальное невежество может создавать чудеса»). Я полагаю, что Беверли уже давно опровергнут; тотальное хладнокровие эволюции, действующей путем естественного отбора, оказалось способным создавать не только ромашки и рыбок, но и людей, которые научились строить города и научные теории, сочинять стихи и делать самолеты и компьютеры, а они, в свою очередь, обладают потенциалом для создания искусственного интеллекта, обладающего более мощными творческими способностями, чем его создатели.
Тот искусственный интеллект, что уже создан с помощью чудесных машин Тьюринга и фон Неймана, GOFAI, вряд ли может стать прародителем необходимого программного обеспечения для столь масштабной задачи; а оборудование, на котором он установлен – машина фон Неймана и миллиарды ее потомков38, – не смогут потянуть роль соответствующей технической платформы. Тьюринг, как мы уже отмечали в главе 4, реализовывал идею интеллектуального созидания сверху вниз, и компьютер, им изобретенный, был идеальным инструментом для воплощения этой идеи. Создание системы управления лифтом было задачей по типу «сверху вниз»: программисты получили все «спецификации» заранее. Они все были способны использовать свой интеллектуальный потенциал для преодоления потенциальных трудностей, проанализировать все рабочие циклы лифта в своем воображении, увидеть позитивные и негативные следствия и возможности. Должен ли лифт останавливаться во время поездки вверх или вниз, чтобы забрать дополнительных пассажиров? Что делать, если на пульт управления поступают два одновременных вызова? При каких условиях он может поменять направление, не высадив всех пассажиров? Программисты сыграли роль попперовых существ, выдвигающих гипотезы в автономном режиме, и грегориевых существ, использующих набор мыслительных инструментов для повышения собственной производительности, и не было на тот момент инструмента более мощного, чем язык программирования, на котором они писали свои разработки. Величие языка программирования, будь это Java, или C++, или Python, заключается в том, что он гарантирует, что записанный на нем проект подхватит программа-компилятор, которая создаст на его основе командный файл, понятный машине и годный для исполнения39.
Программирование не является типичным процессом созидания сверху вниз, скорее типа «верх – половина пути – низ»; грязные детали «низа» задачи (машинное отделение, если вам так больше нравится) можно игнорировать, за исключением тех ситуаций, когда вы создаете новую программу-компилятор.
В эволюции путем естественного отбора ничего подобного нет, никаких упрощающих программ. Однако, как отметил Герберт Саймон много лет назад в своей блестящей небольшой книге «Науки искусственного» (1969), сложные эволюционирующие системы (все живые эволюционирующие системы к ним относятся) определяются собственной «иерархической» структурой: они состоят из частей, которые обладают определенной степенью собственной стабильности и независимости от более крупной системы, и, в свою очередь, состоят из похожих стабильных частей, состоящих из частей. Структуру, или процесс, можно запустить один раз, а потом использовать снова и снова, копируя и копируя устройство не только посредством рождения потомства, но и репликацией внутри самого организма во время его развития. Как заметил Ричард Докинз, ген подобен подпрограмме инструментов в компьютере.
В Маке работает целый набор инструментальных подпрограмм, хранящийся в ПЗУ (постоянное запоминающее устройство) или в системных файлах, загружаемых в момент включения. Это тысячи различных подпрограмм, каждая из которых выполняет отдельную операцию, которая повторяется снова и снова, по-разному в разных программах. Например, инструментальная подпрограмма Obscure-Cursor (Спрячь-Курсор) скрывает курсор на экране до следующего движения мышью. Программа не видна пользователю, но «ген» Obscure-Cursor активируется всякий раз, как вы начинаете печатать, и курсор исчезает (Dawkins, 2004, стр. 155–156).
Иерархическая систематизация присутствует повсюду в природе; она заложена в геноме и процессах развития, которые направляет геном. Подпрограмму формирования позвонков можно задействовать несколько раз, и вот мы уже почти сделали змею. У людей с шестью пальцами на руке или ноге (довольно частая мутация) – подпрограмма создания пальцев сработала лишний раз. Или взять формирование век: как только оно превратилось в отлаженную подпрограмму, его стало возможным использовать с небольшими вариациями во всем животном мире. Получается, эволюция путем естественного отбора действительно имеет нечто вроде исходного кода, состоящего из довольно простых инструкций, которые запускают каскад дальнейших инструкций, направленных на выполнение определенной «модульной» задачи. И все это записано на некоем «машинном языке» и выполняется при каждом вызове подпрограммы; эти задачи не нужно компилировать, нет читателя, который нуждался бы в мнемонических подпорках (ВЫЗОВЭТАЖ, ВЕС-В=ФУНТАХ… см. главу 4), чтобы понять их. Развивающийся организм как бы сам понимает команды, приходящие от генов так же, как машина фон Неймана как бы понимает инструкции на машинном языке – и (как бы) подчиняется им.
Соревнование и сотрудничество сознаний
Эволюция путем естественного отбора – это не научно-исследовательские разработки программистов, идущие по нисходящему пути сверху вниз, несмотря на различные изобретения и активное использование модулей. Это восходящий процесс, снизу вверх, та самая странная, диковинная инверсия Дарвина. Мозг совсем не похож на цифровой компьютер во многих отношениях. Наиболее часто упоминаются три отличая, которые, на мой взгляд, не самые важные.
1. Мозг работает как аналоговое устройство: компьютер – как цифровое. Это действительно так, хотя, возможно, хорошо бы еще понимать, что мы имеем в виду под «аналоговым»; если искать в нем двоичный код (используем 0 и 1), то да. Однако временами он действует как вполне цифровой. Любой конечный алфавит, состоящий из сигналов, эквивалентен некой цифровизации (A,a,a,A,A,a… все читается как А). ЭтО цифрОвОй cигнал, и, как мы увидим в следующей главе, подобный способ цифровизации стал важнейшим свойством языка.
2. Мозг работает параллельно (он выполняет одновременно несколько миллионов «компиляций», рассеяв их по всей мозговой ткани), компьютер – последовательно (он выполняет одну простую команду за другой, последовательный поток компиляций файл за файлом, компенсируя узость скоростью). Существуют и исключения: уже созданы специального назначения компьютеры с параллельной архитектурой, однако обычные компы, встроенные во все, от будильников до тостеров и автомобилей, обладают последовательной архитектурой «машины фон Неймана». Вы можете обладать сотней таких машин, спрятанных в ваших умных устройствах и выполняющих разную черную работу, использующую незначительную часть их мощности. (Гораздо выгоднее выстраивать компьютеры на чипах массового производства, чем создавать отдельное программное обеспечение.) Это правда, что архитектура мозга тотально параллельна, одна только система зрения базируется на миллионах каналов; однако многие из самых потрясающих возможностей мозга работают почти последовательно, например, так называемый поток сознания, в котором идеи, концепции, мысли плывут не в виде одиночных файлов, конечно, но как бы сквозь некое бутылочное горло а-ля фон Нейман.
Представьте себе виртуальную последовательную машину с параллельной архитектурой – именно так работает мозг, как я показал в «Объяснении сознания». Параллельные компьютеры теоретически могут быть созданы на базе последовательных машин, причем в любых размерах, но за счет снижения скорости операций. Это не случайно, что мозг имеет глубоко параллельную структуру, ведь ему нужна скорость для предотвращения угроз для жизни носителя. Однако базовый рабочий цикл «движущих частей» современных машин фон Неймана длится в миллиарды раз быстрее, чем время ответа нейрона, по этой части они далеко впереди. Не так давно исследователи, работающие с искусственным интеллектом, начали разрабатывать коннекционистские сети, которые отдаленно напоминают нейронные сети мозга и замечательно обучаются распознаванию изображений и иных образов. Раньше это умел только наш мозг, однако эти сети несомненно демонстрируют мощь параллельного процессинга (см. главу 15), хотя параллельные операции, совершаемые в этих сетях, почти полностью могут быть повторены на обычных компьютерах фон Неймана. Машины фон Неймана универсальны для создания архитектуры любого типа; современные скоростные вычислительные устройства, несмотря на наличие серьезного ограничения в виде бутылочного горла, способны настолько быстро прикинуться параллельной нейронной сетью, что уже вполне догнали мозг с его параллельной структурой, создавший их, а в чем-то и превзошли.
3. Мозг состоит из углеродных соединений (белки и т. п.); компьютеры – из кремниевых. Это было правдой довольно долго, но прогресс нанотехнологий привел к тому, что инженеры начинают создавать компьютеры из белков, и протеиновые сети внутри клеток делают вычисления (см. Bray, 2009, для наглядности). И никто пока не доказал, что химические процессы, лежащие в основе, предпочитают углерод.
А что насчет этого?
4. Мозг живой, а компьютер – нет.
Кто-нибудь сразу заметит, и я в том числе, что искусственное сердце не живое, но работает отлично. Заменитель коленного или плечевого сустава не обязательно должен быть живым. Вы можете полностью или частично заменить слуховой нерв неживым проводком, прикрепленным концами к живым тканям. Почему тогда не оставшуюся часть мозга? Существует ли некая особая часть мозга, которая должна быть живой, чтобы мозг работал? Стандартная рабочая гипотеза науки об искусственном интеллекте гласит, что любой живой орган представляет собой очень сложную часть основанного на углеродных соединениях устройства, которое может быть заменено, деталь за деталью, или целиком, неживой конструкцией с точно таким же предназначением, то есть выполнять те же самые функции, в те же временные сроки и на основе тех же входных и выходных данных. Если бы мозг был органом для выработки желчи или очистки крови, физика и химия рабочих частей были бы существенно важнее, и подходящие заменители для органов было бы найти практически невозможно, учитывая используемые природой материалы. Но мозг – это информационный процессор, и информация нейтральна по отношению к среде (предупреждение, признание в любви, обещание могут исходить «из чего угодно», при условии, что у получателя есть адекватный приемник).
Однако у живых сущностей есть одно свойство, которое имеет большое значение в нашем стремлении понять работу мозга, и оно недавно было определено Терренсом Диконом в его сложной, но важной книге «Несовершенная природа: как сознание возникло из материи» (Terrence Deacon, Incomplete Nature: How Mind Emerged from Matter, 2012). По мнению Дикона, те предположения, которые я описываю как блестящие попытки упрощения, направили исследования в ложные области Пространства созидания на целых полвека и более. Блестящим озарением Шеннона стало отделение концепции информации от термодинамики, понятия энергии (и материи, как уже было сказано выше); информация есть информация, независимо от того, используются ли протоны, электроны, сигнальные костры, намагниченные участки или микроскопические ямки на пластиковом диске. Для ее передачи или трансформации нужна энергия (и в этом нет магии), однако мы можем отделить обработку информации от любых способов ее передачи. Норберт Виннер создал отдельную область знаний и дал ей название «кибернетика». Он использовал греческий глагол «управлять» κυβερνα ´ω (киберна’о) от него происходит, кстати, корень govern – управление – во многих европейских языках, и отметил, что, в то время как «контролеру» (корабля, города, тела, нефтеперерабатывающего предприятия) требуется энергия для запуска соответствующего интерфейса (повернуть руль, отдать приказ, снизить температуру), энергия, требуемая для запуска самой контролирующей системы, действует ad lib – может быть какой угодно и весьма незначительной. Именно эта изоляция вычислительного процесса от динамики физического действия позволяет вам контролировать множество процессов с помощью вашего смартфона на аккумуляторе, а различные преобразователи и усилители помогают выполнять тяжелую работу. Слабенький разряд батареи вашего смартфона, который происходит, когда вы посылаете с него радиосигнал на тяжелую гаражную дверь, чтобы открыть ее, запускает мощный электрический мотор, потребляющий довольно много электроэнергии, чтобы выполнить работу. Дикон полагает, что именно это свойство позволило расцвести многочисленным высоким интеллектуальным технологиям, которыми мы уже активно пользуемся, но настаивает на том, что, отделяя информационные процессы от термодинамических, мы сводим наши теории к паразитирующим системам, артефактам, чья энергия, обслуживание, интерпретация и смысл существования зависят от пользователя. Живые существа, напротив, автономны, и состоят из живых сущностей (клеток), которые, в свою очередь, во многом автономны.
Исследователи искусственного интеллекта могут резонно возразить, что они отложили временно рассмотрения таких явлений, как энергопитание, репродукция, самовосстановление и бесконечное самосовершенствование, собираясь вначале поработать с упрощенным вариантом, чтобы как следует понять чисто информационные феномены обучения и самоуправления (почти автономия, но не полная). Никто и не мечтает об усложнении устройства компьютера-шахматиста, потребовав, чтобы он потреблял энергию из сандвичей и газировки и следил не только за временем, но и за истощением запасов энергии. Живые чемпионы по шахматам обязаны контролировать свои приступы голода и эмоциональные переживания из-за унижения, страха или скуки, но компьютерам это все по барабану, не правда ли? Ну да, конечно, но за это они платят высокую цену, считает Дикон: системщики, сбрасывая эти заботы со своих плеч, создают очень хрупкие (они не могут сами себя отремонтировать), уязвимые (привязанные намертво к предлагаемым обстоятельствам, предусмотренным создателями) компьютерные архитектуры, которые абсолютно зависят от разработчиков40.
Дикон настаивает, что это создает огромную разницу. Так ли это? Я думаю, что в некоторых ситуациях так. На пике программы GOFAI, еще в 1970-х годах, я заметил, что все разработки ИИ были принципиально бестелесны, напоминали отчетливо «прикованного к постели гения», который может общаться только через чтение и печатание сообщений. (Даже разработки по компьютерной визуализации сопровождались созданием единственного глаза-камеры или простой загрузкой последовательных картинок в систему, как сегодня вы загружаете фото в свой девайс, безглазого устройства видения.)
Мобильный робот, помещенный в некое тело, использующее органы «чувств» для ориентации в мире, столкнется с проблемами разной степени сложности. В 1978 году я написал короткий комментарий, озаглавленный «Почему не целая игуана?», в котором настаивал на отказе от имитации мелких человеческих умений (ответы на вопросы о бейсболе, игре в шахматы) в пользу компьютерного моделирования целого, способного защищаться и потреблять энергию животного-робота, пусть даже примитивного (в любом случае приходится упрощать: ИИ слишком сложен). Животное может быть воображаемым, и это облегчает задачу – трехколесная марсианская игуана, для начала.
Некоторые специалисты откликнулись на призыв. Например, Оуэн Холланд запустил проект SlugBot, целью которого было создание робота, способного поедать слизняков на полях, засеянных зерновыми, и переваривать их, производя энергию для питания собственных чипов. Этот проект дал толчок для создания многих изобретений. Энергопитание получилось, но как насчет самовосстановления и самообслуживания? Работа над этими и другими жизненными потребностями затянулась на десятки лет, были созданы «аниматы» и «наноботы», способные имитировать сильно упрощенные версии основных жизненных процессов, но никто так и не взял на вооружение идею «целой игуаны» в том смысле, в каком призывает Дикон. Эти искусственные существа по-прежнему использовали процессорные чипы, фон Неймановское оборудование, даже если имитировали параллельную архитектуру. Чрезвычайно важно, подчеркивает Дикон, что мозг состоит из клеток, которые сами являются маленькими живыми самостоятельными сущностями с собственными задачами, и пока их руководитель жив, они добиваются своих целей, таких как поиск работы и поиск союзников. Настойчивое желание Дикона создать мозг (или его заменитель) из живых нейронов может на первый взгляд казаться чем-то вроде романтики (и белковым шовинизмом, по сути) всего в паре шагов от витализма, но его выводы практичны и убедительны.
Мы можем прояснить точку зрения Дикона с помощью одного явления: поразительной пластичности мозга. Если одна из его областей нарушена, соседние участки часто могут (не всегда) разделить между собой обязанности поврежденной ткани быстро и бескорыстно. Если какой-то участок перегружен, то соседние мгновенно предоставляют свои клетки в помощь. Разрушенные или поврежденные нейроны, тем не менее, не заменяются клетками кожи, костей, или крови, или какими-то другими. Регенерация нервных клеток по-прежнему остается лишь мечтой биоинженеров, а не естественным будущим нервной системы, то есть пластичность, наблюдаемая экспериментально, обеспечивается нейронами, берущими на себя новые задачи или дополнительную работу. Существует ли в мозгу Главный Начальник, который пишет новые должностные инструкции и издает указания свыше подчиненным нейронам на производственный этаж? Специалист по информатике Эрик Баум в книге «Что есть мысль?» (Eric Baum «What Is Thought?», 2004) называет подобные способы управления сверху вниз «вертикалью Политбюро» и отмечает, что в мозгу не может действовать командный метод управления сверху вниз. Экономисты уже доказали, что централизованные плановые экономики не работают так же успешно, как рыночные, потому что любые централизованные (сверху вниз) архитектуры неэффективны по многим причинам, тем более такое строение не годится для мозга.
Робототехник Родни Брукс отметил как-то (в частной переписке), что аппаратное обеспечение существующих цифровых компьютеров критическим образом зависит от миллионов (или миллиардов) идентичных элементов, абсолютных клонов друг друга на почти на атомарном уровне, поэтому они всегда будут реагировать так, как положено: как роботы! Инженерам удалось разработать технологию печатания микроскопических компьютерных схем с миллионами идентичных элементов, каждый из которых строго хранит 0 или 1 до тех пор, пока (сверху) не будут приказано «сменить бит». Эти конечные рабочие части компьютера полностью лишены индивидуальности и вообще каких-либо особенностей. Нейроны же, напротив, все разные; они относятся к разным структурным типам – пирамидальным, корзинчатым, веретенообразным и разным другим; но и в границах одного типа нет двух одинаковых нейронов. Как же столь разнообразное сообщество умудряется хоть что-то делать? Не благодаря бюрократической иерархии, отнюдь, а благодаря формированию коалиций снизу вверх и большой конкуренции.
Нейроны, мулы и термиты
Нейроны – как и другие клетки, что составляют наше тело, – родственники и потомки свободно живущих, одноклеточных эукариотов, которые процветали сами по себе, опираясь на свои силы, в жестоком мире одноклеточных организмов. Франсуа Жакоб сказал как-то знаменитую фразу о том, что мечта каждой клетки – стать двумя клетками; но нейроны не могут иметь потомство. Как и у мулов, у них есть родители (ну да, мать, и бабушка, и так далее), но сами по себе они стерильны, поэтому их summum bonum – сохранять жизнь в де-дарвинизированной жизни. Они вынуждены трудиться, чтобы получать энергию, в которой нуждаются, и, если они недостаточно плотно заняты, они всегда готовы взять на себя подвернувшуюся случайную работу.
Различные версии этой идеи недавно завоевали разные области когнитивной науки, и меня они убедили сменить позицию, которую я долго отстаивал. Я хотел бы обосновать мое обращение. Я изменил свое мнение о том, как устоять перед искушением гомункулуса: ведь существует непреодолимое желание засунуть в мозг «маленького человечка», который был бы Начальником, Главным Управляющим, Получателем Удовольствий и Страдальцем от боли. В книге «Мозговые штурмы» (Brainstorms, 1978) я описал и обосновал классическую стратегию GOFAI, ставшую известной благодаря Ликану (1978), как «гомункулярный функционализм»: замену маленького человечка комитетом.
Программист, работающий с ИИ, решает заранее сформулированную задачу и тем самым придает компьютеру нечто антропоморфное: если он решит задачу, то сможет заявить, что научил компьютер понимать вопросы на английском. На первом самом высоком уровне решения проблемы компьютер разбивается на подсистемы, каждой из которых задаются собственные определенные задания; постепенно вырисовывается схема комплекса оценщиков, вычислителей, хранителей памяти, контролеров, наблюдателей и так далее. Гомункулусы жаждут мести… Каждый гомункулус, в свою очередь, подлежит анализу микрогомункулосов, тем более важному, чем меньшим умом они обладают. Когда же достигается уровень, на котором гомункулусы превращаются в простых вычислителей сумм и разностей, и интеллект им нужен, чтобы выбрать большее из двух чисел для управления, их роль может быть сведена к роли функционера, «которого можно заменить машиной» (Dennett 1978, стр. 80).
Я по-прежнему думаю, что это правильный путь, но я начинаю жалеть – и отвергать – употребление терминов, использованных мной в некоторых смысловых конструкциях: «комитет» и «машина». Корпоративная бюрократия, предполагаемая первым термином, с ее четкими правилами подчинения (образ, вдохновленный обилием строгих схем в классических теориях о когнитивистике) воплотила мечту о построенном сверху вниз ИИ, но подобное устройство предполагает совершенно небиологический характер эффективности. Странная инверсия Тьюринга по-прежнему выглядит неопровержимой: в конце нашего каскада разрушений мы получаем элементы, чьи задачи столь строги и ограниченны, что «их можно заменить машиной», Тьюринг именно так описывал человека-компьютера. Простейшие движущиеся части нейронов, протеины в роли моторов, соединительные микротрубки и прочее на самом деле выглядят лишенными мотивации автоматами, похожими на марширующие метлы в «Ученике Чародея», однако сами нейроны, внутри своих миллиардных сообществ, играют гораздо более самостоятельные и своеобразные роли, чем послушные клерки, каковыми я их воображал. Это явление влияет весьма существенным образом на вычислительную архитектуру мозга.
Текумсе Фитч (Tecumseh Fitch, 2008) ввел термин «наноинтенциональность» для описания активности, происходящей в нейронах, а Себастьян Сеунг в 2010 году выступил с ключевым докладом в Американском обществе нейробиологии – речь шла об «эгоистичных нейронах», а ранее, в 2003 году, он писал о «гедонистических синапсах». Чего может «хотеть» нейрон? Ему нужны энергия и строительные материалы для нормального существования – в точности как его одноклеточным предкам-эукариотам и более дальним родственникам, бактериям и археям. Нейроны – это своего рода роботы; они точно не имеют сознания в самом прямом смысле, ничего не помнят и представляют собой эукариотические клетки сродни дрожжам или грибам. Если считать отдельные нейроны сознательными, тогда почему бы не наделить этим свойством и ногу атлета. Однако нейроны, как дрожжи и грибы, весьма компетентны в вопросах борьбы за жизнь, однако не во внешней среде между пальцами ног, но в весьма конкурентной среде между вашими ушами, где победа достается тем клеткам, что умудряются взаимодействовать эффективнее других, посвящая себя наиболее важным задачам, в которых на более высоких уровнях просматриваются важнейшие цели и задачи самого человека.
Тьюринг, Шеннон и фон Нейман посвятили себя весьма трудоемкой и новой инженерной задаче, проекту создания разумных компьютеров, которые обладали бы высоким уровнем производительности и независимостью. На нижние уровни аппаратного обеспечения электрическая энергия поставляется в изобилии и равномерно; риск нехватки энергии исключен. На уровне программного обеспечения доброжелательные программисты предоставляют приоритет наиболее важным процессам, и, хотя некий механизм порой должен время от времени решать путем сравнений, какой процесс имеет приоритет, это все-таки упорядоченная очередь, а не борьба за жизнь. (Смутное понимание этого факта лежит в основе распространенного понимания того, что компьютер не способен «позаботиться» о чем-либо. Не потому, что он создан из неправильных материалов – чем кремний может быть «хуже», чем органические молекулы? – но потому, что его внутренняя экономика, по определению, не предусматривает ни рисков, ни возможности выбора, его деталям они не положены.)
Иерархическая нисходящая архитектура программного обеспечения, поддерживаемая операционной системой, изобилующая всякого рода регулировщиками и контролерами, великолепно отражает знаменитый тезис Маркса: «Каждому по потребностям, от каждого по способностям». Ни одной цепи или триггеру не нужно «беспокоиться» о том, где он возьмет электроэнергию, необходимую ему для выполнения его задач, ему не нужно ни с кем «соревноваться за место под солнцем». Нейрон же, наоборот, всегда «жаден до работы»; он запускает во все стороны ветви дендритов, стараясь соединиться с соседями, чтобы получить от них некую выгоду. Нейроны способны к самоорганизации в группы, готовые выполнять задачи по обработке информации, они жаждут получить новые задачи, чтобы решить их способом проб и ошибок. Это похоже на толпы безработных женщин, которые дежурили в свое время у ворот Ок-Риджа, чтобы получить работу, цель которой им не положено было понимать; однако разница все-таки есть, и существенная: у мозга нет генерала Лесли Гровса, и он вынужден сам создавать себя снизу вверх.
Самое время подвести итоги того, что все эти соображения значат для нас. Интеллектуальное нисходящее проектирование классического компьютера создало гиперкомпетентное, но глубоко неживое чудо. Не потому, что компьютеры созданы из каких-то не таких деталей, а потому, что детали, из которых они созданы, подчиняются неправильной иерархии: чему-то вроде бюрократии в плановой экономике. Она может быть «прекрасно смазанной машиной», но зависит от упорядоченности движущихся частей, подавляя любую самостоятельность и импровизацию на любом уровне. Важно подчеркнуть еще раз, что в принципе этот вывод не отрицает возможность существования мозга из кремния (или на основе теории Тьюринга материал вообще не важен); искусственные или виртуальные нейроны вполне могут быть созданы, но их работа будет очень затратной. Каждый индивидуальный нейрон должен быть воспроизведен со всеми своими особенностями, привычками, предпочтениями, слабостями. Чтобы представить себе, как это может выглядеть, вообразите межгалактических ученых, которые открыли нашу планету и изучают издалека «поведение» наших городов и поселков, скоростных шоссе и железных дорог, коммуникационных систем, как если бы они были некими организмами. Будучи поклонниками компьютерного моделирования, эти ученые решают создать модель Нью-Йорка во всех подробностях. Они решают назвать его «Ньюйоркабот». Но им возражают межгалактические скептики: «Валяйте, попробуйте. Но поймите, что вам придется смоделировать миллионы его жителей (вон тех мягоньких движущихся козявок), причем во всех подробностях, если вы хотите, чтобы ваша модель работала. Эти козявки все совершенно разные, вдобавок весьма любопытны и активны».
Нисходящие интеллектуальные разработки зависят от предвидения, которого полностью лишена эволюция. Любой дизайн, создаваемый в результате естественного отбора, всегда ретроспективен: «Это сработало в прошлый раз». Будет ли «это» работать в будущем, зависит от того, сохранятся ли закономерности, использованные в прошлом. Создание мотылька может основываться на солнечных и лунных циклах, являющихся единственными источниками света в природе, поэтому «летать под постоянным углом n к источнику света» было успешным достижением в устройстве мотылька, пока не появились горящие свечи и электрические лампочки. Именно поэтому чрезмерная зарегулированность в изменяющейся среде может стать ловушкой, привязывающей род к слишком большому количеству требований или ограниченной сфере обитания, которые могут стать токсичными в случае наступления изменений. Как сказано в главе 5, изменяющиеся условия отбора, особенно в силу своей непредсказуемости, благоприятствуют вариативным конструкциям, обладающим возможностями и механизмами изменения вслед за внешними условиями, пластичностью, или, говоря более бытовым языком, способностью к обучению. Система ИИ, построенная сверху вниз, может обладать изменяемыми параметрами и возможностями обучения, конечно, однако иерархическая структура контроля стремится ввести пластичность в строгие рамки, разработанные на основе «наихудшего возможного сценария» для вероятных событий.
Лишенная способностей к предвидению, обращенная в прошлое эволюция путем естественного отбора не занимается творчеством, но тем не менее ей удаются весьма остроумные проекты, она достаточно требовательна для того, чтобы создать систему разделения труда в мозгу и записать ее в генах, отточив за долгие миллиарды лет существования подвижной жизни. И, как мы уже видели, улучшения и вариации в генах способны сохранять внушительное количество параметров, обеспечивающих для многих поколений надежное закрепление инстинктивного поведения, такого, к примеру, как строительство гнезд. Закрепление всех деталей в генетической инструкции не представляется возможным: это потребовало бы намного большего объема битов Шенноновской информации, чем может быть физически записано в геноме, даже в таком огромном, состоящем из трех миллиардов нуклеотидов геноме, как наш. Это неоспоримый вывод эволюционной биологии, гласящий, что создание следующего поколения любого организма – отнюдь не тупое воспроизводство по заданной схеме или рецепту, записанному в генах. Это процесс созидания, опирающийся на работу локальных конструкторов, зависящих от активности (подслеповатых) локальных посредников, которые проводят более-менее случайные эксперименты, взаимодействуя с окружающей средой в процессе развития. Нейроны, в частности, ведут себя сродни скиннеровым существам, используют выпавший шанс, максимум возможностей, возникающих перед ними, а также собственную пластичность для улучшения результатов, за которые они вознаграждаются и получают подкрепление. Поддержку этим усилиям оказывают особые маркеры, закрепленные в генах и указывающие правильный путь. Мозг больше похож на колонию термитов, чем на созданные разумом корпорации или армии.
Как сознание обнаруживает собственные возможности?
До сих пор мы обсуждали, что все организмы, от бактерии до человека, существуют с набором возможностей, значимых «вещей» (в широком смысле), и их список представляет собой тот самый умвельт, который формируется посредством двух процессов: эволюции путем естественного отбора и индивидуального обучения тем или иным способом. Гибсон, как известно, упорно хранил молчание о том, как организм получает информацию, необходимую для обнаружения, идентификации, отслеживания потенциальных возможностей, и я долго откладывал этот вопрос.
Вот что мы видим в результате: наш организм блуждает в океане вероятностей, лишь малая часть которых может повлиять на его возможности. Будучи частью длинной цепи удачно размножавшихся поколений, он рождается с набором инструментов и способностей, готовый отфильтровать и распознать самые важные возможности, отделить семантическую информацию от посторонних шумов. Другими словами, у него уже есть некие ожидания и представления; он подготовлен к определенным условиям, и эта готовность хорошо служила его предкам, но в то же время он может и пересмотреть ее в любой момент. Можно сказать, что ожидания, с которыми он рождается, гарантируют, что соответствующие реакции уже заранее проработаны, и ответ последует мгновенно. Ему не нужно тратить драгоценное время, решая, что делать в ситуациях А, В и С. Это уже знакомые, решенные проблемы связи между входом и выходом, восприятием и действием. Ответами на стимуляцию сенсорной системы может быть определенное поведение: сосок предполагает сосание, конечности предполагают движение, болезненное столкновение порождает отход назад. Ответы также могут быть и полностью скрытыми, внутренними, перегруппирующими армии нейронов для новых задач.
Как происходит это обучение? Этот вопрос поможет возродить немного дискредитированное различие из времен зарождения когнитивных наук: теоретическая модель против производственной модели. Теоретическая модель (как грамматика в языке) показывает, как система должна работать – она задает нормы и спецификации, как в примере с лифтом в главе 4, – не рассматривая пути и способы выполнения этих требований, проблемы проектирования, предполагающие несколько разных решений, разные производственные модели. Производственная модель внедрения правил грамматики в оратора, произносящего речи на правильном английском, – задача для специалистов по нейролингвистике в отдаленном будущем. В самом начале развития когнитивных наук лингвисты-теоретики спорили о грамматиках, не вдаваясь в детали того, каким образом мозг «следует книжным правилам»; они хотели получить вначале эту книгу правил.
Тем временем психолингвисты уже провели хитроумные эксперименты, продемонстрировавшие наличие закономерностей в ошибках, которые дети делают в речи, нашли источники разных путаниц, ошибок в грамматических решениях и тому подобное; теоретики не смогли объяснить наличие выявленных закономерностей, но при этом легко нашли себе оправдание, сказав, что еще слишком рано пытаться объяснить странные особенности процесса обучения. Люди делают ошибки, у людей плохая память, люди торопятся делать выводы, однако все они обладают базовыми знаниями правил грамматики, как бы небрежно они ни поступали с ней в том или ином случае. Производственные модели – дело будущего.
Подобное разделение труда оказалось не самым плодотворным, оно породило пропасть в когнитивных науках, которая до сих пор остается источником напряжения и непонимания. Лингвисты были правы, настаивая, что до тех пор, пока у вас нет четкого представления о том, что мозг может и способен делать, чтобы понимать речь и говорить на языке, все ваши усилия по исторической реконструкции освоения мозгом функции речи обречены на провал, поскольку столкнутся с невозможностью сформулировать проблему. Описание задач исторической реконструкции подразумевает рассмотрение как определенных ограничений, так и сильных сторон используемых механизмов, и, игнорируя вопросы о мозговой деятельности и недооценивая важность полученных психолингвистами данных, лингвисты-теоретики гонялись за призраками.
Мы же, вооружившись этими знаниями, можем обратить свои взоры к новой идее, которая в настоящее время царит в когнитивистике и обещает дать ответ на вопрос, как же все-таки мозг получает и использует доступную семантическую информацию: байесовское иерархическое предсказательное кодирование (см. прекрасные отчеты Hinton, 2007; Clark, 2013; комментарии Clark, Hohwy, 2013). Основа идеи просто восхитительна. Преподобный Томас Байес (1701–1761) разработал метод расчета вероятностей, основанный на предшествующих ожиданиях. Проблема формулируется следующим образом: предположим, ваши ожидания, основанные на прошлом опыте (включая, как мы можем добавить, опыт ваших предков, переданный вам), такие-то и такие-то (их можно выразить через вероятность той или иной альтернативы), так какое влияние на ваши будущие ожидания могут оказывать получаемые вами новые данные? Какие корректировки было бы разумно сделать в этих ожиданиях? Байесовская статистика, таким образом, является нормативной дисциплиной, предположительно предписывающей правильный способ суждения о вероятностях41. Она может стать неплохим кандидатом на роль модели процесса обучения мозга: он работает как производящий ожидания орган, генерирующий новые возможности на лету.
Рассмотрим задачу идентификации рукописных символов (букв или цифр). Это не случайно, что такая задача часто используется на интернет-сайтах в качестве теста, позволяющего отличить человека от бота, запрограммированного для проникновения на сайты: восприятие рукописных текстов, как и восприятие речи, оказалось достаточно простой задачей для человека, однако чрезвычайно сложным испытанием для компьютера. Сегодня уже созданы программы, способные идентифицировать написанные от руки, – нацарапанные, на самом деле, – цифры, используя каскадные послойные байесовские предсказания о том, каким предыдущий слой видит последующий; когда предсказание оказывается неверным, они выдают сигнал ошибки, запускающей процесс байесовской ревизии, и процесс повторяется снова и снова, пока система не выполнит идентификацию (Hinton, 2007). Программа постоянно усовершенствуется и становится постепенно все точнее и точнее по мере практического применения в точности, как и наш мозг, – только он пока делает это лучше (см. главу 15).
Байесовское предсказательное кодирование иерархично, поэтому служит методом создания различных ожиданий: мы предполагаем, что крупный объект обнаружит обратную сторону, если мы обойдем вокруг него; мы ожидаем, что двери могут открываться, а в чашки можно налить жидкость. Эти и другие предвидения сыплются из сети, которая не ожидает пассивно информации, но постоянно составляет прогнозы и предположения о том, что она может получить на входе с нижнего уровня, базируясь на основе того, что уже было получено, и обрабатывает результаты ошибок в предсказаниях, используя их как один из важнейших ресурсов новой информации и способ обновления ожиданий для следующего раунда прогнозов.
В пользу применения байесовской теории к процессу обучения мозга не в последнюю очередь говорит тот факт, что она дает простое и естественное объяснение поразительным особенностям анатомии мозга: большая часть зрительных каналов настроена не на вход, а на выход, то есть исходящих сигналов по ним проходит больше, чем входящих. С этой точки зрения стратегия мозга состоит в постоянном построении «опережающих моделей», вероятных предвидений и использовании входящей информации для корректировки в случае необходимости. Когда организм функционирует в знакомой обстановке, на своей территории, постоянный процесс коррекции ослабляется до минимума, догадки мозга обретают высокую степень точности, и это дает ему все преимущества в повседневной деятельности.
Эти байесовские модели сформировались из моделей «анализа путем синтеза», существовавших на ранней стадии развития когнитивных наук и руководствовавшихся любопытством нисходящего типа («Это олень?», «Это лось?») для формирования проверочных гипотез для входящих данных. (Ваш мозг анализирует данные, делая разные предположения, синтезирует версию того, что вы ожидаете, и сравнивает ее с получаемой информацией.) В моей книге «Объясненное сознание» (Consciousness Explained, Dennett, 1991, стр. 10) я предложил теоретическую модель сновидений и галлюцинаций, основанную как раз на синтезе путем анализа, – я утверждал, что содержание этих видений определяется не чем иным, как «беспорядочным, или случайным, или произвольным круговоротом предположений и опровержений» (стр. 12). Этот вывод был активно поддержан и доработан сотрудниками Google Research (например, Mordvintsev, Olah, and Tyka, 2015). Сегодня я мог бы сказать проще: в байесовской сети молчание считается подтверждением. То есть более высокие уровни считают реальностью по умолчанию то, что не опровергается.
Еще одно достоинство байесовских моделей с нашей точки зрения состоит в том, что они показывают, что организм в результате естественного отбора оказался наделен высокопроизводительным статистическим устройством, причем для этого не понадобилось сажать гомункулуса-математика в специальном офисе в бюрократическом здании. Мы имеем дело, если можно так сказать, с производителями прогнозов, обладающими выдающимися способностями, которым вдобавок это и не нужно понимать. В более ранних моих статьях я предостерегал от заявлений, что в мозгу якобы присутствует «удивительная ткань», которая делает тяжелую работу, являющуюся необходимой, без объяснений, как этой волшебной ткани удается быть столь удивительной. Эти байесовские предсказатели не имеют в себе ничего волшебного: они работают как обыкновенные компьютеры, только природного происхождения. Детали нейронного устройства этой сети иерархического прогностического кодирования пока нам не полностью известны, но это дело времени42.
Все вышесказанное отлично годится для понимания поведения животных, и комментаторы прекрасного исследования, проведенного Кларком, рискуют сделать вывод, что сознание животных представляет собой байесовские прогнозные устройства, работающие на производстве вероятностей на основе происходящего вокруг и руководящие поведением. Но если это так, мозги животных представляют собой нечто вроде колоний термитов, а не разумных творцов. Они настолько умны, что мы можем допустить наличие у них самых разных поведенческих навыков, тем не менее одно очень важное свойство у них отсутствует, и это надо подчеркнуть: можно иметь причины, а можно действовать по причинам. Байесовским предсказателям не нужно формулировать или представлять себе причины, которые они отслеживают: как и сама эволюция, они «вслепую» отделяют зерна информации от плевел и действуют сообразно. Причины не занимают важного места в их онтологиях, они не играют роли в их картине мира. Но для нас, людей, они важны. Они служат нам инструментами и целями нашего разумного замысла. Откуда же они появились? Как они воцарились в наших головах? Они появились, и теперь я готов описать в деталях и с доказательствами, на базе событий культурной революции, весь процесс научно-исследовательских и проектно-конструкторских работ – длившийся менее миллиона лет, – в результате которого были созданы, распространены и установлены в тысячи человеческих мозгов (только человеческих) мыслительные инструменты, превратившие мозги в умы – не в «умы» и не «типа умы», а настоящие умы.
Одичалые нейроны?
Мы уже готовы в следующих главах оставить позади уровень нейронов, однако, прежде чем мы это сделаем, я не могу устоять, чтобы не порассуждать о том, как связаны между собой некоторые наши темы, и какую роль это играет в том, что H. Sapiens до сих пор является единственным видом на Земле, обладающим собственным разумом, окультуренным разумом, владеющим мыслительными инструментами. Нейроны, как я уже заявил, являются, по сути, одомашненными потомками очень древних эукариотов, которые долгое время жили как вполне самостоятельные микроорганизмы. Для того чтобы отделить подобных эукариотов от бактерий и архей, их часто называют протистами, или простейшими. Они прекрасно справились, судя по всему, иначе нас здесь не было бы, а сегодняшние простейшие, такие, как амебы и одноклеточные водоросли, вполне процветают и поныне благодаря многочисленным и разнообразным талантам. Когда простейшие начали формировать колонии и постепенно многоклеточные организмы, они принесли с собой свои геномы, инструкции, в которых прописаны были все их умения, достигнутые путем естественного отбора на протяжении миллиардов поколений. Многие из этих талантов не понадобились в новой жизни, в защищенном окружении, и были утрачены, или, скорее, были утрачены соответствующие записи в генах: они больше не оплачивали свое существование, то есть не приносили выгоды. Оказывается, проще и быстрее просто не активировать ген и выключить (часть) записанных в нем данных, чем совсем удалять его (со временем они пропадают сами, если долго не используются).
Эта тактика напоминает практику создания программного обеспечения – ср. «устаревший код». Когда программы пересматриваются, часто случается (я пишу эту книгу в виде файла Word 14.4.8, а генеалогия программы написана на упаковке – это восьмая переработанная версия четвертой редакции четырнадцатой Новой и Улучшенной версии), что программисты считают глупым отбрасывать результаты трудов предыдущих поколений коллег – кто знает, а вдруг это для чего-нибудь пригодится? – и практикуют блокировку устаревшего кода, вставляя новый код рядом и добавляя комментарий. Заключение унаследованного кода в скобки или звездочки, или еще какие-то знаки, знакомые компилятору, гарантирует, что он будет проигнорирован при компиляции и не станет выполняться компьютером43.
В геноме, конечно, нет исходных или скомпилированных кодов, но заглушка кода тоже возможна благодаря простой мутации регуляторного гена (гена, выполняющего контрольные функции «экспрессии генов» в белках).
Когда животные одомашнивались, их хозяева отбирали, бессознательно или специально, питомцев с желаемыми чертами. Заметные и многочисленные различия в потомстве (или в стаде), скорее всего, являются результатом относительно небольших генетических различий, различий в экспрессии одного и того же гена, который есть у всех животных стада. Специалистам по одомашниванию не нужно понимать, что происходит с генами скота, или стремиться как-то на них воздействовать; однако приглушение генов, остающихся неизменными в любом случае, – путь к желаемым результатам. А если потомки одомашненных животных сбегают назад в дикую природу, то все, что им нужно, чтобы восстановить прежний облик, – это «снять скобки» с заблокированного кода, чтобы он снова начал действовать. Этот вывод объясняет довольно быстрое восстановление прежних свойств у потомков животных, вернувшихся в дикую природу. В течение нескольких поколений дикие свиньи, к примеру, восстанавливают черты родственников-кабанов как во внешности, так и в поведении, а дикие лошади, называемые в США мустангами, отстоят всего на несколько сотен лет от одомашненных предков, но выглядят и действуют совершенно по-другому.
Ваш среднестатистический нейрон явно способен прожить свою долгую жизнь, выполняя одну и ту же работу и поддерживая определенную степень автономии, сохраняя пусть скромные, но способности и стремления к улучшению условий существования, когда подворачивается возможность. Мы легко можем представить себе, как некоторые условия, в которых оказываются нейроны, делают их более предприимчивыми, готовыми идти на риск пробовать новое, более агрессивными. В этих условиях отбор должен способствовать возобновлению активности умолкших генов, по крайней мере, в субпопуляциях нейронов в важных областях мозга. Это что-то типа «одичалых» нейронов: чуть менее стабильные, более самостоятельные, готовые к созданию новых связей с соседями.
Какие условия могут способствовать этой тенденции? Как насчет завоевателей? Новые виды сущностей нуждаются в местных силах поддержки, чтобы размножиться и бороться за гегемонию в мозгу. Что делают армии, чтобы установить контроль над захваченной территорией? Они открывают тюрьмы, выпускают заключенных, чтобы укомплектовать службы безопасности крепкими местными, знающими все пути. Эта старая идея может вполне служить одним из объяснений параллельного развития мозга.
Мы собираемся приступить к детальному изучению влияния мемов, этих информационных вирусов, которые управляют нашими привычками. Когда они распространяются в популяции, они нуждаются в нейронных ресурсах для распространения так же, как настоящие вирусы нуждаются в клеточном механизме копирования для создания новых копий самих себя. Вирусы, очевидно, не понимают причин своих нужд; такова их природа – внедряться в клетки. Они не живые существа, всего лишь макромолекулы. А мемы, как умственные вирусы, состоящие из информации, должны проникать в сознание и повторяться, повторяться, повторяться, они тоже не нуждаются в каком-либо понимании.
Этой странной идее о бездумных информационных сущностях, которые провоцируют коалиции восставших нейронов в свою поддержку, идее заражения мозга мемами, я посвятил несколько глав.
Я постараюсь сформулировать и объяснить эту идею44. Я подчеркиваю, что когда вторжение произошло, оно, несомненно, должно было бы включить коэволюционный процесс в человеческих мозгах, зараженных мемами, отобранных для хранения мемов, их защиты и помощи в размножении, точно так же, как фиговые деревья коэволюционировали вместе с паразитирующими на них осами, которые одновременно помогали опылять фиги.
Нейроны бывают разных форм и размеров, но нейрон фон Экономо, или веретенообразный нейрон, встречается только у животных с большим мозгом и развитой социальной жизнью: у людей и других больших обезьян, слонов и китообразных (китов и дельфинов). Многие другие виды, имеющие общих предков с «умными» видами, не обладают этим типом нейронов. Судя по всему, эти нейроны появились относительно недавно и независимо (конвергентная эволюция) и играют одну важную роль. Вероятно, они нужны для коммуникации внутри большого мозга, ведь, как правило, эти нейроны концентрируются в областях, вовлеченных в процессы самоконтроля, принятия решений, социального взаимодействия в самом широком смысле. Вероятно, что их наличие у столь разных социальных сообществ не случайно, и можно предположить, что они служат кандидатами на будущую эксплуатацию мемами-завоевателями. Но мы можем обнаружить и других кандидатов, как только поймем, как они выглядят.
Итак, мы поняли основы завоевания мозга мемами. Мозг – это компьютер, но он совершенно не похож на те компьютеры, которые мы используем сегодня. Функциональная архитектура мозга состоит из миллиардов уникальных нейронов и больше напоминает свободный рынок, чем иерархическое «политбюро», в котором все задачи распределяются сверху. Фундаментальная архитектура мозгов животных (включая человеческий), вероятно, составлена из байесовских сетей, весьма компетентных генераторов ожиданий, не должных понимать, что они делают. Понимание – наш тип понимания – стало возможным только после появления на сцене нового вида эволюционного размножения, культурной передачи информационных сущностей: мемов.