Войти в систему
Войти с помощью соц. сетей:
Решительно незаурядный молодой человек.
Ученый Вэнивар Буш о Клоде Шенноне
Всякий раз, когда вы осуществляете поиск в интернете, океаны и атмосфера становятся чуточку теплее. Энергии, необходимой для выполнения примерно 100 поисковых запросов в Google (а мне не составляет труда превзойти это число за рабочую неделю), хватило бы, чтобы нагреть чашку воды и заварить чай. По собственным данным Google, в 2018 году компания потребила чуть более 10 млн мегаватт-часов энергии, а это сравнимо с энергозатратами небольшого государства вроде Литвы. Центры обработки данных по всему миру используют около 1 % мирового электричества. На долю информационных и коммуникационных технологий приходится более 2 % мировых выбросов углекислого газа – примерно столько же, сколько на долю авиации. По приводимым в некоторых исследованиях оценкам, к 2030 году информационный сектор будет потреблять 20 % мирового электричества.
Энергия необходима для питания машин, обрабатывающих и пересылающих информацию, и эта энергия в итоге становится бесполезной теплотой, которая рассеивается в океанах и атмосфере планеты. Информационная эпоха, как и промышленная революция XIX века, в основном поддерживается водой и паром. Эти вещества толкают турбины, которые генерируют большую часть переносящего информацию электричества. Установленные на огромных серверных фермах
системы охлаждения, отводящие теплоту от обрабатывающих информацию машин, как правило, также функционируют за счет термодинамических свойств воды.
В силу этого в последние годы наблюдается всплеск интереса к связи информации с термодинамикой. Можно ли сказать, что она имеет исключительно практический характер и объясняется способом создания компьютеров и коммуникационных систем? Или же она на самом деле глубже? Если так, то каким образом столь призрачная вещь, как информация, которая включает в себя такие разнообразные понятия, как мысли, слова, музыка, изображения, фильмы и даже гены, может быть связанной с четко определенными физическими величинами, например энергией и энтропией? И всегда ли при обработке информации рассеивается теплота и увеличивается энтропия Вселенной?
Пионеры информационной эпохи не задавались такими вопросами. Подобно первым конструкторам паровых машин и холодильников, не понимавшим лежащую в основе функционирования этих аппаратов науку, создатели ранних вычислительных технологий плохо разбирались в фундаментальных принципах их работы.
В начале 1910-х годов “Американская телефонная и телеграфная компания”, или AT&T, переживала тяжелые времена. “Мамаша Белл”, как называли ее в народе, была основана тестем Александра Грэхема Белла в 1877 году, но к началу XX века уже не выдерживала конкуренции со множеством небольших предприятий, обеспечивающих местную телефонную связь в различных американских городах. Не желая сдавать позиции, руководство AT&T разработало план прокладки первой линии дальней телефонной связи, которая должна была соединить два побережья США.
С технологической точки зрения задача была грандиозной. Телефонный микрофон генерирует сложный сигнал – и не без нужды, ведь этот сигнал представляет собой электрическую копию множества разных звуков, из которых состоит речь. Наши голосовые связки создают колебания давления воздуха, которые микрофон пытается воссоздать в качестве колебаний электрического тока. Динамик преобразует последние обратно в колебания давления воздуха, то есть в звук. Трудностей здесь немало. Микрофон и динамик телефона искажают сигнал, как и соединительные кабели сети. Даже при использовании лучших проводов сила сигнала снижается по мере его движения по сети, и вскоре он растворяется в фоновом шуме, то есть в совокупности случайных электрических эффектов, которые осложняют движение сигнала по проводу. Здесь можно увидеть намек на связь информации с термодинамикой – в частности, с ее вторым началом. Хотя на заре XX века инженеры этого не понимали, процесс искажения сообщения, которое становится все более неразборчивым, сходен с процессом рассеяния тепла.
Чтобы решить задачу по прокладке линии дальней телефонной связи, AT&T наняла команду ученых, наставником которых был Роберт Милликен, ведущий американский физик, в 1923 году получивший Нобелевскую премию. Такая мудрая стратегия окупилась сполна, когда студенты Милликена усовершенствовали устройство, называемое электронной лампой. Это позволило телефонным мастерам спроектировать усилители сигнала, которые поддерживали приемлемо низкий уровень фонового шума. Теперь разговоры могли перемещаться на 5000 км по медным проводам, натянутым на линии из 130 тысяч деревянных столбов, идущей через всю Америку. 25 января 1915 года Александра Грэхема Белла попросили в рекламных целях повторить слова, которые он произнес 39 годами ранее в ходе первого в истории телефонного разговора со своим давним ассистентом Томасом Уотсоном. Тогда они находились в одном здании. Теперь Белл был в Нью-Йорке, а Уотсон – в Сан-Франциско. “Мистер Уотсон, идите сюда, вы мне нужны!” – сказал Белл.
“Доберусь через недельку!” – ответил Уотсон. В первой половине XX века электронные лампы стали краеугольным камнем телефонии и позволили наладить глобальную коммуникацию – как проводную, так и беспроводную – с использованием радиоволн.
Здесь можно провести аналогию с начальным периодом использования пара. Как мы помним, машины тогда были неэффективными и теряли значительно больше 90 % производимой теплоты. Не зная, как их усовершенствовать, люди просто сжигали больше угля. Применение электронных ламп подчинялось подобной логике, поскольку они не столько снижали уровень шума, сколько усиливали сигнал, чтобы звук не терялся. В обоих случаях инженеры накачивали в систему дополнительное количество энергии, чтобы компенсировать потерю основной ее части.
Тем не менее электронные лампы произвели революцию в сфере коммуникаций. Их изобретение также убедило руководство AT&T в целесообразности финансирования постоянного исследовательского института. Основанный в 1925 году, он имел годовой бюджет в размере 12 млн долларов (150 млн долларов в пересчете на сегодняшние деньги). В таком масштабе исследования и разработки прежде не проводила ни одна компания. В огромном 13-этажном здании из желтого кирпича на Уэст-стрит в Нижнем Манхэттене две тысячи технических экспертов занимались разработкой продуктов, а еще триста – теоретическими и прикладными исследованиями. Перед специалистами в столь разных областях, как фундаментальная физика, химия, наука о материалах, метеорология и даже психология, намеренно не ставили конкретных целей. Считалось, что проводимые междисциплинарной командой фундаментальные исследования станут основой для научных и технологических прорывов.
Ожидания оправдались с лихвой. За несколько лет инженеры лаборатории достигли больших успехов в области факсимильной передачи, телевещания и криптографии.
Среди множества блестящих и эксцентричных ученых, работавших в этих лабораториях, выделялся необычный молодой человек по имени Клод Элвуд Шеннон, который любил решать головоломки, возиться с электрическим оборудованием и жонглировать. Он понимал устройство мира лучше многих. Его идеи позволили нам построить информационные сети, которые стали характерной чертой текущей эпохи, и впервые дали возможность точно определить, что такое информация.
Клод Шеннон родился 30 апреля 1916 года в городе Гэйлорд, расположенном посреди плато, занимающего большую часть северной половины американского штата Мичиган. Город с населением около 3000 человек был, как позже отмечал Шеннон, “весьма небольшим”, а потому “достаточно было пройти пару кварталов, чтобы оказаться за городом”. Его жители в основном работали на лесозаготовках и на картофельных полях. Отец Клода, Клод-старший, в прошлом коммивояжер, приехал из Нью-Джерси и, казалось, участвовал во всех сферах жизни города. Он состоял в методистской церкви, но также был масоном и судьей по делам о наследстве. Кроме того, он управлял собственной фирмой, которая занималась продажей мебели и организацией похорон. Мать Шеннона, Мэйбл, отличалась острым умом и упорством. Несмотря на проведенное в бедности детство, она окончила колледж в те годы, когда женщинам было непросто получить образование, а вскоре после рождения детей стала директором Гэйлордской школы. Хотя Мэйбл высоко ценили на этом посту, ее уволили в разгар Великой депрессии в 1932 году. Школьный совет решил, что “несправедливо нанимать на работу замужних женщин, мужья которых могут обеспечивать семью”.
Первой способности к математике продемонстрировала старшая сестра Клода-младшего Кэтрин, которая показывала в школе такие прекрасные результаты, что учителя направили девочку на путь, в конце концов приведший к получению профессорской должности. Именно Кэтрин заразила братишку любовью к математике. Кроме того, Клод собирал радио и кораблики с дистанционным управлением, чинил соседям электроприборы и даже проложил частную телеграфную линию, чтобы по колючей проволоке передавать сигналы другу, который жил в километре от него. К окончанию школы Шеннон неплохо разбирался в практических аспектах телекоммуникаций. Он сам разобрался, в чем заключаются преимущества и недостатки кодовой системы на основе азбуки Морзе, такой как телеграф, по сравнению с аналоговой телефонией.
В 1936 году, окончив Мичиганский университет, где он изучал инженерию и математику, Шеннон поступил в магистратуру Массачусетского технологического института (MIT). Ему едва исполнилось двадцать, он был стеснительным и тощим – от силы 63 кг при росте 178 см, – а его смущенный смех, как говорили, походил на кашель. Он без труда справлялся с криптографическими задачами, над которыми ломали голову его коллеги, но решения простых арифметических примеров ему приходилось прописывать от начала до конца. В коридорах MIT сложился консенсус: Клод Шеннон – особенный.
Он был настолько особенным, что, когда он записался на курс управления самолетом, инструктор, который также преподавал в MIT, не захотел допустить его к полетам, считая, что не стоит рисковать потерей столь удивительного ума. Но президент МГГ отменил его решение, и Шеннон все же получил лицензию пилота. Однако более важную роль в его карьере сыграло то, что декан инженерного факультета MIT Вэнивар Буш, один из самых влиятельных ученых в Америке, лично занялся развитием талантов Шеннона. “Решительно незаурядный молодой человек, – написал Буш коллеге. – Он очень застенчив и нелюдим, чрезвычайно скромен, и ничего не стоит выбить его из колеи”.
Первой задачей, которую Буш поставил перед Шенноном в MIT, стала работа на экспериментальном аналоговом компьютере инженерного факультета и совершенствование системы. Почти забытые сегодня, аналоговые компьютеры считались перспективным изобретением в первой половине XX века. Машина MIT была настолько велика, что занимала целую комнату. Она работала, посылая непрестанно изменяющийся электрический ток по схемам, изготовленным на основе электронных ламп, которые прекрасно подходили для вычислений, связанной с областью математики, называемой математическим анализом. Шеннон влюбился в эту машину и научился программировать ее, поворачивая барабаны, рычаги, шестерни и диски.
Однажды вечером Шеннон стоял в задумчивости в разгар вечеринки, как вдруг в лицо ему прилетела горсть попкорна. Подняв голову, он увидел девушку, которая спросила, почему он не веселится вместе со всеми. Он объяснил, что, стоя там, у двери в свою комнату, он слышит любимую музыку, которая играет на граммофоне. Девушка спросила: “Любишь Бикса Байдербека?” Шеннон ответил: “Он мой любимый исполнитель”.
Закрутился роман. Девушка, Норма Левор, которой было всего девятнадцать, училась в соседнем колледже Рэдклифф. Она воспитывалась в семье, которая была прямой противоположностью семьи Шеннона: дочь наследницы состояния, сколоченного на производстве булавочных подушечек, и импортера изысканных швейцарских тканей, она выросла в пентхаусе неподалеку от Центрального парка Нью-Йорка. Склонная к бунтарству, Левор летом 1939 года сбежала в Париж и вернулась домой только потому, что родители переживали за ее безопасность накануне грядущей войны. Она также активно участвовала в жизни левого политического крыла Нью-Йорка. Но тем вечером осенью 1939 года, как Левор вспоминала впоследствии, Шеннон понравился ей своим “сходством с Иисусом”. Эта необычная пара, однако, не была религиозна. Когда Левор сказала Шеннону, что она атеистка, он ответил: “Разве можно быть кем-то еще?”
Роман развивался быстро. По словам Левор, однажды вечером вскоре после знакомства Шеннон, воспользовавшись своим ключом, привел ее в комнату, где стоял аналоговый компьютер MIT, и там, среди шкафов с электрическими реле и электронными лампами, они занялись любовью. Левор нравилось, что Шеннон любит стихи и обладает достойной художника восприимчивостью, несмотря на свою принадлежность к стану ученых, и эта особенность его личности оказала влияние на его последующую работу. “Он такой милый, такой веселый, с ним так приятно быть вместе”, – таким Левор запомнила Шеннона в те годы. Он даже прокатил ее на самолете, воспользовавшись недавно полученной лицензией, и “испугал до жути”. Через несколько месяцев, в январе 1940 года, они поженились и решили провести медовый месяц в Нью-Гэмпшире, где радость им подпортил хозяин гостиницы, который оказался антисемитом и не позволил им снять номер, потому что Левор была еврейкой.
Позже в тот же год супруги переехали в Принстон, где Шеннон получил стипендию в Институте перспективных исследований. Там супруги вращались в кругу лучших в мире математиков и физиков, куда входили Герман Вейль, Джон фон Нейман и Эйнштейн, который поселился в Принстоне, после того как ему пришлось уехать из Германии в 1933 году. Однако в жизни Шеннонов наступила черная полоса. Их роман, расцветший так быстро, столь же быстро и сошел на нет. Левор казалось, что Шеннон изменился. Он находил принстонскую атмосферу слишком душной и отталкивающей, и его природная жизнерадостность пропала. “Я пыталась отвести его к психоаналитику, но он сопротивлялся, – вспоминала впоследствии Левор. – Он становился все более угрюмым. Я поняла, что если он не сумеет справиться с этим, то я не смогу остаться с ним”. Левор – единственная, кто писал и говорил об этой стороне характера Шеннона, которого обычно называют игривым и чудаковатым, но все-таки не стоит забывать, что из близких знакомых Шеннона она одна отличалась чуткостью, достойной писателя.
На брак давили и другие вещи. Левор не хотела мириться со своим положением жены ученого и мечтала о карьере сценаристки. Они с Шенноном развелись всего через год после свадьбы, и Левор переехала в Лос-Анджелес. Там она начала писать сценарии и снова вышла замуж – на этот раз за симпатизирующего левым писателя, который разделял ее политические взгляды. Супруги вступили в Коммунистическую партию и следующие тридцать лет жили в изгнании в Европе, попав в американский черный список.
Клод Шеннон, опечаленный уходом Левор, совершил гораздо более короткое путешествие из Принстона обратно в Нью-Йорк. Там он тоже нашел дело своей жизни. Летом 1941 года он устроился на работу математиком в Лаборатории Белла.
Седьмого декабря того же года японская авиация нанесла бомбовый удар по Перл-Харбору. Ученые Лабораторий Белла стали работать на нужды обороны, и Шеннона назначили на совершенно секретный проект по созданию системы шифрования радиотелефонных звонков SIGSALY Цель состояла в том, чтобы обеспечить функционирование защищенного трансатлантического канала коммуникаций для общения высших эшелонов союзных войск. Шеннону предстояло проанализировать применявшийся системой метод шифрования и убедиться в его надежности.
Первый звонок по SIGSALY между Лондоном и Вашингтоном состоялся 15 июля 1943 года. Система оказалась чрезвычайно удачной. В ходе войны SIGSALY обслужила около трех тысяч высокоуровневых телефонных переговоров, включая некоторые переговоры Рузвельта и Черчилля. Хотя немецкие радисты перехватывали сообщения в зашифрованной форме, у них не получалось расшифровать ни единого слова. После войны следователи союзных государств обнаружили служебное письмо немецкого дешифровального управления, в котором оценивалась возможность взлома шифра SIGSALY. В нем говорилось: “Пока успехов не наблюдается”.
Работа с SIGSALY позволила Шеннону получить непосредственный опыт обращения с новейшей коммуникационной технологией. Он воспринял технологию, как Карно воспринял паровую машину, и разглядел в ней не только конструктивные сложности, но и фундаментальные идеи. “Что такое сообщение? – задумался он. – Насколько длинным оно должно быть для передачи смысла? Существует ли однозначный математический способ оценить размер единицы информации?” Днем Шеннон трудился в Лабораториях Белла, а вечером возвращался в свою квартиру в Гринвич-Виллидж и допоздна занимался собственными расчетами.
Но работа с SIGSALY дала ему не только это. В конце 1942-го и начале 1943 года Шеннон почти ежедневно встречался с единственным в мире человеком, который мог тягаться с ним в сфере криптографии, коммуникаций и вычислений и который в интеллектуальном отношении казался родственной ему душой. Это был великий британский математик и дешифровщик Алан Тьюринг.
К концу 1942 года Алан Тьюринг уже сыграл важнейшую роль при взломе британцами кода шифровальной системы “Энигма”, которую немцы использовали для защиты своих военных коммуникаций, и тем самым заслужил репутацию ведущего британского криптографа. Когда руководство американской разведки сообщило британцам о SIGSALY, те отправили Тьюринга в Лаборатории Белла, чтобы оценить систему.
Шеннон и Тьюринг не работали над SIGSALY вместе – правительства их стран были одержимы секретностью, а потому единственной темой, которой ученые не могли касаться в своих разговорах, была дешифровка сообщений. Тем не менее между Шенноном и Тьюрингом быстро завязалась крепкая дружба. Зимой 1942-43 годов они почти каждый день встречались за чаем в кафетерии Лабораторий Белла. “У нас с Тьюрингом было невероятно много общего”, – вспоминал впоследствии Шеннон с характерной сдержанностью. Он пояснял: “У нас были мечты. Мы с Тьюрингом обсуждали возможность создания функциональной модели человеческого мозга. Можно ли сконструировать компьютер, равный человеческому мозгу или даже сильно превосходящий его?” Они также обсуждали принципы, лежащие в основе всех форм коммуникации. “Я несколько раз излагал свои представления о теории информации, – рассказывал Шеннон, – и все это было ему интересно”.
Когда война закончилась, интеллект Шеннона получил свободу. Освободилось и его сердце, поскольку он начал встречаться с Бетти Мур, которая впоследствии стала его второй женой. Талантливый математик, Мур работала вычислителем и проводила математические расчеты для инженеров Лабораторий Белла. Они с Шенноном любили джаз и обожали возиться с электроникой. Вскоре Мур стала резонатором для идей Шеннона и начала поддерживать его чудачества, в том числе жонглирование и катание по коридорам лабораторий на моноцикле. Руководство, в свою очередь, не запрещало Шеннону веселиться, не ставило ему конкретных задач и поощряло его в стремлении быть собой. “Мне никогда не говорили, над чем работать”, – вспоминал он.
Такая стратегия имела огромный успех. Среда Лабораторий Белла позволила удивительному разуму Шеннона совместить знания, полученные в разных ситуациях – при устройстве телеграфной линии из колючей проволоки, при работе с SIGSALY, при беседах с Аланом Тьюрингом, – и сделать одно из величайших научных открытий современности. В 1948 году он изложил свои соображения в статье “Математическая теория связи”, опубликованной в техническом журнале Лабораторий Белла.
Статья Шеннона не достигала и тридцати страниц, но позволила людям впервые в истории измерить информацию совершенно объективным и четко определенным образом. Что это значит? Фотография, роман, картина – примеры информации. Шеннон предоставил нам способ числового сравнения их относительных размеров. Важность этой идеи сложно переоценить. Это значит, что мы, например, можем представить в количественном выражении все телефонные звонки в мире и точно определить, какую сеть необходимо построить для их передачи. Но плюсы не ограничиваются практической стороной дела. Шеннон нашел объективное определение информации, подобно тому как Уильям Томсон в Шотландии в 1850-х годах сумел дать определение температуре, разработав абсолютную температурную шкалу.
В статье Шеннона в первую очередь удивляет подход автора, который перекликается с подходом пионеров термодинамики XIX века. Подобно Джеймсу Клерку Максвеллу, Людвигу Больцману и Джозайе Уилларду Гиббсу, Шеннон отталкивался от принципов статистики. Он показал, что те же законы вероятности, которые объясняют поведение теплового потока, объясняют и поведение потока информации.
Задача связи, начинает Шеннон, заключается в “восстановлении (точном или приближенном) в данной точке сигнала, отправленного в другой”. Но затем он делает неожиданный шаг и заявляет, что для количественного измерения информации необходимо не принимать в расчет ее смысл. “Эти семантические аспекты связи не имеют отношения к инженерной задаче”, – отмечает Шеннон. Сначала такой подход кажется холодным и обреченным на провал, однако на самом деле оказывается освобождающим. Он делает теорию Шеннона универсальной: отделив смысл от сообщения, он нашел способ измерить размер всех возможных сообщений. В сфере теплоты весьма удобна температурная шкала Томсона, которая не зависит от того, температура какого вещества измеряется. Так, мы можем достоверно заявить, что температура бруска железа, стакана воды и кочана капусты составляет 300 кельвинов. Шеннон аналогичным образом показывает нам, как можно оценить информационный размер фрагмента текста, картины и генома.
Далее Шеннон делает еще одно важное допущение и говорит, что вся информация зашифрована. Единственное различие между двумя людьми, использующими систему вроде SIGSALY, и двумя людьми, говорящими на обычном английском языке, заключается в том, что в первом случае лишь собеседники знают, как именно шифруется сообщение, а во втором сообщение шифруется английскими звуками, смысл которых известен всем, кто владеет английским языком. Это может показаться очевидным – я просто говорю, что, прежде чем понимать язык, необходимо его освоить, – но это важно для рассуждений Шеннона, которые основаны на том, что коммуникация между людьми возможна лишь после определения принципа шифрования сообщений.
И здесь Шеннон предложил блестящую идею. Он заявил, что любое сообщение можно передать в качестве ответов “да” или “нет” на последовательность вопросов, сформулированных соответствующим образом. Исключений не существует. Любую единицу информации можно передать в расширенной версии игры в “Двадцать вопросов”, в которой первый игрок загадывает известного человека, а второй должен угадать, кого загадали, задав первому двадцать вопросов, предполагающих ответ “да” или “нет”.
Шеннон показал, что если увеличить лимит вопросов и позволить игроку спрашивать и дальше, то игрок всегда сумеет найти ответ.
Чтобы понять, как это работает, представьте, что Боб хочет передать просьбу о помощи Алисе, используя вопросы с ответами “да” или “нет”. (Специалисты по теории информации часто используют имена Алиса и Боб для обозначения отправителей и получателей информации.) Чтобы добиться реалистичности, скажем, что Боб может вступать в контакт с Алисой лишь одним способом – включая и выключая фонарик.
Допустим, Алиса и Боб умеют читать по-английски и одинаково представляют себе стандартную алфавитную последовательность от a до z. Перед каждым из них лежит такой список: abcdefghijklmnopqrstuvwxyz.
Алиса и Боб принимают следующие правила: в определенное время, скажем в 13:00, Боб либо включает фонарик, либо оставляет его выключенным. Ровно секунду спустя он делает то же самое. Он продолжает передачу с секундными интервалами, пока не завершит сообщение. Алиса записывает то, что видит в каждый секундный интервал. Если она видит вспышку, то ставит единицу (1), если не видит – ноль (0).
Кроме того, Алиса и Боб договариваются, что каждые 1 и о, отправляемые Бобом, служат ответом на один и тот же вопрос, предполагающий ответ “да” или “нет”: “Находится ли передаваемая тобою буква в левой половине алфавитного списка?”
Боб и Алиса принимают 1 за ответ “да”, а 0 – за ответ “нет”. Если Алиса видит 1, то отбрасывает правую половину списка. Если она видит 0, то отбрасывает левую. Увидев вторую 1 или 0, она снова делит буквенный список пополам. Она продолжает “уполовинивание списка”, пока у нее не останется лишь одна буква – та самая, которую хотел передать ей Боб.
Таким образом, чтобы передать слово help (“помоги”), Боб начинает с 1.
Алиса отбрасывает правую половину алфавита, и у нее остается последовательность abcdefghijklm.
Боб передает 0.
Теперь Алиса отбрасывает левую половину буквенной последовательности abcdefghijklm, и у нее остается ghijklm.
(По договоренности, если в списке нечетное количество букв, то делить его всегда следует таким образом, чтобы левая половина оказывалась на одну букву короче правой.)
Боб передает 1.
Алиса отбрасывает правую половину ghijklm, и у нее остается ghi.
Боб передает 0.
Алиса отбрасывает леву 10 половину ghi, и у нее остается hi. Боб передает 1.
Алиса отбрасывает правую половину Аг, и у нее остается h.
Алиса успешно получает первую букву сообщения Боба, А, которая зашифрована последовательностью 10101. Затем Алиса возвращается к полному алфавиту и дешифрует вторую букву сообщения.
По этому методу букве е соответствует последовательность 11010, букве I — 10001, а буквер – oiioo. Слово help шифруется таким образом: 10101, 11010, 10001, 01100.
Алиса и Боб зашифровали слово help ответами “да” или “нет” на двадцать вопросов, переданных с помощью световых сигналов. В такой системе любую букву английского алфавита можно передать в форме ответа “да” или “нет” на пять вопросов. Ответ 1 или 0 на каждый подобный вопрос Шеннон назвал “битом” информации. Следовательно, в нашем коде информационный размер каждой буквы английского алфавита составляет пять битов.
Возможно, читателям известно, что словом “бит” также обозначается одна цифра в двоичном числе. Таким образом, число 2 можно представить как “двухбитовое число” 10, число 3 – как 11, число 4 – как 100 и так далее. Биты Шеннона отличаются. Это просто ответы “да” или “нет” на вопросы, и их задача заключается в том, чтобы представить информацию в количественном выражении путем подсчета числа вопросов, необходимых для передачи сообщения. Если вернуться к тому, как Боб передал слово help Алисе, окажется, что важнее всего нам количество потребовавшихся битов. Конкретное значение каждого из битов было лишь артефактом условий, установленных Алисой и Бобом.
Можно ли считать такое преобразование сообщения в последовательность битов “да” или “нет” объективной мерой его размера? Шеннон хотел найти такой способ измерять информацию, который стал бы универсальным и независимым от метода шифрования. Для этого он отметил, что размер единицы информации должен соответствовать наименьшему числу битов, необходимых для шифрования сообщения. Можно ли использовать менее двадцати битов, чтобы передать сообщение helpl Ответ да, если принять во внимание тот факт, что одни буквы в любом написанном на английском языке тексте встречаются гораздо чаще других. В приведенном примере Алиса и Боб считали вероятность появления каждой из букв одинаковой, но в настоящем англоязычном тексте дело обстоит иначе. Шеннон продемонстрировал, что необходимо учитывать эту статистическую закономерность.
Во всех англоязычных текстах чаще всего встречается буква е, на которую приходится 12,7 % текста. Следом за ней идет буква t (9,1 % текста), а реже всего встречается z, которая не только стоит последней в алфавите, но и довольствуется всего 0,074 % всех текстов. Именно поэтому при игре в Scrabble за использование z присуждается больше очков, чем за использование е. Шеннон показал, что знание этой статистики может сократить количество битов, необходимых для передачи сообщения.
Чтобы понять почему, представьте, что алфавит Алисы и Боба отражает статистическую вероятность использования каждой буквы. Такой “статистически точный” алфавит выглядит следующим образом: etaoinshrdlcumwfgypbvkjxqz. Теперь изменим этот алфавит, включив в него больше копий распространенных букв и отразив частоту их встречаемости в английском языке: в нем будет 172 буквы е, 122 t, 110 а, 101 о, 94 I, 91 п и так далее до 2 х, i q и i z. Всего в него войдет 1351 буква, и выглядеть он будет так:
eeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeee
eeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeee
eeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeettttttttttttttttttttttttttt
ttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttttt
ttttttttttaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaaaoooooooooooooooooooooooooooooooooooooooooooooooo
oooooooooooooooooooooooooooooooooooooooooooooooooooooo
iiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiii
iiiiiinnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnn
nnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnsss
ssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssss
ssshhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhh
hhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhrrrrrrrrrrrrrrrrrrrrrrrrrrrrr
rrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrddddddddddddd
ddddddddddddddddddddddddddddddddddddddddddddllllllllll
llllllllllllllllllllllllllllllllllllllllllllcccccccccccccccccccccccccccccccccccc
ccuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuummmmmmm
mmmmmmmmmmmmmmmmmmmmmmmmmmmwwwwww
wwwwwwwwwwwwwwwwwwwwwwwwwwffffffffffffffffffffffff
ffffffgggggggggggggggggggggggggggyyyyyyyyyyyyyyyyyyyyyyyyyyyp
pppppppppppppppppppppppppbbbbbbbbbbbbbbbbbbbbvvvvvvvv
vvvvvkkkkkkkkkkjjxxqz
Теперь, используя такую же систему “да” и “нет”, как раньше, Алиса увидит, что чем распространеннее буква, тем меньшее количество битов необходимо для ее передачи. Например, для передачи буквы е понадобится всего три бита, 111.
Первая единица сократит статистически точный алфавит до первой половины из 675 букв, куда теперь входят только е, t, а, о, i и n.
Вторая единица сузит выбор первыми 337 буквами, среди которых теперь остались лишь е, t и а.
Третья единица сократит алфавит до первых 168 букв, и все это – буквы е.
Итак, 111 соответствует е.
Мы можем применить статистический принцип, чтобы сократить сообщение help. Букву h, которая в английском языке встречается в 6 % случаев, нельзя назвать ни особенно распространенной, ни особенно редкой, поэтому для ее передачи все равно потребуется пять битов. Для передачи буквы е, как мы увидели, достаточно будет трех битов, 111. Для буквы /, как и для А, потребуется пять битов, а для передачи относительно редкой буквы р, которая встречается в 1,9 % случаев, необходимо шесть битов. Таким образом, общее число битов, необходимых для передачи сообщения help, составляет 5 (для h) + 3 (для е) + 5 (для /) + 6 (для p) = 19 битов.
Приняв в расчет статистику встречаемости букв, мы сократили сообщение help на один бит. Для передачи редких букв таким методом действительно нужно больше битов, чем в прошлой системе, однако, поскольку для передачи распространенных букв требуется меньше битов, общее количество необходимых битов снижается. Для передачи такого слова, как heat (“теплота”), содержащего три распространенные буквы (е, а и t), понадобится всего 16 битов. При передаче длинных сообщений этот метод позволит Алисе и Бобу использовать примерно на 10 % меньше битов, чем если бы они считали, что частота встречаемости всех букв одинакова.
Как отметил Шеннон, частотой встречаемости отдельных букв статистические закономерности англоязычного текста не ограничиваются. Многие пары букв – например, th, he, in и er – встречаются чаще других. Многие другие пары, например gx, не встречаются никогда. Порой одна буква определяет следующую, как в случае с q, за которой всегда идет и. С учетом всех этих закономерностей среднее количество битов, необходимое для передачи англоязычного сообщения, можно сократить примерно до 1,6 бита на букву. (Использование нецелого числа битов может показаться странным, однако наличие шести десятых бита не значит существование шести десятых ответа “да” или “нет” или шести десятых значения 1 или о. Оно значит, что, например, для передачи сообщения длиной в 100 букв понадобится в среднем 160 битов.)
В своей статье Шеннон объяснял многие идеи, обращаясь к примеру с письменным английским языком, но проиллюстрированные таким образом принципы применимы гораздо шире. Суть в том, что чем больше закономерностей можно найти в любой единице информации, тем меньше битов необходимо для ее шифрования.
Довольно просто, например, увидеть, как это применимо к изображениям. Интуитивно понятно, что для передачи изображения, состоящего из раскрашенных случайным образом точек, требуется гораздо больше битов информации – гораздо больше ответов “да” и “нет”, – чем для передачи изображения с повторяющимся узором, например в виде горизонтальных полосок. В первом случае необходимо определить цвет и яркость каждой точки изображения. Во втором – достаточно определить лишь два цвета и частоту их повторения.
В реальном мире изображения редко представляют собой случайный набор цветных точек или узор из ровных полос, но все же содержат закономерности. Инженеры используют это, чтобы сократить количество битов, необходимых для хранения и передачи видео и неподвижных изображений.
Эта методология применима также к устной речи, которая состоит из алфавита звуков: одни звуки в ней сливаются, а другие всегда остаются отделенными друг от друга. Выявив статистические закономерности, можно сократить число битов, необходимых для передачи разборчивой человеческой речи.
Именно в этом взаимодействии статистических закономерностей и числа битов, необходимых для передачи единицы информации, кроется связь информации с термодинамикой. И объясняется она математическими уравнениями, использованными Шенноном.
Почему? Дело в том, что формула, которую Шеннон вывел для оценки среднего количества битов, необходимого для шифрования единицы информации, почти идентична формуле Людвига Больцмана и Джозайи Уилларда Гиббса для расчета энтропии в термодинамике.
Вот уравнение Шеннона для определения размера любой заданной единицы информации:
H = —Σi pi logb pi
А вот один из способов представления уравнения Больцмана для расчета энтропии любой определенной системы:
S = —kB Σi pi ln pi
Два этих уравнения не просто выглядят похоже – они, по сути, одинаковы.
Вскоре после вывода своей формулы Шеннон указал на сходство Джону фон Нейману, который в то время считался лучшим математиком в мире. Фон Нейман пожал плечами и предложил Шеннону назвать свою меру числа битов, необходимого для передачи единицы информации, информационной энтропией, сославшись на то, что природу термодинамической энтропии тоже никто в полной мере не понимал.
Сходство объясняется тем, что Шеннон думал о такой системе коммуникации, как письменный английский язык, подобно тому как Больцман рассуждал о газе.
Вспомним пример с воздухом на кухне. Если теплота концентрируется в горячих зонах – например, в духовке, – то молекулы там в среднем обладают большей энергией, чем молекулы в остальной части комнаты. Но способов достичь такого распределения энергии гораздо меньше, чем способов распространить энергию по комнате. Следовательно, если открыть дверцу духовки, то теплота со временем рассеется.
Шеннон руководствовался сходной логикой.
Самое длинное слово в нетехническом английском языке – antidisestablishmentarianism (“движение за неотделение церкви от государства”). В нем 28 букв.
Представьте большой круг, пропорциональный по размеру всем бессмысленным буквенным комбинациям, начиная с последовательностей из одной буквы и заканчивая последовательностями из 28 букв. Это эквивалент кухни, где рассеивается теплота.
Рядом с большим кругом находится гораздо более маленький круг, площадь которого пропорциональна количеству реально существующих английских слов. Это эквивалент кухни с горячей зоной.
Чтобы точно передать сообщение на английском языке, ни отправитель, ни получатель не должны выходить за пределы малого круга. Помехи или шум вытолкнут сообщение в большой круг со случайными буквенными последовательностями. Это сродни тому, как теплота рассеивается из горячей зоны, например из духовки, способствуя переходу от маловероятных к более вероятным формам распределения энергии.
Для того чтобы сообщение не искажалось, необходимо принять меры, подобно тому как меры принимаются для противодействия рассеянию теплоты. Во втором случае мы используем изоляционные материалы. В первом – аналогичную технику, которую Шеннон назвал избыточностью. Существуют буквы и слова, которые сами по себе не имеют значения и используются для защиты значения от превращения в шум.
Возьмем такой пример, основанный на одном из примеров Шеннона:
MST PPL HV LTL DFCLTY RDNG THS SNTNC
Оно на двадцать букв короче “верной” орфографии, но значение его от этого не умаляется. По оценке Шеннона, он мог восстановить значение примерно 70 % любого текста, случайным образом удалив из него 50 % букв.
В устной речи также много избыточности. Без таких артиклей, как the и а, часто можно обойтись. В контексте некоторые слова становятся ненужными. Услышав фразу “ураган причинил большой… ”, вы, вероятно, догадаетесь, что следующим словом будет “ущерб”. Влюбленные часто завершают фразы друг друга, потому что знают контекст речи собеседника. При разговоре с незнакомцами, напротив, приходится использовать более длинные фразы, чтобы компенсировать недостаток общего контекста. Любопытно, что человеческие языки, похоже, содержат избыточность в письме и речи, поскольку отдельные фрагменты сообщения легко могут потеряться – например, при разговоре на шумном рынке или попытке общаться с детьми и взрослыми, которые только начали учить новый язык. Мы делаем паузы и прибегаем к повторениям, чтобы сберечь значение слов.
Мы все инстинктивно это понимаем. Мы повышаем и понижаем избыточность своих сообщений в зависимости от числа помех, подобно тому как мы добавляем и убираем дополнительные слои одежды в зависимости от температуры на улице. Отправляя текстовое сообщение, мы уверены, что буквы будут переданы без потерь, а адресат поймет контекст. Это свободный от шумов канал связи, а потому мы убираем множество избыточных букв, например, печатая: “С и Itr at pb”.
Порой мы, напротив, добавляем избыточности, страдая от помех на телефонной линии: “МОЯ… ФАМИЛИЯ… ПЕТРОВ. П – Павел, Е – Егор, Т – Тимофей, Р – Роман, О – Олег, В – Владимир”.
Лингвистическая избыточность не позволяет передаваемым идеям превратиться в шум. Подобно тому как часть теплоты теряется при переходе из горячей зоны в холодную, производя работу, часть слов и букв теряется или искажается при передаче сообщения.
Именно знания об информационной энтропии и избыточности позволяют нам строить информационные сети.
Взять, например, такие сервисы, как YouTube и Netflix, которые хранят и распространяют огромные файлы с видеоинформацией. Эти компании сокращают количество битов в таких файлах, чтобы их итоговое число было как можно ближе к их информационной энтропии. Такой процесс называется сжатием, и без него файлы были бы слишком велики для наших сетей. Затем компании, обслуживающие сети, добавляют в сжатые файлы цифровую избыточность, чтобы защитить информацию от шума. Такие дополнительные биты выполняют в изощренной электронной среде такую же функцию, как произнесение слова по буквам с целью обеспечить четкость передачи информации сквозь помехи на телефонной линии.
Информация теряется не только при преодолении расстояний. Значимая информация, как правило, искажается и со временем. Люди давно это поняли. Чернила выцветают, бумага желтеет и рвется, а надписи на глине и камнях подвергаются эрозии. Мы боролись с этим с помощью стойких чернил и прочного пергамента, но даже они гибли при пожарах в библиотеках. Тогда мы стали добавлять избыточность, создавая множество копий текстов, которые считаем важными, и часто даже воспроизводя написанное на разных языках. Авторы Розеттского камня добавили избыточности, написав одно и то же послание на трех языках, и тем самым продемонстрировали, что такая стратегия позволяет передать сообщение на две тысячи лет в будущее. Письменные языки сами по себе представляют пример избыточности, необходимой для долгосрочной защиты информации. Они не добавляют смысла устной речи, а существуют для того, чтобы охранять значение слов на протяжении долгого времени после того, как мозг, родивший их, обратится в прах.
Ученый Рольф Ландауэр описал эту идею фразой “информация материальна”. Все формы информации требуют изменений в физической вселенной. При записи слов необходимо делать пометки на каком-то физическом носителе.
Но даже устная речь предполагает движение голосовых связок, от которого вибрируют молекулы воздуха. Подобным образом мысль требует электрохимических изменений в нейронах нашего мозга. В этом отношении информационная энтропия тесно связана с термодинамической энтропией. При разрушении физических систем разрушается и содержащаяся в них информация. Представьте, что вы написали свое имя на песке на пляже. При этом частицы песка выстроились в маловероятную низкоэнтропийную конфигурацию – в узор, имеющий смысл. Когда набегает волна, этот смысл теряется: частицы песка перемешиваются и складываются в более вероятные, но менее осмысленные конфигурации с высокой энтропией.
Как бы мы ни предпочли записывать информацию, непрерывное повышение энтропии, несомненно, сотрет ее, как волна стирает имя, написанное на песке. Предсказание Уильяма Томсона о тепловой смерти Вселенной распространяется на мысли, слова и воспоминания. Всему настанет конец при одной и той же температуре, все будет забыто.
В июле 1948 года, когда Шеннон опубликовал свою статью, никто не мог представить, с каким размахом будут применяться его идеи. Никто также не спрашивал, можно ли считать общие черты термодинамической и информационной энтропии случайными или же они представляют собой две стороны одного явления.
Все изменило очередное открытие Лабораторий Белла. 30 июня 1948 года, всего за несколько дней до выхода статьи Шеннона, отдел, специализирующийся на “физике твердого тела”, провел пресс-конференцию в Нью-Йорке. В ходе нее ученые представили странное устройство размером с початок кукурузы, из которого торчало три провода. Рядом также стоял его макет в человеческий рост, чтобы приглашенным журналистам было понятнее, как выглядит демонстрируемый объект.
Новейшим изобретением Лабораторий Белла оказался транзистор. По иронии судьбы ни один из вариантов применения транзистора, перечисленных на той важнейшей из технологических презентаций, не показал его самого полезного свойства. Вместо этого инженеры Лабораторий Белла представили транзистор как более компактную и надежную замену электронной лампы, то есть как устройство для усиления аналоговых сигналов. Чтобы продемонстрировать эту функцию, каждому из присутствующих выдали наушники, в которых они слушали усиленные транзистором голоса, обеспечиваемый транзистором радиоэфир и производимый транзистором свист. На конференции почти не говорили о том, что транзистор также может выступать в качестве крошечного энергосберегающего двухпозиционного переключателя. Иными словами, что он прекрасно подходит для работы с вопросами, предполагающими ответы “да” и “нет”, и раскрытия возможностей бита.
Когда это стало очевидно, инженеры сосредоточили усилия на миниатюризации транзисторов, в результате чего размеры транзисторов стали экспоненциально уменьшаться, а их количество – экспоненциально расти. В современных микрочипах используется до 20 млрд транзисторов, которые занимают столько же места, сколько занимал единственный первый транзистор, а это значит, что диаметр каждого отдельного транзистора сегодня составляет около одной миллионной миллиметра. По одной оценке, с момента изобретения технологии до 2014 года было произведено около 3 секстиллионов транзисторов – это число записывается как тройка с 21 нулем. Для сравнения можно сказать, что в галактике Млечный Путь всего 200 миллиардов звезд, а это двойка с 11 нулями. Каждый из этих транзисторов ежесекундно отвечает “да” или “нет” на миллиарды, если не триллионы, вопросов, чтобы мы могли получать нужные сведения, оскорблять друг друга, развлекаться, общаться и совершать любые другие действия с информацией.
В современном мире термодинамическая цена информации определяется электрическими свойствами кремния. Как правило, каждый раз, когда отдельный транзистор переключается, давая ответ да или нет, в окружающей среде рассеивается около 10 миллионмиллионных джоуля теплоты. Это немного. Но представьте, что в одном чипе 10 млн транзисторов переключаются миллиард раз в секунду. Это значит, что чип, площадь поверхности которого равняется одному квадратному сантиметру, вполне может рассеивать по несколько десятков джоулей теплоты в секунду (то есть по несколько десятков ватт). Без охлаждения поверхности чипы станут горячее конфорок на плитах. Еще более удивительно то, что случится, если в ближайшие два-три десятилетия транзисторы продолжат сжиматься в размерах с той же скоростью, с которой сжимались с 1960-х годов. Каждый квадратный сантиметр поверхности чипа, составленного из таких транзисторов, будет отдавать теплоту со скоростью 1000 кВт/с. Это сравнимо со скоростью теплоотдачи выхлопного сопла ракеты и лишь в несколько раз меньше скорости в 6000 кВт/с, с которой теплоту отдает поверхность Солнца.
Разумеется, этого не случится, ведь мы просто не сможем построить системы охлаждения, безопасно отводящие теплоту из наших компьютерных систем. Любой чип с такой высокой плотностью транзисторов расплавится при первом включении. В соответствии с началами термодинамики это значит, что мы недалеки от конца пути, по которому нас вели традиционные кремниевые транзисторы. Неудивительно, что проводится все больше исследований с целью установить, под силу ли нам сократить количество теплоты, которая рассеивается при обработке каждого бита.
Не стоит считать, что производство столь большого количества тепла при обработке информации – это шаг назад. На самом деле все совсем наоборот. В конце концов, обработка битов позволяет нам гораздо более эффективно, чем в доцифровую эпоху, справляться с задачами. Возьмем, например, электронные книги. При распространении таких книг в качестве битов через интернет задействуется гораздо меньше энергии, рассеивается гораздо меньше теплоты и создается гораздо меньше углекислого газа, чем если бы эти книги печатали на бумаге и перевозили на грузовиках, кораблях и самолетах. По прогнозам научно-исследовательского центра The Climate Group, хотя к 2020 году цифровые сектора мировой экономики будут производить около 1,43 млрд тонн двуокиси углерода ежегодно, они также смогут снижать количество углекислого газа, производимого в остальных секторах мировой экономики, на 8 млрд тонн ежегодно, то есть чистое снижение составит более 6 млрд тонн двуокиси углерода в год.
Таким образом, нам необходимо переместить как можно больший объем своей деятельности из физической сферы в цифровую и постараться сделать цифровые машины как можно более эффективными. Но обнаружим ли мы, как произошло в случае с тепловыми двигателями, что термодинамика ограничивает размах наших усовершенствований? Обязательно ли нам тратить теплоту при обработке информации? Можно ли построить машину, которая обрабатывает информацию – и даже думает, – не платя эту цену? Не приближая конец времени?
Чтобы ответить на эти вопросы, ученым пришлось вернуться к мысленному эксперименту, впервые предложенному в 1860-х годах человеком, с которым мы уже встречались несколько глав назад: Джеймсом Клерком Максвеллом.
И они воскресили демона.
Войти с помощью соц. сетей: