Большие данные

Двигателем социальной физики являются большие данные – общедоступная цифровая информация обо всех аспектах жизни людей, которая не так давно распространилась повсеместно. Социальная физика работает следующим образом: она анализирует повторяющиеся шаблоны в получаемом людьми опыте и в том, как они обмениваются идеями, используя для этого те виртуальные следы, подобные хлебным крошкам из сказки братьев Гримм, которые мы оставляем за собой в наших передвижениях по миру, – записи звонков, операции по кредитным картам, GPS-данные о местоположении и др. Эти данные раскрывают историю жизни каждого человека, документируя все типы деятельности, которые он для себя выбирает. И это очень отличается от того, что обычно размещают на Facebook; публикации на Facebook – это те сведения, которые люди считают нужным сообщать друг другу, подогнанные под существующие стандарты. Информация о том, где мы проводим время и какие вещи покупаем, дает гораздо более четкое представление о нас настоящих, чем то, что мы предпочитаем о себе рассказывать.

Процесс анализа шаблонов, прослеживаемых в этих виртуальных следах, называется «добычей реальности» (reality mining), и благодаря ей мы можем очень многое рассказать о личности отдельных индивидов. Я и мои ученики обнаружили, что с помощью этой информации можно определить, каковы шансы конкретного человека заболеть диабетом или сможет ли он выплатить кредит. Так, анализируя эти шаблоны в жизни разных людей, мы видим, что многие явления – катастрофы, революции, кризисы, – которые раньше казались хаотичными проявлениями «божьей воли», начинают поддаваться объяснению. По этой причине журнал МТИ Technology Review назвал нашу технологию добычи реальности одной из десяти разработок, которые изменят мир (более подробную информацию см. в Приложении 1: Добыча реальности).

Научный метод, используемый в социальной физике, отличается от того, что применяется в большинстве общественных наук, тем, что он главным образом опирается на «живые лаборатории». Что такое живая лаборатория? Давайте представим, что можем поместить целое сообщество в комнату с камерами слежения, а затем записать и отобразить все грани и ракурсы поведения, общения и социального взаимодействия между его участниками. Теперь представьте, что этот эксперимент длится в течение нескольких лет, пока члены сообщества живут своей повседневной жизнью. Это и есть живая лаборатория.

За последнее десятилетие я и мои студенты научились конструировать и разворачивать такие лаборатории, где годами посекундно исследуются целые социальные организмы – коллективы, компании и даже сообщества. Наш метод прост: измерения проводятся путем сбора цифровых «хлебных крошек», получаемых из таких источников, как сенсорные датчики в мобильных телефонах, публикации в соцсетях, покупки с помощью кредитных карт и проч.

Для его применения я разработал юридические и программные инструменты защиты прав и частной жизни людей в этих лабораториях, чтобы они имели полное представление о том, что происходит с их данными, и могли выйти из игры в любой момент. В дальнейшем вы увидите, что разработанные мной решения сыграли важную роль в улучшении защиты личной информации пользователей по всему миру. (Подробную информацию об этих юридических и программных инструментах см. в Приложенияи 1: Добыча реальности и Приложении 2: Открытая система PDS.)

Все эти миллиарды записей телефонных вызовов, операций по кредитным картам и данных сети GPS позволили ученым создать новые виртуальные линзы, дающие нам возможность изучать общество в мельчайших деталях. Так же, как голландские мастера когда-то изготовили первые пригодные для работы оптические линзы, благодаря которым ученые смогли собрать первые микроскопы и телескопы, я и моя исследовательская лаборатория создали инструменты, собирающие все виртуальные следы целого сообщества, позволяя нам построить первые практически применимые «социоскопы». Эти новые инструменты позволяют рассматривать жизнь во всем ее многообразии и являются будущим общественных наук. Подобно тому, как изобретение микроскопа и телескопа свершило революцию в области биологии и астрономии, социоскопы в живых лабораториях вызовут переворот в области исследований поведения человека.

Социальная физика как всеохватывающая социальная наука

Большинство существующих общественных наук базируется либо на лабораторных исследованиях, либо на демографических данных – то есть средних величинах и стереотипах. Эти подходы не учитывают сложности реальной жизни, где одновременно вступают в силу все странности нашей психики. Они также упускают из виду тот крайне важный факт, что детали, имеющие отношение к людям, с которыми мы взаимодействуем, и к тому, как происходит это взаимодействие, играют не менее важную роль, чем рыночные силы и классовые системы. Социальные явления на самом деле складываются из миллионов маленьких транзакций между отдельными индивидами: люди обмениваются не только товарами и деньгами, но также информацией, замыслами и даже слухами. В этих индивидуальных транзакциях просматриваются шаблоны, вызывающие такие явления, как финансовый крах или «арабская весна». Нам необходимо понять эти микроалгоритмы, поскольку их нельзя просто свести к средним коэффициентам, поддерживающим классическое понимание общественного устройства. Большие данные дают нам возможность рассматривать общество во всей его сложности, посредством миллионов ниточек, протягивающихся от человека к человеку в процессе социального взаимодействия.

Если бы у нас было всевидящее око, мы, возможно, могли бы прийти к истинному пониманию того, как устроено общество, и предпринять шаги к решению наших проблем. К сожалению, как видно на рис. 1, практически все данные, добытые в рамках традиционных общественных наук (под номером 1), уместились рядом с координатой (0,0). Это означает, что эти наборы данных представляют собой информацию, полученную меньше чем от сотни людей и всего лишь в течение нескольких часов. Исследования под номером 2 и 3 – одни из самых крупных общественно-научных исследований на данный момент. За последние десять лет социологи, работающие в области вычислений, узнали, как можно задействовать большие данные, и начали использовать пакеты информации, полученные, например, от операторов сотовой связи и компаний, занимающихся социальными сетями. Типичные примеры таких исследований представлены под номером 4. Увы, даже эти большие наборы данных скудны, так как они измеряют лишь по несколько переменных за раз. Таким образом, они дают очень ограниченное представление о человеческой природе.

Рис. 1. Квалитативный обзор наблюдений и экспериментов в области общественных наук. Горизонтальная ось показывает продолжительность сбора данных, вертикальная ось – объем и качество полученной информации. Показаны следующие комплексы данных: (1) Большинство научных экспериментов в области общественных наук; (2) Midwest Field Station (Barker 1968); (3) Framingham Heart Study (Dawber 1980); (4) Данные, полученные от телефонных операторов (Gonzalez et al. 2008; Eagle et al. 2010; Hidalgo and Rodriquez-Sickert 2008); (5) Исследования Reality Mining («добыча реальности») (Eagle and Pentland 2006); (6) Социальное развитие (Madan et al. 2012); (7) Друзья и родственники (Aharony et al. 2011); (8) данные электронных бейджей (Pentland 2012b); (9) «Данные в целях развития» (D4D, http://www.d4d.orange.com/home); (10) общее направление развития.

Социальная физика стремится получить как можно более глубокие и всеохватные количественные описания. Исследования под номерами 5, 6 и 7 проводились моей собственной исследовательской группой, которая использовала смартфоны для сбора информации; они использовали «социометры», или «умные» электронные бейджи с именами, для сбора данных для исследования номер 8 (подробности см. в Приложении 1: Добыча реальности); а для исследования под номером 9 – набор «данных в целях развития» (D 4D), охватывающих всю территорию Кот-д’Ивуар.

Достаточно поверхностно изучить рис. 1, чтобы увидеть, что наборы данных, полученные из социальной физики, многократно и по всем параметрам превосходят те, которыми оперируют другие социальные науки. Они цифровые, объемные и содержат колоссальное количество объективной, непрерывной и компактной информации, которая позволяет нам строить количественные, прогнозируемые модели поведения людей в сложных повседневных ситуациях.

Важно отметить, что точка, помеченная номером 10, обозначает направление, в котором движется мир. Уже по прошествии каких-нибудь нескольких лет мы, возможно, будем располагать невероятно богатыми данными о поведении практически всего человечества – и причем постоянно. Эти данные уже существуют в мобильных сетях, базах данных кредитных карт и других источниках, но в настоящее время только технические специалисты имеют к ним доступ. Однако по мере того, как они будут становиться все более доступными для научных исследований, новая наука социальной физики получит следующий толчок. Хочется надеяться, что, как только мы разработаем более точную визуализацию моделей человеческой жизни, мы сможем лучше понимать наше современное общество и управлять им, используя инструменты, лучшим образом приспособленные к сложно взаимосвязанной сети, объединяющей людей и технологии.

В поддержку этой книги я разместил в интернете несколько самых крупных в мире и подробнейших наборов данных, полученных из живых лабораторий. Эти новейшие источники цифровой информации позволяют нам с точностью измерить алгоритмы взаимодействий между людьми – или же между людьми и торговыми компаниями – и составить схемы и диаграммы на основе повторяющихся ситуаций, с которыми люди сталкиваются в процессе жизни. В эти наборы данных живых лабораторий входят:

Друзья и родственники: Собранные в течение около полутора лет данные о небольшом сообществе молодых семей, с большим диапазоном социометрических переменных, включая место расположения, расстояния, коммуникации, покупки, использование социальных медиа, мобильных приложений, и сон. Мы измеряли по тридцать поведенческих переменных каждые шесть минут. Материалы этого исследования содержат 1,5 миллиона часов количественного наблюдения за социальным опытом людей.

Социальное развитие: Собранные за девять месяцев данные об общежитии университета, с информацией о месте расположения, расстояниях и коммуникационными данными, обновляемыми каждые пять минут вместе с переменными, связанными со здоровьем, политикой и социометрией. Это исследование включает в себя 500 тыс. часов количественного наблюдения.

Добыча реальности: Собранные за девять месяцев данные о выпускниках, работающих в двух лабораториях при университете, с местом расположения, расстояниями и использованием телефона, обновляемые каждые пять минут вместе с несколькими другими социометрическими переменными. Это исследование покрывает более 330 тыс. часов взаимодействия между людьми.

Данные электронных визиток: Данные о служащих офиса, собранные за один месяц, с местом расположения, коммуникациями и информацией о жестикуляции, измеряемые каждые шестнадцать миллисекунд, наряду с точными измерениями рабочего процесса и процесса выполнения задач.

Анонимные данные, визуальные модели, код, документация и материалы доступны по ссылке: http://reality-commons.media.mit.edu. Эти наборы данных были получены с соблюдением федерального закона США об исследованиях с участием человека.

Эти живые лаборатории, в частности, дают детальный срез жизни американцев, но что насчет жизни людей в развивающихся странах, где проживает большая часть населения планеты? Первого мая 2013 года я представил публике «Данные в целях развития» – возможно, первый в мире полноценный общедоступный фонд больших данных: он содержит информацию о перемещениях и телефонных звонках, а также данные об экономике, цензуре, политике, продовольствии, инфраструктуре и малоимущих, охватывающие всю область африканской страны Кот-д’Ивуар. Эти данные теперь доступны по адресу: http://www.d4d.orange.com/home.

Эти обобщенные анонимные данные были предоставлены оператором мобильной связи Orange, при содействии Левенского университета (Бельгия) и моей исследовательской группы в МТИ, а также при участии университета Буаке (Кот-д’Ивуар), проекта ООН «Глобальный пульс», Всемирного экономического форума и GSMA – международной ассоциации мобильных операторов. В последней главе этой книги мы увидим, как этот информационный фонд используется уже сейчас для улучшения государственного управления и коммунальных услуг в Кот-д’Ивуаре.