Доменная печь больших онлайн-данных

Чтобы лучше понять природу данных в интернете, возможно, стоит подумать о том, откуда они берутся. Они рождаются из действий. Это просто запись того, что люди и машины делают с течением времени.

Так как действия в интернете записываются, происходит процесс трансформации. Например, когда вы кладете на счет в банке то, что осталось от вашей зарплаты, эти деньги перестают быть доходом и становятся сбережениями. Или, когда компании имеют избыточный доход, они используют его для покупки новых инструментов или оборудования, и он становится активом.

Двигатели, которые управляют преобразованиями данных в Сети, можно сравнить с доменными печами, используемыми для создания стали из железорудных окатышей. В онлайн-мире есть три таких больших печи данных, которые с каждым днем разгораются все ярче.

• Печь взаимодействия.

• Печь сделок.

• Автоматическая печь.

А компьютерная мощность и хранилище – это топливо, поддерживающее огонь в этих печах.

Печь взаимодействия

Первым основным источником онлайн-данных является наше взаимодействие с автоматизированными онлайн-сервисами, такими как Google, Facebook и Википедия. Я называю это печью взаимодействия, поскольку она является местом всех взаимодействий в интернете – все клики, просмотры и движения мышью, которые мы делаем весь день и ночь, дома, на работе и теперь, все чаще, на ходу.

Каждый раз, когда вы подключаетесь к Сети, вы подключаете свой компьютер, смартфон или планшет к другим компьютерам по всему миру. И каждый раз, когда вы выполняете поиск в Google, бронируете рейс, заходите в онлайн-банкинг, проверяете погоду или читаете новости, вы фактически разговариваете с компьютером или несколькими компьютерами по всему миру.

Многое из этого может быть простыми разговорами, немного напоминающими покупку Coca-Cola из торгового автомата в бассейне, но тем не менее это разговоры. В режиме онлайн, в отличие от торгового автомата, информация из этих разговоров обычно записывается. Она сохраняется людьми, предоставляющими услуги (например, владельцем торгового автомата), а также вашим интернет-провайдером (водителем автобуса, который отвез вас в бассейн), а иногда и другими (например, арендодателем комплекса бассейнов). Учитывая растущее число услуг, доступных в интернете, в области средств массовой информации и развлечений, здравоохранения, образования и занятости, а также более чем три миллиарда людей во всем мире, которые имеют доступ к Сети, вы можете представить себе объем данных, которые эта неустанная деятельность создает. Это очень много разговоров!

Поскольку мы сейчас проводим большую часть наших рабочих дней в интернете, это огромный новый источник данных. Через компьютер, смартфон или планшет мы обслуживаем клиентов, сотрудничаем с коллегами, исследуем конкурентов, работаем с поставщиками, общаемся с правительством и так далее. Все это по умолчанию регистрируется как данные на разных компьютерах. Это запись сотен миллионов человеко-часов.

Печь сделок

Второй основной источник данных – это запись данных о самом бизнесе. Я называю это печью сделок, и в основе ее лежат вся торговля между людьми, сделки и переговоры, которые происходят в интернете.

Мы все занимаемся бизнесом того или иного вида. Это может быть продажа старой пары роликовых коньков, из которых мы выросли, на Craigslist или инвестиции в технологические акции на E-Trade для пенсии наших внуков. И интернет – это наилучший рынок. Это идеальное место для встреч и ведения бизнеса, особенно глобального бизнеса.

В 1600-х годах в Европе, прежде чем появились официальные биржи, торговцы встречались в кофейнях для торговли. К наступлению 1700-х годов появилось несколько официальных полностью действующих фондовых бирж в Амстердаме (1602), Париже (1725), Лондоне (1773) и Филадельфии (1790). В каждом из этих мест вместо деловых людей, покупающих и продающих напрямую, были агенты или брокеры, чья работа заключалась в том, чтобы покупать и продавать части компаний или другие виды финансовых продуктов от их имени.

В течение 1980-х и 1990-х годов большинство крупных фондовых бирж во всем мире перешли от этой модели, когда в шумной комнате брокеры скупают друг у друга акции, к тихому миру электронных торгов. И в конце 1990-х годов Чарльз Шваб и E-Trade предложили розничным инвесторам фондового рынка возможность покупать и продавать акции самим в интернете.

Сегодня все торги акциями проводятся онлайн – будь то для физических лиц или для пенсионных фондов. Но в то время, как место для этой деятельности изменилось, характер бизнеса нет. Кто-то хочет продать, а кто-то хочет купить, и, если вместе они могут договориться о цене, состоится продажа или сделка.

Однако радикально отличается то, что все эти сделки теперь заархивированы на таком детальном уровне, которого никогда раньше не было, и это дает возможность для нового вида машинного обучения в таком масштабе, который никогда не был возможным.

На сегодняшних глобальных финансовых рынках в настоящее время происходит более двух миллионов транзакций каждую секунду. И все они регистрируются и хранятся в огромных архивах, которые анализируются банками, биржевыми брокерами и регуляторами для понимания и регулирования рынка и для информирования о будущих сделках.

И хотя цена окончательной продажи является важным аспектом бизнеса, есть много других, которые представляют большой интерес, включая предложения в преддверии продажи, количество покупателей и, конечно же, разговоры до и после продажи. Они также записываются и размещаются онлайн. И, по сути, социальный аспект онлайн-торговли акциями – начиная с торговли в кофейнях в Европе семнадцатого века – принял новую форму на дискуссионных онлайн-форумах, таких как Motley Fool, Silicon Investor и HotCopper.

Помимо того, что речь идет о деньгах и финансовых транзакциях, бизнес – это форма общения, а ключевой частью общения являются истории. Часто то, как мы выражаем свои действия и как мы действуем, определяется серией историй: историями, которые нам рассказывали, историями, которые мы пересказываем, и новыми историями, которые мы создаем. Некоторые из них – вымысел, а некоторые – нет.

Одна из самых увлекательных историй в действии – это история о бизнесе сквозь призму массивных онлайн-данных. Несмотря на то что в настоящее время существуют многочисленные и удивительно подробные онлайн-данные о цене, времени и месте большинства проданных на планете вещей – от футболок до фьючерсных контрактов на золото, – менее изучено то, почему люди купили и продали эти предметы. Истории, стоящие за продажами и покупками, являются увлекательными, и я думаю, что в предстоящем десятилетии мы можем ожидать большего в этой области.

Крупные публичные компании, которые котируются на биржах по всему миру, частично рассказывают такие истории через свои ежегодные отчеты, где сообщают о своих продажах, расходах и прибыли за год. Однако числа в этих отчетах рассказывают только часть истории. На самом деле самые опытные инвесторы и аналитики говорят, что секрет чтения ежегодных отчетов компании заключается в том, чтобы сосредоточиться на заметках – реальная история часто заключается в этих словах, а не в цифрах.

Рассказы о бизнесе и истории об обществе в целом передавались и передаются через различные средства массовой информации, включая книги, журналы и газеты, радио, телевидение и кино, а теперь еще и онлайн. Что отличает онлайн-мир, так это то, что он дает нам возможность получить доступ не только к текущей истории, но и к невероятному архиву предысторий.

Автоматическая печь

Третьим и последним основным источником онлайн-данных являются машины, взаимодействующие между собой, без какого-либо взаимодействия с человеком. Это я называю автоматической печью. Существует растущее число устройств, которые обнаруживают какое-то явление и сообщают о нем через интернет компьютеру. Некоторые люди называют это «Интернетом вещей». Устройства могут сообщать о своем местоположении, климатических условиях, движении и так далее. Фактически они измеряют любое физическое явление, которое можно измерить. Датчики помещают в смартфоны, автомобили и даже в упаковку потребительских товаров. Их можно найти на фермах – измеряющих сельскохозяйственные условия, в торговых центрах – измеряющих потоки людей, и даже в космосе – использующих спутниковую фотосъемку, чтобы убедиться в восстановлении объектов добычи.

В большинстве этих систем данные записываются локально датчиком, устройством или камерой, а затем передаются в Сеть для хранения, обработки и архивирования в общей «облачной» вычислительной среде.

Облачные вычисления – это просто название для общих онлайн-служб удаленного доступа, таких как Amazon Web Services, Microsoft Azure и Google Cloud Platform. Эти сервисы имеют множество преимуществ, включая стоимость (поскольку они очень большие по масштабу, и вы платите только за то, что вам нужно), универсальность (чтобы вы могли получить дополнительную емкость, если вам это нужно) и надежность (из-за автоматического резервного копирования). Вы можете использовать облачные вычисления для хранения информации, запуска программного обеспечения и обеспечения безопасного доступа к общим сетям. И когда вы подключаете датчики к облачным вычислениям, электронным датчикам стоит только передать свою информацию в «облако», и вы можете запускать программное обеспечение в облаке, чтобы автоматически позаботиться об остальном.

В настоящее время в наших карманах, в наших домах и в нашем окружающем мире есть миллиарды электронных датчиков по всему миру. Первое, что приходит в голову при мысли о них – карманные устройства. У большинства из нас сейчас есть смартфоны, которые имеют невероятную мощность, когда дело доходит до записи данных. Они не только знают, где они находятся, но также могут распознавать движение, направление и ускорение, благодаря чему работают такие приложения, как «Найти мой iPhone».

Наш дом тоже все больше наполняется устройствами, подключенными к интернету. Это не только компьютеры, но и все, начиная с телевизоров и заканчивая весами и детскими мониторами. Мы очень хорошо знаем о преимуществах этой возможности подключения к Сети, например, о волне телевизионных сериалов, которые не уступают по качеству фильмам, благодаря таким онлайн-видеосервисам, как Netflix – речь идет о сериале «Карточный домик». И мы, возможно, не осознаем некоторые из рисков. Однажды детский монитор в одной семье был взломан незнакомцем, который получил к нему доступ и регулярно подключался к нему, наблюдал за ребенком и разговаривал с ним.

Наконец, наша окружающая среда, как в городе, так и за городом, все чаще соединяется сетью недорогих датчиков, камер и других механизмов, которые могут делиться данными в интернете. В городах автоматически регистрируются всевозможные детали: от пешеходного и дорожного движения до качества воздуха.

Автоматически записываемые данные быстро развиваются в автомобильной промышленности, где легко регистрировать и отслеживать каждое движение автомобиля в течение его жизни: куда он едет, как быстро он едет, какие маршруты он выбирает и так далее. Эти данные могут использоваться индивидуально или в сочетании с другими данными о движении транспортного средства для улучшения дизайна автомобилей и безопасности дорожного движения, а также для снижения страховых платежей. Эта практика известна как телеметрия.

За городом фермеры собирают данные микроклимата, это позволяет им покупать более дешевые варианты страхования и более эффективно использовать удобрения и ирригацию. Также в этой сфере появляется новое поколение компаний, предоставляющих услуги передачи данных, которые объединяют технологии дистанционного считывания с большими возможностями сбора данных и облачных вычислений. Даже в джунглях, удаленных землях и национальных парках, природоохранные организации добросовестно используют цифровые звукозаписывающие устройства, чтобы автоматически записывать квакающих лягушек, пение птиц и передвижение змей, чтобы лучше понимать биоразнообразие и состояние нашей планеты.

Из-за трех доменных печей больших данных у нас теперь есть огромная и растущая гора высококачественных данных. Вопрос в том, что мы можем сделать со всеми этими данными и как мы можем использовать их, чтобы узнать больше о поведении людей, общества и окружающей среды?