Что такое большие данные и где вы можете их получить?

Если вы не прячетесь в глухой пещере без электричества, скорее всего, вы обратили внимание на то, что сегодня многие говорят о больших данных. Это высшая цель и завершающий этап датафикации: идея о том, что все данные, которые создаются в цифровой реальности, могут быть полезны для улучшения мира, который произвел эти данные. Или в нашем случае могут помочь вам увеличить прибыль на 352 %.

Любое обсуждение темы больших данных начинается с попытки оценить, с каким объемом информации мы имеем дело. Предупреждаю: с большим. Авторы одной из лучших книг по этой теме (с удивительно понятным названием «Большие данные») Кеннет Кукьер и Виктор Майер-Шенбергер подсчитали в 2013 году, что если бы всю информацию в мире скопировали на CD, а затем сложили их один на другой, получились бы пять отдельных стопок, каждая из которых была бы высотой до Луны.

Сегодня к этим стопкам прибавились бы еще пять новых, но фактически это не имеет значения, так как сделать стопку такой высоты все равно невозможно. Важный вывод из этого заключается в том, что практически вся новая информация сегодня создается в цифровом формате. В 2000 году только около четверти всех данных хранились в цифровом виде. Сегодня это 99 %.

Перспектива больших данных в том, что мы сможем узнать еще больше. Хотя не все так просто. Датафикация не гарантирует финального результата, который вы сможете использовать. Подавляющий объем новых данных плохого качества или с трудом поддается анализу. Например, сегодня практически все системы видеонаблюдения оснащены цифровыми камерами. Однако компьютеры пока не могут «смотреть» изображения с этих камер и определять, что они видят, кроме элементарных, но важных вещей, например большого скопления людей. Хранение тысяч документов в формате текстового редактора – это замечательно, если вам нужно найти слово или фразу, но уже не так хорошо, если у вас нет времени читать все документы по результату поиска. Большинство людей осуществляют поиск для решения проблемы, а не потому что хотят что-нибудь почитать.

Большие данные по определению представляют собой слишком объемный и сложный массив информации по сравнению с теми базами, с которыми обычно работают компании. Для управления этими данными, для их обновления и обеспечения их безопасности не обойтись без применения специальных технологий. Это сложно и дорого, и большинство компаний не могут себе этого позволить. Если ваша организация в их числе, то чем вам могут оказаться полезными большие данные?

Во-первых, те, кто работает с ними, предлагают самые разные варианты их использования для повышения эффективности бизнеса, нередко даже бесплатно. Самый очевидный пример – целый ряд сервисов от компании Google: это и карты Google Maps, и новостные ленты с персональными настройками, и отчеты о статистике по сайтам, которые составляет Google Analytics.

Большие данные также способствуют решению проблем, позволяя поставщикам услуг создавать экспертные системы на основе машинного обучения и искусственного интеллекта. Самым простым примером может служить рекомендательный сервис интернет-магазина Amazon «Люди, купившие это…». Такой тип приложения с использованием «коллективного разума» обладает свойствами, характерными для больших данных: этот сервис не идеален, потому что механизм его работы заключается в том, что он ищет соответствия выявленным ранее закономерностям в информации и совмещает их с потенциальными потребностями пользователя. Тем не менее этот алгоритм работает быстро и лучше, чем просто догадка, а, как нам уже известно, большинство сотрудников впустую тратят 60 % рабочего времени и интуиция не слишком эффективное руководство для принятия решений.

Эти экспертные системы датафицируют функции, которые раньше относились к области человеческих навыков, например набор текста и перевод. Признайтесь, вам нравится перепечатывать тексты? Качество оборудования, распознающего речь, стало гораздо выше, но не потому что мы изобрели новые принципы работы программного обеспечения этого типа, а потому что компьютеры применяют большие данные для самостоятельного обучения. Обучение экспертных систем происходит за счет введения аудиозаписей, отобранных из интернета, вместе с расшифровкой, после чего система анализирует их и самостоятельно «обучается». Если вы не используете ПО для переформатирования аудиозаписей в текст, потому что вы попробовали это в 1990-х годах и получилась полная ерунда (а так оно и было), протестируйте современные онлайн-приложения, например Transcribe, и вы будете поражены. Эти сервисы бесплатны или предлагают свои услуги за символическую стоимость. В основе их работы лежат большие данные, а вы пользуетесь только конечным результатом. Можете ли вы использовать большие данные как-то еще? Да и нет.

Есть два способа, как большие данные могут стать хорошей инвестицией даже для компаний малого бизнеса. Во-первых, исследование их можно применить для улучшения собственных данных: примерами могут быть оценка внешней кредитоспособности или способность автоматически отслеживать лоты, когда они выставляются на продажу на онлайн-аукционах. Это делается в интернете, и существует специальная платформа под названием Kaggle для исследователей разных уровней, которые занимаются поиском решения разных задач на основе больших данных. Компании предлагают различные задачи и назначают вознаграждение, а гики со всего мира борются за него, предлагая собственные варианты решения проблемы. Одной из последних предложенных задач был поиск оптимальных способов работы по управлению клиентскими рекламациями от компании BNP Paribas (вознаграждение $30 000) и определение самых довольных клиентов компании Santander (вознаграждение $60 000).

Возможно, вы не готовы тратить такие суммы. Действительно немногие компании идут на это. Располагая более скромным бюджетом, можно, например, нанять специализированную организацию и исследовать тренды Facebook. Однако вам все равно придется платить за результат, так что это не быстрое решение. Для начала тщательно обдумайте, за информацию какого рода вы готовы заплатить и как вы будете применять ее в дальнейшем в вашей работе. Согласно данным компании Insite Consulting, примерно половина полученной информации остается никак не задействованной в процессе дальнейшего принятия решений. Это в буквальном смысле пустая трата денег.

Вы также можете решить работать с данными самостоятельно. Насколько это сложно? Очень сложно. Вы можете получить нужную вам информацию, в открытом доступе находятся структурированные большие данные, полученные в результате обязательного сбора открытых данных или их анализа и обработки. В Великобритании ведущей организацией, представляющей эту информацию, стал Институт открытых данных (Open Data Institute). Правительство Великобритании публикует информацию по самым разным темам, начиная от планов по производству дорожных работ до статистики по ожирению. В других странах национальная статистика становится все более доступной для пользователей, которые хотят ее получить. Таким образом, доступными становятся огромные массивы данных. Однако главная ценность заключается в их анализе.

А это не так-то просто. На протяжении последних 20 лет миллиарды долларов были впустую потрачены компаниями, которые вкладывались в область данных, но получили больше вопросов, чем ответов. Согласно аналитическим данным компании Ovum, в 1998 году четыре из пяти проектов первой волны, связанных с большими данными, потерпели полный провал. Основная причина заключалась в том, что они не были уверены, насколько полученные ими выводы могли способствовать повышению эффективности ведения бизнеса, даже если сами эти выводы были верны. Поэтому они не знали, следует ли инвестировать в проекты, и не понимали, можно ли принимать бизнес-решения на основе этих фактов.

Как ни парадоксально, иногда от больших данных можно получить результат лучше, если начать с малого: использовать бесплатные или почти бесплатные сервисы для повышения эффективности бизнес-процессов, прежде чем делать в эту область крупные финансовые вложения.