Глава 12

Научный подход, стоящий за этой книгой

Каждый день наши новостные ленты пестрят стратегиями, призванными облегчить нашу жизнь, сделать нас счастливее и помочь покорить мир. Также мы слышим истории о том, как какие-то компании и организации используют различные стратегии для трансформации своих технологий и завоевывают рынок. Но как нам понять, какие предпринимаемые нами действия соответствуют изменениям, которые мы наблюдаем в своей среде, и какие действия будут способствовать этим изменениям? Как раз тут самое время для строгого первичного исследования. Но что мы подразумеваем под терминами «строгое» и «первичное»?

Первичные и вторичные исследования

Исследования делятся на два больших класса: первичные и вторичные. Ключевое различие заключается в том, кто занимается сбором данных. Вторичное исследование использует данные, которые были собраны другими лицами. Примеры вторичных исследований, вероятно, вам уже знакомы, — это отчеты о книгах или исследованиях, которые мы выполняли в школе или университете: мы собирали существующую информацию, обобщали ее и (будем надеяться) добавляли наши собственные идеи к тому, что уже было найдено. Типичные примеры также включают в себя тематические кейсы и некоторые отчеты о рыночных исследованиях.

Отчеты о вторичных исследованиях могут быть ценными, особенно если существующие данные сложно найти, резюме отличается глубиной или отчеты представляются с регулярными интервалами. Вторичные исследования, как правило, проводятся быстрее и стоят дешевле, но может оказаться, что данные не совсем подходят для исследовательской группы, так как они связаны с уже существующими данными.

В противоположность этому первичные исследования включают сбор новых данных исследовательской группой. Примером первичных исследований является перепись населения в Соединенных Штатах.

Каждые десять лет исследовательская группа собирает новые данные для представления демографической статистики и статистики численности населения по стране. Ценность первичных исследований состоит в том, что они могут сообщать о ранее неизвестной информации и предоставлять данные, которые недоступны в имеющихся базах данных. Первичные исследования дают исследователям больше возможностей и контроля над вопросами, с которыми они обращаются, хотя, как правило, они являются более дорогими и трудоемкими. Эта книга и «Отчеты о состоянии DevOps» основаны на первичных исследованиях.

Количественные и качественные исследования

Исследования могут быть качественными или количественными. Качественное исследование представляет собой любое исследование, данные которого не представлены в числовой форме. Они могут включать интервью, записи в блогах, сообщения в Twitter, подробные данные журналов регистрации событий и наблюдения этнографов. Многие считают, что исследование методом опросов является качественным, потому что не связано с компьютерными системами, однако это совсем не обязательно: все зависит от типа задаваемых вопросов. Качественные данные являются очень описательными и могут дать исследователям возможность обнаружить больше открытий и новых моделей поведения, особенно в сложных или новых областях. Тем не менее анализ таких данных зачастую сложнее и дороже; а усилия по анализу качественных данных с использованием автоматизированных средств часто заключаются в кодировании данных в числовую форму, что делает их количественными.

Количественные исследования — это любые исследования с использованием данных, которые включают в себя числа. Это могут быть системные данные (в числовом формате) или данные фондовых рынков. Системные данные — это любые данные, полученные из наших инструментов, и одним из примеров являются данные журнала регистрации событий. Они также могут включать в себя данные опроса, если в ходе опроса задаются вопросы, которые фиксируют ответы в числовом формате — предпочтительно на некой шкале. Представленное в данной книге исследование является количественным, так как его данные были собраны с использованием такого инструмента опроса, как шкала Ликерта.

Типы анализа

Количественные исследования позволяют проводить статистический анализ данных. Согласно концепции, представленной доктором Джеффри Ликом в Высшей школе общественного здравоохранения Блумберга при Университете Джона Хопкинса (Лик, 2013), существует шесть типов анализа данных (приводятся ниже в порядке возрастания сложности). Сложность обусловлена знаниями, которые требуются от аналитиков данных, затратами на проведение анализа, а также временем, необходимым для его выполнения. Вот эти уровни анализа.

1. Описательный.
2. Исследовательский.
3. Дедуктивно-прогностический.
4. Прогностический.
5. Казуальный.
6. Механистический.

Представленный в настоящей книге анализ относится к первым трем категориям концепции доктора Лика. Мы также приводим описание дополнительного типа анализа, классификацию, которая не полностью вписывается в вышеуказанную структуру.

Описательный анализ

Описательный анализ используют в отчетах о переписи населения. Данные обобщаются и вносятся в отчет, то есть описываются. Данный тип анализа требует наименьших усилий и зачастую выполняется в качестве первого шага в анализе данных, чтобы помочь исследовательской группе разобраться с имеющимся у них набором данных (и в более широком смысле их выборкой и, по возможности, популяцией). В некоторых случаях отчет останавливается на описательном анализе, как в случае с отчетами о переписи населения.

Наиболее распространенным примером описательного анализа является государственная перепись, в ходе которой обобщаются и представляются статистические данные о населении. Другие примеры включают большинство отчетов поставщиков и аналитиков, которые собирают данные и представляют сводную итоговую статистику о состоянии использования инструментов в какой-либо отрасли или об уровне образования и сертификации у технических специалистов. Процент компаний, которые начали свое путешествие по пути Agile или DevOps, как сообщает Forrester (Клавенс и соавторы, 2017), отчет IDC (International Data Corporation) о средней стоимости простоев (Эллиот, 2014) и обзор заработной платы аналитиков данных от компании O'Reilly (Кинг и Магулас, 2016) относятся именно к этой категории.

Эти отчеты очень полезны в качестве индикатора текущего состояния отрасли, показывающего, где в настоящее время находятся референтные группы (такие как население или отрасли), где они когда-то были и куда указывают тенденции. Однако описательные выводы хороши настолько, насколько хороши основной проект исследования и методы сбора данных. Любые отчеты, которые ставят своей целью представление базовой популяции, должны тщательно производить выборку для этой популяции и учитывать любые ограничения. Обсуждение этой проблематики выходит за рамки данной книги.

Примером описательного анализа в данной книге является демографическая информация об участниках нашего опроса и организациях, в которых они работают: из каких они стран, размер организаций, отрасль, а также их должности и пол ().

Исследовательский анализ

Исследовательский анализ — это следующий уровень статистического анализа. Это широкая категория, которая ищет взаимосвязи между данными и может включать визуальные отображения для идентификации шаблонов в данных. На данном этапе также могут быть обнаружены резко отклоняющиеся значения, хотя исследователям следует проявлять бдительность и убедиться в том, что такие отклоняющиеся значения, по сути, являются именно отклоняющимися значениями, а не полноправными участниками группы.

Исследовательский анализ — крайне интересная и увлекательная часть исследовательского процесса. Для тех, кто мыслит разнопланово, он зачастую представляет собой этап, на котором генерируются и предлагаются новые идеи, новые гипотезы и новые исследовательские проекты. Здесь мы открываем, как связаны переменные в наших данных, и ищем возможные новые связи и отношения. Однако это не должно стать завершением процесса для команды, которая желает сделать заявления о прогнозе или причинной связи.

Многие люди слышали фразу «корреляция не подразумевает причинной связи», но что она значит? Анализ, проведенный на стадии исследования, включает в себя изучение корреляции, но не причинно-следственной связи. Корреляция рассматривает, насколько согласованно (или несогласованно) изменяются две переменные, однако она не говорит нам, предсказывает или вызывает ли изменение одной переменной изменение другой переменной. Корреляционный анализ говорит нам лишь о том, изменяются ли две переменные совместно или противоположно; он не говорит нам, почему это происходит или что вызывает такое изменение. Согласованное изменение двух переменных всегда может быть связано с третьей переменной или просто случайностью.

Фантастический и интересный набор примеров, которые выделяют высокие корреляции, основанные на случайных связях, можно найти на сайте Spurious Correlations («ложные корреляции». — Прим. ред.). Его автор Тайлер Виджен рассчитал примеры высококоррелированных переменных, которые, как подсказывает нам здравый смысл, не являются прогностическими и, уж конечно, не являются причинными. Например, он демонстрирует (рис. 12.1), что потребление сыра на душу населения сильно коррелирует с числом людей, которые умерли, запутавшись в простынях (с корреляцией 94,71% или r = 0,9471; см. следующую сноску). Конечно, потребление сыра не является причиной удушения простынями. (А если и является, то какого именно сорта сыра?) Также трудно себе представить удушение простынями, вызывающее потребление сыра, если только его не подают в обязательном порядке на похоронах и поминках в масштабах целой страны. (И, опять же, сыр какого сорта? Что рисует нам мрачные маркетинговые возможности.) И все же, когда мы отправляемся «выуживать данные», наше сознание заполняет историю, поскольку наши наборы данных взаимосвязаны и часто именно этим и значимы. Именно поэтому так важно помнить, что корреляция — это всего лишь этап исследования: мы можем сообщить о корреляциях, а затем переходить к более сложным типам анализа.

Есть несколько примеров корреляций, о которых идет речь в нашем исследовании и в этой книге, поскольку мы осознаем важность и ценность понимания того, каким образом взаимосвязаны вещи в нашей среде. Во всех случаях мы говорили о корреляциях Пирсона, представляющих собой тип корреляции, наиболее часто используемый в современном бизнес-контексте.

Дедуктивно-прогностический анализ

Третий уровень анализа, дедуктивный, на сегодняшний день является одним из наиболее распространенных в области исследования бизнеса и технологий. Его также называют дедуктивно-прогностическим. Он помогает нам понять влияние HR-политики, организационного поведения и мотивации, а также то, как технологии влияют на такие результаты, как удовлетворенность пользователей, эффективность команды и производительность организации. Дедуктивное проектирование применяется тогда, когда чисто экспериментальное проектирование невозможно, а предпочтение отдается полевым экспериментам, например, в бизнесе, когда сбор данных осуществляется в сложных организациях, а не в стерильных лабораторных условиях, и компании не будут жертвовать своей прибылью, чтобы вписаться в контрольные группы, определенные исследовательской командой.

Чтобы избежать проблем с «выуживанием данных» и нахождением ложных корреляций, гипотезы должны быть основаны на теории. Данный тип анализа является первым шагом в научном методе.

Многие из нас знакомы с научным методом: выдвинуть гипотезу, а затем ее проверить. На этом уровне анализа гипотеза должна основываться на развитой и хорошо обоснованной теории.

Всякий раз, когда мы в этой книге говорим о результатах, оказывающих влияние или являющихся движущей силой, наш проект исследований использовал именно этот третий тип анализа. Хотя некоторые предполагают, что использование теоретически обоснованного проекта исследования ведет к предвзятости утверждений, именно так и творится наука.

Хотя постойте-ка — почти так. Наука не делается просто путем подтверждения того, что ищет исследовательская группа. Наука заключается в выдвижении гипотез, разработке исследований для их проверки, сборе данных, а затем проверке заявленных гипотез. Чем больше доказательств мы находим в поддержку гипотезы, тем больше у нас уверенности в ней. Этот процесс также помогает избежать опасностей, возникающих в ходе «выуживания данных», — ложных корреляций, которые могут случайно существовать, но не имеют реальной причины или объяснения, кроме случайности.

Примерами гипотез, проверенных с помощью дедуктивного анализа в нашем проекте, являются методы непрерывной доставки и архитектурные практики, повышающие эффективность доставки программного обеспечения, доставка программного обеспечения, положительно влияющая на эффективность организации, и организационная культура, оказывающая позитивное влияние как на доставку программного обеспечения, так и на эффективность организации. В этих случаях из статистических методов использовались либо множественная линейная регрессия, либо регрессия частичных наименьших квадратов. Более подробно эти методы описаны в Приложении С.

Прогностический, казуальный и механистический анализ

Последние уровни анализа мы не включили в свое исследование, потому что у нас не было данных, необходимых для работы такого рода. Мы кратко изложим их здесь для полноты картины и чтобы удовлетворить ваше любопытство.

• Прогностический анализ используется для предсказания или прогнозирования будущих событий на основе предыдущих событий. Типичные примеры включают в себя прогнозирование затрат или коммунальных платежей в коммерческой деятельности. Прогнозировать очень трудно, особенно когда вы пытаетесь заглянуть в отдаленное будущее. Этот тип анализа обычно требует исторических данных.
• Казуальный анализ считается золотым стандартом, но он сложнее прогностического анализа и является наиболее сложным для большинства технологических и бизнес-ситуаций. Этот тип анализа обычно требует проведения рандомизированных исследований. Распространенным видом казуального анализа в бизнесе является A/B-тестирование при разработке прототипов или веб-сайтов, когда можно собрать и проанализировать случайные данные.
• Механистический анализ требует наибольших усилий и редко применяется в бизнесе. В данном виде анализа практикующие его специалисты вычисляют конкретные изменения, которые необходимо внести в переменные, чтобы вызвать конкретное поведение, которое будет наблюдаться при определенных условиях. Он чаще всего используется в естественных или технических науках и не подходит для сложных систем.

Классификационный анализ

Еще одним видом анализа является классификация, или кластерный анализ. В зависимости от контекста, проекта исследования и методов анализа классификация может рассматриваться как исследовательский, прогностический или даже казуальный анализ. В данной книге мы пользуемся классификацией, когда говорим о наших командах доставки программного обеспечения с высокой, средней и низкой эффективностью. Это может быть знакомо вам в других контекстах, когда вы слышите о профилях клиентов или анализе потребительской корзины. На высшем уровне процесс работает следующим образом: в алгоритм кластеризации вводятся классификационные переменные и выделяются значимые группы.

В нашем исследовании мы применили данный статистический метод, используя переменные темпа и стабильности, чтобы постараться понять и определить, были ли различия в том, как команды разрабатывали и доставляли программное обеспечение, и в чем эти различия выражались. И вот что мы сделали: четыре наши переменных показателя эффективности технологии — частоту развертывания, время выполнения изменений, среднее время восстановления и процент сбоев при изменениях — мы поместили в алгоритм кластеризации и наблюдали, какие появились группы. Мы видим отчетливые, статистически значимые различия, где участники с высокой эффективностью лучше по всем четырем показателям, участники с низкой эффективностью хуже по всем четырем показателям, а имеющие среднюю эффективность значительно лучше отстающих, но существенно хуже лидеров. Подробнее см. .

Исследование в данной книге

Представленное в данной книге исследование охватывает четырехлетний период времени и было проведено самими авторами. Поскольку данное исследование является первичным, оно идеально подходит для решения имеющихся у нас исследовательских задач — в частности, какие возможности определяют эффективность доставки программного обеспечения и организационную эффективность. Настоящий проект был основан на количественных данных опроса, что позволяет нам произвести статистический анализ для проверки наших гипотез и обнаружить факторы, которые повышают эффективность доставки программного обеспечения.

В следующих главах мы обсудим шаги, которые мы предприняли для того, чтобы данные, которые мы собрали в ходе опросов, были достоверными и надежными. Затем мы разберемся, почему опросы могут быть предпочтительным источником данных для измерения — как в таком исследовательском проекте, как наш, так и в ваших собственных системах.