Книга: Ценность ваших данных
Назад: Глава 8. Данные как объект управления
Дальше: Глава 10. Руководство данными
Глава 9. Управление данными: принципы и структуры
9.1. Методология DAMA-DMBOK
DAMA-DMBOK
В настоящее время наиболее полный и всеобъемлющий методический документ, ориентированный на формирование способностей организации по управлению данными, – DAMA-DMBOK. Более 30 лет назад была создана Международная ассоциация управления данными (Data Management Association International, DAMA), объединяющая профессионалов в области управления данными по всему миру и призванная собирать, систематизировать и пропагандировать лучший опыт. Важная задача DAMA – выработка единой терминологии и рамочных структур (frameworks) знаний и подходов.
В 2009 году вышло первое издание руководства DAMA к своду знаний по управлению данными (DMBOK), заложившее фундамент развития и созревания свода профессий, относящихся к управлению данными, а в 2017 году увидело свет второе издание – DAMA-DMBOK2,.
Основное назначение DMBOK – предоставление наиболее полного, точного и актуального введения в дисциплину управления данными:
● выработка общепринятого согласованного представления об областях знаний по управлению данными;
● определение руководящих принципов управления данными;
● предоставление стандартных определений для наиболее часто используемых понятий;
● обзор лучших практик, методов и методик, а также альтернативных подходов;
● краткий обзор общих организационных и культурных вопросов;
● уточнение границ сферы управления данными;
● предоставление рамочных структур управления данными.
Принципы управления данными
Как и в любых других процессах, связанных с менеджментом, в управлении данными должны сбалансированно учитываться как стратегические цели, так и текущие операционные задачи. Для нахождения и соблюдения оптимального баланса рекомендуется следовать определенному своду принципов (рис. 9.1), которые отражают наиболее характерные особенности управления данными и служат проводником в этом процессе.
Для обеспечения последовательной и согласованной реализации этих принципов области управления данными должны быть правильно отструктурированы.
* DAMA International. DAMA-DMBOK: Data Management Body of Knowledge: 2nd Edition. Technics Publications, 2017. (Русский перевод: DAMA-DMBOK: Свод знаний по управлению данными. Второе издание / Dama International. – М.: Олимп-Бизнес, 2020.)
Основная рамочная структура DAMA
Основная рамочная структура DAMA состоит из трех элементов: колесо DAMA, шестиугольник факторов среды и контекстные диаграммы, каждый из которых играет свою важную роль.
Колесо DAMA
На рисунке 9.2 представлена круговая диаграмма областей знаний по управлению данными – колесо DAMA (DAMA Wheel). В DMBOK выделено 11 областей знаний по управлению данными.
1. Руководство данными (data governance). Деятельность по осуществлению руководящих и контрольных полномочий (планирование, мониторинг и обеспечение выполнения) в отношении управления информационными активами.
2. Архитектура данных. Определение потребностей организации в данных (безотносительно к структуре), а также разработка и сопровождение основных рабочих описаний (master blueprints) решений по их обеспечению. Использование основных рабочих описаний в качестве руководящих материалов при осуществлении интеграции данных и контроля информационных активов, а также при согласовании инвестиций в области данных с бизнес-стратегией.
3. Моделирование и проектирование данных. Процесс выявления, анализа и формулирования требований к данным с последующим их представлением и распространением в точно определенной форме, называемой моделью данных. Процесс носит итерационный характер и может включать разработку концептуальной, логической и физической моделей.
4. Хранение и операции с данными. Проектирование и реализация решений для хранения, а также сопровождение хранимых данных, с целью получения от них максимальной выгоды на протяжении всего их жизненного цикла.
5. Безопасность данных. Планирование, разработка и осуществление политик и процедур, обеспечивающих должную аутентификацию, авторизацию и доступ пользователей, а также аудит данных и информационных ресурсов организации.
6. Интеграция и интероперабельность данных. Управление перемещением и консолидацией данных как внутри хранилищ, приложений и организаций, так и в рамках обеспечения их взаимодействия.
7. Управление документами и контентом. Планирование, реализация и контроль деятельности по управлению жизненным циклом неструктурированных (или полуструктурированных) данных и информации, представленных в любых форматах и на любых носителях.
8. Справочные и основные данные. Управление совместно используемыми данными, направленное на достижение целей организации, минимизацию рисков, обусловленных избыточностью данных, обеспечение повышения качества данных и снижения затрат на интеграцию данных.
9. Ведение хранилищ данных и бизнес-аналитика. Планирование, внедрение и контроль процессов предоставления данных для принятия решений и информационная поддержка специалистов, участвующих в аналитической деятельности и формировании отчетности.
10. Метаданные. Планирование, организация и контроль деятельности по обеспечению доступа к качественным, интегрированным метаданным.
11. Качество данных. Планирование, организация и контроль выполнения работ по применению стандартных методов управления качеством к данным с целью обеспечения их пригодности к использованию.
Руководству данными отведено центральное место в структуре деятельности по управлению данными, поскольку оно призвано обеспечить согласованность и сбалансированность всех функций. Другие области знаний равномерно распределены вокруг центра колеса DAMA. Все эти компоненты необходимы, чтобы функцию управления данными можно было назвать зрелой, но реализовывать их можно постепенно и в различном порядке, определяемом нуждами организации.
Шестиугольник факторов среды
По каждой области знаний управления данными в DMBOK подробно описаны основные факторы среды (на рисунке 9.2 представлены в виде шестиугольника):
● процессы;
● люди (роли и ответственность);
● технологии.
Шестиугольник факторов среды отражает связи между людьми, процессами и технологиями и служит ключом к прочтению контекстных диаграмм DMBOK (см. далее). В центр помещены цели и принципы, поскольку именно ими необходимо руководствоваться, принимая решения о том, как подойти к исполнению конкретных работ и какие инструменты использовать для эффективного управления данными.
Контекстные диаграммы
В DMBOK применен унифицированный подход к описанию областей знаний по управлению данными, который обеспечивает высокую степень наглядности, – контекстные диаграммы. Контекстная диаграмма области знаний описывает отдельные ее элементы, включая те, что относятся к людям, процессам и технологиям (отраженным на шестиугольнике факторов среды). За основу построения контекстных диаграмм взят принцип структуризации, применяемый в диаграммах SIPOC (suppliers, inputs, processes, outputs, consumers – поставщики, входы, процессы, выходы, потребители), широко используемых при анализе цепей поставок, о которых мы говорили в главе 7. Шаблон контекстной диаграммы приведен на рисунке 9.3.
В контекстных диаграммах центральное место отводится работам, поскольку они дают результаты, удовлетворяющие требованиям тех, кто в этих результатах заинтересован. Каждая контекстная диаграмма начинается с определения и целей области знаний. Работы, обеспечивающие продвижение к целям, помещены в центральной части диаграммы и распределены по четырем фазам – планирование (П), разработка (Р), операции (О) и контроль (К).
1. Работы по планированию (П) определяют стратегический курс и тактику достижения целей управления данными. Работы по планированию повторяются на регулярной основе.
2. Работы по разработке (Р) строятся вокруг жизненного цикла разработки систем (system development lifecycle, SDLC), включающего фазы анализа, проектирования, сборки, тестирования, подготовки и развертывания.
3. Работы по выполнению операций (О) включают мероприятия по поддержке применения, обслуживания и совершенствования систем и процессов, обеспечивающих доступ к данным и их использование.
4. Работы по контролю (К) включают мероприятия по непрерывной поддержке качества данных, а также целостности, надежности и защищенности систем, обеспечивающих доступ к данным и их использование.
Слева («втекают» в работы) указаны входные материалы и их поставщики. Справа («вытекают» из работ) – результаты работ и их потребители. Наконец, участники работ и их роли определены под работами. В нижней части диаграммы перечисляются инструменты, методы и метрики, относящиеся к рассматриваемой области знаний.
Списки в контекстной диаграмме носят иллюстративный и не самый исчерпывающий характер. На практике они могут дополняться другими пунктами и варьироваться по составу в зависимости от специфики организаций. В списки ролей включаются лишь самые важные роли. Каждая организация может адаптировать этот шаблон с целью обеспечения соответствия своим потребностям.
Диаграммы SIPOC помогают отчетливо представить управление информационными активами как процесс формирования цепочки поставок данных. Каждая функциональная область преобразует поступающие на ее вход материалы в продукты, являющиеся вкладом в создание одного из ее звеньев.
* DAMA International. DAMA-DMBOK: Data Management Body of Knowledge: 2nd Edition. Technics Publications, 2017. (Русский перевод: DAMA-DMBOK: Свод знаний по управлению данными. Второе издание / Dama International. – М.: Олимп-Бизнес, 2020.)
Таким образом, элементы основной рамочной структуры DAMA играют следующие роли:
● колесо DAMA отражает состав областей знаний на верхнем уровне;
● на более низком уровне шестиугольник факторов среды выделяет общие структурные компоненты для всех областей;
● контекстные диаграммы позволяют представить детали этих компонентов для каждой области.
В первой части мы уже говорили о том, что метафора цепочки поставок данных позволяет улучшить взаимодействие между отдельными функциями управления данными и более осознанно подойти к проблеме преодоления разрыва между данными и информацией (см. главы 4 и 7). Хотя рассмотренная рамочная структура достаточно полна и подробна, у нее есть недостаток – ни один из трех ее элементов не описывает связи между различными областями знаний. У работающих с ней специалистов нет удобной схемы, наглядно отражающей целостное видение системы управления данными организации и, в частности, позволяющей представить ее в контексте цепочки ценности и цепочки поставок. В результате усилий, направленных на устранение данного пробела, основная структура была дополнена альтернативным представлением областей знаний DMBOK, связанным с жизненным циклом данных.
Представление рамочной структуры DAMA в привязке к жизненному циклу данных
На рисунке 9.4 приведено альтернативное представление колеса DAMA. Этот вариант представления отражает концепцию общей архитектуры областей знаний по управлению данными в виде диаграммы соответствующих функций управления данными и их взаимосвязей.
Диаграмма включает дополнительные детали, разъясняющие содержание некоторых областей там, где это необходимо для более четкого понимания соотношений.
Предлагаемая структура исходит из основной цели управления данными: предоставить организациям возможность извлекать выгоду из их информационных активов так же, как и из любого другого актива. Извлечение выгоды требует управления жизненным циклом данных, поэтому функции управления данными, относящиеся к конкретным фазам жизненного цикла, помещены в центральную часть диаграммы. Начинается все с моделирования и проектирования надежных и качественных данных; затем внедряются процессы и функции, обеспечивающие доступность данных для использования и возможности по их обслуживанию; и, наконец, осуществляется использование данных в различных типах аналитики, за счет чего их ценность повышается.
* DAMA International. DAMA-DMBOK: Data Management Body of Knowledge: 2nd Edition. Technics Publications, 2017. (Русский перевод: DAMA-DMBOK: Свод знаний по управлению данными. Второе издание / Dama International. – М.: Олимп-Бизнес, 2020.)
Отведенный управлению жизненным циклом раздел включает функции по проектированию и операционные функции (моделирование, архитектура, хранение, обработка и т. п.), необходимые для поддержания традиционных способов применения данных (бизнес-аналитика, управление документами и контентом и т. п.). Кроме того, он учитывает и недавно появившиеся функции, к примеру хранение больших данных, которые необходимы для реализации новых возможностей (наука о данных, предиктивная аналитика и т. п.). Когда организации управляют данными как активом, у них появляется возможность извлечения выгоды из них (монетизация данных) посредством оптимизации бизнеса на основе данных (косвенная монетизация) и (или) их продажи другим организациям (прямая монетизация).
Организации, фокусирующие внимание только на тех функциях, которые напрямую связаны с конкретными фазами жизненного цикла, не смогут извлечь из своих данных такой же большой выгоды, какую они могли бы получить, осуществляя поддержку жизненного цикла с помощью остальных функций управления данными. Эти функции делятся на базовые направления деятельности и деятельность по надзору. Базовые направления деятельности (защита данных, управление метаданными и качеством данных) охватывают весь жизненный цикл данных. Они позволяют реализовывать более качественные проектные решения и облегчают использование данных. Если деятельность по этим направлениям хорошо налажена, стоимость обслуживания данных снижается, потребители данных испытывают к ним больше доверия, а возможности их использования существенно расширяются.
Для успешной поддержки производства и использования данных, а также обеспечения деятельности по базовым направлениям с требуемым уровнем исполнительской дисциплины многие организации устанавливают надзор за управлением данными в форме руководства данными (data governance).
Представленная на рисунке 9.4 схема, сильно напоминает структуру цепочки ценностей по Портеру и цепь поставок в соответствии со SCOR-моделью, которые мы обсуждали в главе 7. По сути дела, она отражает модель управления цепочками поставок данных. Как было в сказано в главе 7, хотя на первый взгляд термин «цепочка поставок» ориентирован на поставщика, однако на самом деле цепочки поставок разрабатываются с учетом потребностей клиента. Ориентация на результат позволяет более осознанно подойти к проблеме преодоления разрыва между данными и информацией. Поэтому далее в этой книге мы будем рассматривать функциональные области управления данными именно в соответствии с приведенной на рисунке 9.4 схемой.
9.2. Принципы создания системы управления данными
При создании в организации системы управления данными полезно придерживаться следующих принципов.
1. Принцип владения (принадлежности). Все данные, используемые для обеспечения деятельности организации, должны иметь назначенного владельца, который несет ответственность за надлежащее распоряжение ими.
2. Принцип описания. Все данные должны быть соответствующим образом описаны, чтобы их содержание (и назначение внутри организации) были правильно понимаемы.
3. Принцип обеспечения качества. Все данные должны быть надлежащего качества, соответствующего целям их использования в организации.
4. Принцип обеспечения доступа. Все данные должны быть доступны тем, у кого есть законные основания их использовать. Кроме того, данные должны быть надежно защищены от потери, повреждения или неправильного использования.
5. Принцип совместного использования. Все данные должны быть доступны для обмена с любой организацией или физическим лицом, имеющими соответствующие права, и совместно использоваться надлежащим образом.
6. Принцип реализации (внедрения и контроля). Должно быть реализовано надлежащее управление всеми категориями данных с учетом специфики каждой категории.
Принципы перечислены в порядке приоритетности. Реализация каждого предыдущего принципа обеспечивает основу для реализации последующих принципов.
Области знаний (функции) управления данными могут быть разбиты на соответствующие функциональные направления, в зависимости от того, к реализации какого принципа они относятся. На рисунке 9.5 эти функциональные направления представлены в виде иерархической пирамиды.
* Smith P., Edge J., Parry S., Wilkinson D. Crossing the Data Delta: Turn the data you have into the information you need. Entity Group Limited, 2016.
Деятельность в рамках того или иного функционального направления имеет приоритет того принципа, который она обеспечивает. Из этого не следует, что нельзя начинать деятельность в рамках какого-либо направления, пока мы не выполним все запланированные мероприятия в рамках более приоритетных направлений. Мероприятия любого направления должны осуществляться параллельно. Просто нужно учитывать, что, если мы не будем уделять должного внимания деятельности по реализации более приоритетных принципов, эффективность мероприятий по реализации остальных принципов будет очень низкой.
Изложенные принципы, в частности, положены в основу разработки комплекса стандартов по управлению данными правительства Абу-Даби (ОАЭ). Это один из первых в своем роде всеобъемлющих (с точки зрения охвата областей знаний по управлению данными и этапов жизненного цикла данных) документов в области стандартизации управления данными для правительственных организаций. Он внедрен и используется в рамках реализации масштабной общеправительственной программы управления данными, охватывающей более 50 государственных ведомств. Комплекс соответствует рамочной структуре DAMA и обеспечивает поддержку действующей в правительстве Абу-Даби политики управления данными.
* ADSIC. Abu Dhabi Government Data Management Standards: Version 1.0. Abu Dhabi Systems & Information Centre (ADSIC), 2016. – URL: .
На рисунке 9.6 приведена диаграмма, отражающая распределение усилий по внедрению и дальнейшему выполнению программы управления данными в организации. По вертикали расположены функциональные направления, соответствующие описанным выше принципам. По горизонтали – мероприятия, проводимые в рамках разработки, внедрения и дальнейшего выполнения программы управления данными.
На этапе разработки и внедрения программы управления данными организации необходимо направить основные усилия на начальные мероприятия в верхних функциональных областях (в первую очередь в области, соответствующей принципу владения). Это мероприятия, связанные с реализацией таких необходимых элементов, как организационная система (совокупность организационной структуры и организационного механизма), процессы, инструменты, стандарты.
По мере внедрения постоянно действующей программы управления данными и перехода к выполнению входящих в нее проектов (ИТ– и бизнес-проектов, тесно связанных с работой с данными) на регулярной основе усилия перераспределяются с верхних областей на нижние (прежде всего на область внедрения и контроля управления конкретными категориями данных в конкретных областях бизнеса).
Соответственно, чем лучше будут реализованы элементы верхних функциональных областей на этапе разработки и внедрения программы управления данными, тем меньше дополнительных усилий они потребуют при выполнении регулярных проектов. Это позволит полностью сосредоточиться на достижении основных целей этих проектов – получении максимальной выгоды от работы с данными.
9.3. Модель зрелости управления данными
Подход к оценке зрелости способностей (Capability Maturity Assessment, CMM) был разработан в конце 1980-х годов по заказу Министерства обороны США Институтом программной инженерии (Software Engineering Institute, SEI) в Университете Карнеги – Меллона (Carnegie Mellon University, CMU) первоначально для оценки зрелости процессов разработки программного обеспечения. В дальнейшем аналогичные модели появились и для других областей деятельности, в частности для области управления данными,.
В данном случае под зрелостью понимается зрелость процессов, которая, в свою очередь, определяется зрелостью способностей процессов. Под способностью процесса (process capability) понимается характеристика его потенциала для достижения текущих или планируемых бизнес-целей. Модель зрелости процессов была впервые описана Филиппом Кросби (Philip Crosby) – одним из признанных в мире американских авторитетов в области качества – в книге «Качество – бесплатно» (Quality is Free, 1979). Смысл его подхода заключался в следующем: если на предприятии налажены производственные процессы, то уровень качества продукции повышается сам собой, без специальных затрат. Кросби описал пять эволюционных фаз внедрения системы управления качеством. Позже модель зрелости Кросби была адаптирована сотрудниками компании IBM для процессов разработки ПО. В 1986 году они предложили свою концепцию Институту программной инженерии (SEI).
Термин «способности» (capabilities) и важную роль способностей организации в достижении ее стратегических целей мы уже обсуждали, когда говорили о данных как стратегическом ресурсе организации. Следует заметить, что применительно к вопросам оценки зрелости слово capabilities чаще переводится на русский язык как «возможности» и для многих отечественных специалистов в сфере ИТ такой перевод более привычен. Исходя из этих соображений, в частности, этот вариант перевода применен и в русском издании DAMA-DMBOK2. Однако, поскольку в этой книге понятие capabilities рассматривается не только в контексте оценки зрелости, по отношению к нему применяется более корректный термин – «способности».
Модели оценки зрелости управления данными (Data Management Maturity Assessment, DMMA) описываются в терминах продвижения по уровням зрелости, которым поставлены в соответствие характеристики процессов. Когда организация начинает понимать характеристики своих процессов, она может начать повышать их уровень зрелости и внедрять план совершенствования способностей. Она может также измерять степень продвижения и сравнивать себя с конкурентами или партнерами на основе уровней зрелости, выделенных в модели.
С переходом на очередной уровень процесс становится более стабильным, предсказуемым и надежным. Продвижение осуществляется по мере достижения характеристик определенного уровня. Переход на очередной уровень осуществляется, если обеспечиваются соответствующие ему характеристики процесса. При этом ни один уровень не может быть пропущен.
Как правило, рассматриваются следующие уровни (рис. 9.7):
● Уровень 0. Отсутствие возможностей.
● Уровень 1. Начальный (или бессистемный – ad hoc): успех зависит от компетенции отдельных сотрудников.
● Уровень 2. Повторяемый: присутствует минимальная дисциплина выполнения процессов.
● Уровень 3. Установленный: введены и используются стандарты.
● Уровень 4. Управляемый: обеспечена возможность измерения характеристик процессов и осуществляется их контроль.
● Уровень 5. Оптимизированный: обеспечена возможность измерения степени достижения целей процессов.
Для каждого уровня описываются критерии оценки характеристик процессов. Например, модель зрелости может включать критерии оценки эффективности процессов, в том числе степень автоматизации. Она может фокусироваться на политиках и контрольных функциях, а также на деталях процессов.
* DAMA International. DAMA-DMBOK: Data Management Body of Knowledge: 2nd Edition. Technics Publications, 2017. (Русский перевод: DAMA-DMBOK: Свод знаний по управлению данными. Второе издание / Dama International. – М.: Олимп-Бизнес, 2020.)
Оценка зрелости позволяет определить, что работает хорошо, что – недостаточно хорошо и где имеются пробелы. Основываясь на полученных данных, организация может разработать дорожную карту, нацеленную на:
● совершенствование по наиболее важным направлениям, относящимся к процессам, методам, ресурсам и средствам автоматизации;
● обеспечение способностей, которые соответствуют бизнес-стратегии;
● поддержку процессов руководства, которые необходимы для периодической оценки прогресса организации, основанной на характеристиках, заложенных в модель.
Перед началом любого процесса DMMA организации необходимо оценить текущее состояние своих способностей, ресурсов, целей и приоритетов (базовый уровень – baseline). При этом она уже должна обладать некоторой организационной зрелостью – чтобы провести первичную оценку и эффективно отреагировать на ее результаты, определив цели, утвердив дорожную карту и наладив мониторинг прогресса.
* DAMA International. DAMA-DMBOK: Data Management Body of Knowledge: 2nd Edition. Technics Publications, 2017. (Русский перевод: DAMA-DMBOK: Свод знаний по управлению данными. Второе издание / Dama International. – М.: Олимп-Бизнес, 2020.)
На рисунке 9.8 отражено возможное визуальное представление результатов экспертной оценки зрелости управления данными по методологии DMMA. Внешний контур задает необходимые для обеспечения конкурентоспособности организации оценки зрелости по всем функциональным областям, а внутренний отражает фактическое положение дел, выявленное по результатам экспертизы. Области с наибольшим разрывом между желаемым и текущим состояниями являются источником наибольших рисков для организации. Подготовка такого отчета очень полезна для определения приоритетов. Для мониторинга достигнутого прогресса могут использоваться повторные экспертизы.
Существует довольно много разнообразных методик оценки зрелости управления данными, разработанных различными организациями. Любая из них предусматривает наличие определенной рамочной структуры из отдельно оцениваемых областей процессов (process areas) управления данными.
Фокус и содержание различных методик сильно варьируются, в зависимости от того, делается упор на общие вопросы или отраслевую специфику. В то же время во избежание ненужных сложностей, наиболее предпочтительны методики, в которых можно отобразить модель процессов на области знаний по управлению данными.
Из имеющихся сегодня методик наиболее известны, проработаны и подробно описаны две.
1. Модель CMMI-DMM]. Модель зрелости управления данными (DMM) Института моделирования зрелости способностей (Capability Maturity Model Institute, CMMI).
2. Модель EDM Council – DCAM. Модель оценки способностей по у, правлению данными (Data Management Capability Assessment Model [DCAM] Совета по управлению корпоративными данными [Enterprise Data Management Council, EDM Сouncil]).
Модель EDM Council – DCAM ориентирована прежде всего на финансовые организации (в соответствии с основным направлением деятельности EDM Council – отстаивание отраслевых интересов в сфере финансовых услуг), и, хотя ее вполне могут применять организации из других отраслей, все же модель CMMI-DMM гораздо более полная и универсальная.
Со следующей главы мы начнем обсуждение отдельных областей знаний (или функций) по управлению данными. Рассмотрим их роли в формировании цепочек поставок данных и вклад в цепочки ценности. При этом для каждой из функций будут приведены обобщенные характеристики ее уровней зрелости.
Литература к главе 9
• Legner C., Pentek T., Otto B. Accumulating Design Knowledge with Reference Models: Insights from 12 Years’ Research into Data Management // Journal of the Association for Information Systems, 2020, 21(3): 735–770. DOI: 10.17705/1jais.00618. – URL:
• Van Gils B. Data Management: a Gentle Introduction: Balancing Theory and Practice. Van Haren Publishing, 2020.
