Анализируя структуру навыков и требований к современному Data Scientist (которая, кстати, уже тоже устарела, так как на смену работе с Hadoop пришел Spark для работы с NoSQL БД), можно выделить ряд ключевых ожиданий.

Помимо навыков из области математики или статистики, специалист в обязательном порядке должен обладать навыками, позволяющими ему уметь настраивать среду, загружать и обрабатывать данные и подготавливать датасет к исследованиям.

Кроме специалиста по исследованиям необходимы специалисты по контролю и качеству данных, бизнес-аналитики, архитекторы данных, разработчики информационных потоков и сервисов и так далее.

При всем обещающем многообразии компетенций и навыков встает открытый вопрос: к кому из бизнес-лидеров должна относится стратегия данных. Один из традиционных взглядов, преобладающий в большинстве компаний, выглядит следующим образом:

• Финансовый директор отвечает за стратегию данных и имеет специальное подразделение, которое выступает заказчиком и контролирует качество данных для всех остальных подразделений.

• IT-директор отвечает за реализацию, наполнение и сбор данных в соответствии с выставленными требованиями (SLA, OLA и так далее).

В такой конфигурации возникает несколько коллизий при работе с данными:

• Финансовое подразделение оперирует размерностями данных, которые в первую очередь будут покрывать потребности подразделения, входящие в зону его ответственности перед внешними инвесторами (МСФО отчетность, Investor Relations и другие). В этом смысле многомерная и сложная бизнес-сущность организации представляется в виде плоского отчета, во много отвечающего ограниченному количеству аналитических задач.

• IT-подразделение не берет на себя ответственность за качество данных в источниках. Помимо этого, гармонизация источников данных также требует приложение сверхусилий.

Решать такие коллизии призвана модель офиса CDO (Chief data officer) в прямом подчинении CEO, в котором появляются ряд новых профессий и ролей – например, data engineer или data architect. Они вместе с CDO проектируют и внедряют ряд ключевых артефактов, на которых будет строиться стратегия управления данными. Это могут быть:

• Единая бизнес модель и единая модель данных.

• Аппетит к риску на основании.

• Data Quality и так далее.

В своей основе data engineers имеют ряд отличительных особенностей от data scientists, если поставить их в один ряд, то можно сказать, что data engineers больше занимаются самими данными, нежели поиском инсайтов из них. Их задача – следить, проектировать и организовывать бесконечные потоки данных, структурируя и валидируя их для конечного пользователя.