Enable javascript in your browser for better experience. Need to know to enable it? Go here.
Data Mesh实践指南:三、产品思维及开发

Data Mesh实践指南:三、产品思维及开发

本文是探索Data Mesh成功落地的关键实践和原则系列文章的第三篇。点击此处可阅读第一篇文章第二篇文章。本文探索的实践经验均源自我们近期为Roche实施Data Mesh的实际项目,但文中所使用各种项目用例和模型均已进行简化,不代表向Roche交付的最终项目成果。

 

上一篇文章介绍了支持Data Mesh成功落地所需进行的运营模式变革,以及我们利用EDGE精益价值树(LVT)来确定这些变革(最终推动实现高价值客户成果)时进行的探索过程。

LVT原则塑造了我们理解、思考和创造数据产品的方式。这是Data Mesh探索过程产品流的出发点。

当团队希望开始将数据视为产品时,我们建议从组织目标向后推演,确定高价值分析用例,最后再确定实现用例需要使用哪些数据产品。

 

在整个过程中,通过相关利益相关者确定其优先目标和假设用例,最终帮助我以价值导向,决定应该构建哪些数据产品。 

 


这个方法可以确保领域团队及其组织在Data Mesh内添加哪些数据产品是进行过深思熟虑的选择,确保团队最终不会意外创建出类似数据湖怪物的东西。

 

关键实践1:为确定的每个用例制定面向价值的模板

 

我们采用结构化方法确保确定的每个用例可以轻松映射回到LVT和我们最终希望实现的目标。为此,我们使用了假设用例模板:

它是一个简单的框架,但却有助于确保在实现数据产品的每一个假设用例时首先对其预期价值树立一个清晰的认识,同时明确所述价值的衡量和实现方法,请参考我们与Roche合作的两个示例:

在模板中定义了每个用例之后,我们可以将其反映到我们最初的精益价值树中:

然后,根据企业希望实现和追求的目标对列出的用例进行优先级排序。对此,我们使用了以下数据用例优先级排序模板,不过其他类似的优先级排序方法也同样适用:

无论您选择使用哪一个框架,关键在于在这个优先级确定过程的每一阶段都有适当的IT和业务利益相关者参与其中。您需要在开始旅程时全面了解对领域而言最重要的成果是什么,以及通过什么途径去实现这个成果;因此广泛收集输入信息是十分重要的。

 

拥抱产品思维

 

在这一阶段,需要注意产品思维在Data Mesh中发挥的作用。数据产品之所以被称为数据产品是因为它们的确是产品,且是客户选择和重视的产品。

 

为实现其潜在价值,Data Mesh要求构建产品的领域了解和采用产品思维原则。对于一些人而言,特别是习惯于与客户密切合作并响应其需求的人,产品思维可能是自然形成的。对于其他人而言,可能需要刻意培养和提高这个能力。

 

根据产品思维最佳实践,加入Data Mesh的领域决策者应了解以下原则:

  • 了解您的客户并了解他们希望以何种方式与您的产品进行交互,您的产品需要如何设计才能与其运行方式保持一致。
  • 产品思维和项目思维有何差异,在产品生命周期中,需要如何持续完善和改进产品。
  • 跨领域知识和数据共享的价值,不仅需要专注于您自己的用例和假设效益,还应关注其他领域的用例和假设效益。
  • 多元视角和输入的价值,何处何时需要组建跨职能团队,以提供具体的产品产出和成效。

数据产品与数据资产有何区别?

 

数据资产可以是任何由数据构成的实体,如数据库或应用输出的文件。 

 

数据产品则:

  • 是为支持实现您LVT中确定的具体用户驱动式目标而创建的
  • 须符合明确定义的SLO
  • 由某个领域或利益相关者负责管理,由某个负责其正常运行的数据产品团队进行维护。

 

数据产品的构成

关键实践2:制定数据产品模板

 

确定优先用例列表后,即可开始确定最能帮助践行和实现这些用例的数据产品。

 

此处介绍了一个简单的数据产品模板,有助于您清楚了解数据产品的工作内容和工作方式

 

塑造您的数据产品模板的六个问题

 

以下六个问题将帮助引导我们探索过程的产品流,帮助领域确定他们具体需要构建哪些产品,以及应如何结合应用这些产品实现最大价值。

  • 谁将使用数据产品?数据产品首先将服务哪些利益相关者?
  • 如果我们公开这个数据产品,它会给消费者带来价值吗?是否有其他利益相关者或领域会对这个数据产品感兴趣?
  • 他们将如何使用这个数据产品并与之交互? 
  • 他们将利用这个数据产品支持哪些任务或活动?我们将如何满足他们的相关消费需求?
  • 这些消费者将如何获取或使用这个数据产品?
  • 这个数据产品需要哪些输入数据?或者,构建和维护这个数据产品需要什么数据源?

 

回答这些问题后,我们将能够填写以下数据产品模板:

 

在本文中,我们特意选择了一个360数据产品,因为我们经常会遇见360数据解决方案。在这种情况下,HCP 360数据产品并非是与HCP有关的所有数据的简单组合。相反,每一项输入都经过认真考虑,是特意纳入其中的,以便充分满足我们确定的消费者的需求。

 

例如,第一代数据产品仅包含与HCP数字化营销方式有关的数据,而第二代产品已包含有关建议和未来操作步骤的关键信息。这种迭代方法帮助了我们构建与消费者极其相关且对消费者非常有用的产品,满足了消费者的真正需求。

 

关键成果:数据产品交互图

 

利用输入模板确定了数据产品集合后,便可以开始绘制数据产品交互图,如下所示:

 

数据产品交互图清晰显示了数据源和集成源如何向数据源导向型数据产品和消费者导向型数据产品提供信息。但这个图对团队的最大价值是帮助团队识别优先数据产品之间的重叠数据应用区域。

 

这样有助于团队调整其数据产品的边界,并避免不必要的重复工作,甚至设计出联合潜在数据产品的方法,以支持满足多种密切关联的需求。

 

随着时间的推移,可以将相互提供信息的多个交互图结合起来,为领域创建一个综合数据产品格局,如下所示:

 

此处将HCP 360数据产品用作数字化营销数据产品的输入。利用这个综合视图,我们确定了四个数据产品(以黄色表示),这四个数据产品可以同时支持上述两个用例,他们的边界在逻辑上可以合并。 

 

数据产品交互图帮助我们全面了解给定领域的所有基础数据产品。随着新的优先用例不断确定并添加到Data Mesh中,该图将相应地完善,持续给团队带来有关其数据产品格局的清晰视图,帮助他们就数据产品开发或演进制定明智决策。

 

关键实践3:制定清晰的SLI和SLO

 

根据我们的经验,导致数据复用性偏低的最常见原因之一是数据格式不符合具体团队或用例的需求。当我们将数据视为产品时,我们需要根据数据产品在其服务的各个用例中的具体使用方式来制定明智决策,提高互操作性和复用性。

 

在进一步探究前,我们一起来学习几个关键术语:

  • 服务水平目标(SLO)是指服务水平的目标(Service-level objectives),以SLI进行度量,通常以一段时间内的百分比表示,如:三个月内的可用性为99%
  • 服务水平指标(SLI)是指用以评估向最终用户提供的服务水平的指标(如可用性、延迟和准确性)。
  • 错误配额是指在SLO合规性范围内,对不可靠服务的接受程度。

 

在Data Mesh中,我们利用SLO确保单个数据产品按预期运行。如果中断或干扰超过了设定错误预算,将迫使产品团队检查待办事项并提高数据产品的可靠性或稳定性。

 

例如,如果SLO为“每天上午九点前处理前一天99.5%的交易”,则其错误配额为“每天未能处理0.5%的交易”。该错误配额还可设置为“每个月未能处理2%的交易”。如果突破或达到该错误配额,将构成违反SLO。

 

我们通过“产品使用模式”探索活动来集思广益,了解利益相关者希望的数据产品使用方式及其对数据产品的主要期望。这个过程帮助我们确定各个数据产品的SLO。

 

关键实践4 将所有数据产品映射到Data Mesh精益价值树 

 

最后一步,我们利用以下Data Mesh模板将Roche确定的数据产品映射到领域精益价值树(LVT)。

 

以Roche为例,他们的LTV如下:

 

就Data Mesh变革管理而言,这是我们最具价值创造力和最关键的一步。数据与一个或多个业务目标的切实关联是数据成为数据产品的关键所在,证明了数据的存在意义,并清楚地表明数据如何为相应领域和总体业务提供支持。这一定义包含了成功衡量标准、负责人和未来路线图。在这一阶段,每个人都清楚地了解预期业务成果以及他们在取得业务成果的过程中所起的作用。

 

根据领域的目标,业务决策制定者可就他们希望实现的目标制定明智的决策,从而帮助确定优先构建的数据产品。

 

数据产品MVP检查表 

 

除假设价值和业务目的之外,对于每一个数据产品,我们明确了以下标准,以帮助每一个人了解他们的目的和价值:

 

最低数据产品要求

 

强制要求:

  • 负责人/管理人(数据产品第一联系人、访问权限批准者)
  • 数据产品名称(数据领域内的唯一名称)
  • 数据产品的描述
  • 数据共享协议(在Collibra等通用市场目录中发布)
  1. “公开访问”或“审批访问”(由数据产品负责人授权)
  2. 公布的数据访问策略:规定谁有权/无权访问数据
  3. 分发权:消费者是否可向第三方分发已修改(聚合、过滤、合并)或未修改的数据
  4. SLO
  • 端口(数据产品发送数据的机制)
  • 数据产品类型(消费者导向型或数据源导向型)
  • 业务领域(业务职能)
  • 数据隐私、分类和合规(*仅对医疗、银行等管制行业是强制要求)

在创建LVT、数据产品交互图和数据产品检查表后,领域可进入我们的最后一个探索阶段,制定技术和架构决策。

 

在本系列的第四篇,也是最后一篇文章中,我们将详细探究这些决策,并通过几个示例来介绍Data Mesh如何帮助组织建立支持Data Mesh运营的坚实技术和架构基础。