Technology Radar
数据网格 是一种面向分析和机器学习的技术方法，以去中心化的组织和技术方式分享、访问和管理数据。当前数据组织架构日渐复杂，数据使用案例激增以及数据源愈加多样化，面对当前的数据环境，数据网格希望创建一种社会技术方法，旨在规模化的获取数据中的价值。从本质上讲，它创建了一个可靠的数据共享模式，与组织同步发展并持续拥抱变化。据我们所知，业界对数据网格的兴趣正在显著增长。这种方法已经激发了许多组织去拥抱它所提倡的内容，技术供应商也使用现有技术为数据网格找到了新的部署方式。尽管业界对数据网格颇有兴趣，并且也越来越有经验，但是其实施却面临着高昂的整合成本。此外，它所提倡的内容仍旧局限于那些依据数据网格的硬性社会层面进行组织拆分的大型机构以及技术供应商——去中心化的数据所有权和联合治理的运作模式。
这些想法在 Data Mesh: Delivering Data-Driven Value at Scale 一书中被探讨，用于指导从业人员、架构师、技术领导以及决策者从传统大数据架构到数据网格的转型。该书完整地介绍了数据网格的原理及其构成要素；涵盖了如何设计数据网格架构、指导和执行数据网格战略以及引导组织设计向去中心化的数据所有权模式发展。本书的目标是为更深层次的对话创造一个新的框架，并引导数据网格到成熟的下一阶段。
我们越来越多地看到数据驱动的组织想要实现的目标，与当前数据架构和组织结构所允许的目标是不匹配的。组织希望将数据驱动决策、机器学习和分析嵌入到其产品和服务以及内部运营的许多方面中；从本质上讲，他们希望通过数据驱动的智能来增强其运营环境的各个方面。然而，在我们可以嵌入分析数据、访问并在业务领域和运营中管理这些数据之前，还有很长的路要走。现在，管理分析数据的各个方面，都被外部化到运营业务领域之外的数据团队和数据管理单体：数据湖和数据仓库。数据网格 用于消除分析数据和业务运营的二分法，是一种去中心化的社会技术方法。其目标是将分析数据的共享和使用嵌入运营业务的各个领域，并缩小运营和分析平台之间的差距。它建立在四个原则之上: 域数据所有权、数据即产品、自助数据平台和计算联合治理。
我们的团队一直在实施数据网格架构；他们创建了新的架构抽象，例如数据产品量子，可以将代码、数据和策略作为分析数据共享的自治单元进行封装，嵌入到运营域中；他们还构建了自助数据平台功能，以声明方式管理数据产品量子的生命周期，如数据网格。尽管我们的技术取得了进步，但仍然在数据网格拓扑中使用现有技术时遇到了阻力，更不用说在某些组织中，将共享和使用数据作为业务领域的首要职责时所遭遇的抵抗。
在管理大量分析数据方面，Data mesh 标志着架构和组织范式的一种可喜转变。该范式建立在四个原则之上：(1)数据所有权和架构的面向领域去中心化;(2)将面向领域的数据视为产品;(3)将自助数据基础设施作为平台，支持自治且面向领域的数据团队;(4)联合控制以实现生态系统和互操作性。尽管这些原则很直观，并且只是试图解决以前集中分析数据管理的许多已知挑战，它们仍胜过了现有的分析数据技术。在现有工具之上为多个客户端构建数据网格后,我们学到了两件事:(a)要加速数据网格的实现，在开源或商业工具上仍存在着巨大的差距（例如,我们目前为客户自定义构建的基于时间的多语言数据，实现通用访问模型）；(b)尽管存在差距,使用现有技术作为基本构建块仍是可行的。
自然，技术匹配是实现企业基于数据网格的数据策略的主要组成部分。不过，要想成功，就需要进行组织结构调整，将数据平台团队分离开来，为每个领域创建数据产品负责人的角色，并引入必要的奖励机制，让领域将其分析数据作为产品，对其负责，并分享出去。
数据网格是一种架构和组织范式，它挑战了我们的传统观念 , 即必须将大量的可分析数据集中起来才能使用，将数据放在一起或让专门的数据团队来维护。数据网格声称，为了让大数据推动创新，数据的所有权必须和将数据作为产品提供服务的领域数据所有者联合起来（在自助数据平台的支持下，抽象数据产品服务所涉及的技术复杂性）；它还必须通过自动化的方式实现一种新的联合治理形式，以支持面向领域的数据产品间的互操作性。去中心化、互操作性以及数据消费者体验，是数据创新民主化的关键。
如果你的组织有大量的领域，包括大量产生数据的系统和团队，或者多种数据驱动的用户场景和访问模式，我们建议你评估数据网格。构建数据网格需要的投资包括构建自服务的数据平台、支持对领域进行组织结构变更以长期维护其数据产品，以及一个激励机制，来奖励将数据作为产品提供和使用的领域团队。
