Master
技术

数据网格

NOT ON THE CURRENT EDITION
This blip is not on the current edition of the Radar. If it was on one of the last few editions it is likely that it is still relevant. If the blip is older it might no longer be relevant and our assessment might be different today. Unfortunately, we simply don't have the bandwidth to continuously review blips from previous editions of the RadarUnderstand more
Published: Nov 20, 2019
Last Updated: Oct 28, 2020
Oct 2020
试验?

在管理大量分析数据方面,Data mesh 标志着架构和组织范式的一种可喜转变。该范式建立在四个原则之上:(1)数据所有权和架构的面向领域去中心化;(2)将面向领域的数据视为产品;(3)将自助数据基础设施作为平台,支持自治且面向领域的数据团队;(4)联合控制以实现生态系统和互操作性。尽管这些原则很直观,并且只是试图解决以前集中分析数据管理的许多已知挑战,它们仍胜过了现有的分析数据技术。在现有工具之上为多个客户端构建数据网格后,我们学到了两件事:(a)要加速数据网格的实现,在开源或商业工具上仍存在着巨大的差距(例如,我们目前为客户自定义构建的基于时间的多语言数据,实现通用访问模型);(b)尽管存在差距,使用现有技术作为基本构建块仍是可行的。

自然,技术匹配是实现企业基于数据网格的数据策略的主要组成部分。不过,要想成功,就需要进行组织结构调整,将数据平台团队分离开来,为每个领域创建数据产品负责人的角色,并引入必要的奖励机制,让领域将其分析数据作为产品,对其负责,并分享出去。

May 2020
评估?

数据网格是一种架构和组织范式,它挑战了我们的传统观念 , 即必须将大量的可分析数据集中起来才能使用,将数据放在一起或让专门的数据团队来维护。数据网格声称,为了让大数据推动创新,数据的所有权必须和将数据作为产品提供服务的领域数据所有者联合起来(在自助数据平台的支持下,抽象数据产品服务所涉及的技术复杂性);它还必须通过自动化的方式实现一种新的联合治理形式,以支持面向领域的数据产品间的互操作性。去中心化、互操作性以及数据消费者体验,是数据创新民主化的关键。

如果你的组织有大量的领域,包括大量产生数据的系统和团队,或者多种数据驱动的用户场景和访问模式,我们建议你评估数据网格。构建数据网格需要的投资包括构建自服务的数据平台、支持对领域进行组织结构变更以长期维护其数据产品,以及一个激励机制,来奖励将数据作为产品提供和使用的领域团队。

Nov 2019
评估?

数据网格是一种可以解锁大规模数据分析的架构范式;快速解锁对越来越多的分布领域数据集的访问,从而支撑跨组织的大量数据的使用场景,如机器学习、分析或数据密集型应用程序。数据网格解决了传统集中式数据湖或数据平台体系结构的常见故障模式,它改变了数据湖及其前身数据仓库的集中式范式。数据网格的范式借 鉴了现代分布式体系结构:将领域作为首要关注点,应用平台思维来创建自服务的数据基础设施,将数据视为产品,并应用开放标准化,从而实现可交互的分布式数据产品生态系统。