Enable javascript in your browser for better experience. Need to know to enable it? Go here.
Last updated : Oct 27, 2021
Oct 2021
试验 ? 值得一试。了解为何要构建这一能力是很重要的。企业应当在风险可控的前提下在项目中尝试应用此项技术。

我们越来越多地看到数据驱动的组织想要实现的目标,与当前数据架构和组织结构所允许的目标是不匹配的。组织希望将数据驱动决策、机器学习和分析嵌入到其产品和服务以及内部运营的许多方面中;从本质上讲,他们希望通过数据驱动的智能来增强其运营环境的各个方面。然而,在我们可以嵌入分析数据、访问并在业务领域和运营中管理这些数据之前,还有很长的路要走。现在,管理分析数据的各个方面,都被外部化到运营业务领域之外的数据团队和数据管理单体:数据湖和数据仓库。数据网格 用于消除分析数据和业务运营的二分法,是一种去中心化的社会技术方法。其目标是将分析数据的共享和使用嵌入运营业务的各个领域,并缩小运营和分析平台之间的差距。它建立在四个原则之上: 域数据所有权、数据即产品、自助数据平台和计算联合治理。

我们的团队一直在实施数据网格架构;他们创建了新的架构抽象,例如数据产品量子,可以将代码、数据和策略作为分析数据共享的自治单元进行封装,嵌入到运营域中;他们还构建了自助数据平台功能,以声明方式管理数据产品量子的生命周期,如数据网格。尽管我们的技术取得了进步,但仍然在数据网格拓扑中使用现有技术时遇到了阻力,更不用说在某些组织中,将共享和使用数据作为业务领域的首要职责时所遭遇的抵抗。

Oct 2020
试验 ? 值得一试。了解为何要构建这一能力是很重要的。企业应当在风险可控的前提下在项目中尝试应用此项技术。

在管理大量分析数据方面,Data mesh 标志着架构和组织范式的一种可喜转变。该范式建立在四个原则之上:(1)数据所有权和架构的面向领域去中心化;(2)将面向领域的数据视为产品;(3)将自助数据基础设施作为平台,支持自治且面向领域的数据团队;(4)联合控制以实现生态系统和互操作性。尽管这些原则很直观,并且只是试图解决以前集中分析数据管理的许多已知挑战,它们仍胜过了现有的分析数据技术。在现有工具之上为多个客户端构建数据网格后,我们学到了两件事:(a)要加速数据网格的实现,在开源或商业工具上仍存在着巨大的差距(例如,我们目前为客户自定义构建的基于时间的多语言数据,实现通用访问模型);(b)尽管存在差距,使用现有技术作为基本构建块仍是可行的。

自然,技术匹配是实现企业基于数据网格的数据策略的主要组成部分。不过,要想成功,就需要进行组织结构调整,将数据平台团队分离开来,为每个领域创建数据产品负责人的角色,并引入必要的奖励机制,让领域将其分析数据作为产品,对其负责,并分享出去。

May 2020
评估 ? 在了解它将对你的企业产生什么影响的前提下值得探索

数据网格是一种架构和组织范式,它挑战了我们的传统观念 , 即必须将大量的可分析数据集中起来才能使用,将数据放在一起或让专门的数据团队来维护。数据网格声称,为了让大数据推动创新,数据的所有权必须和将数据作为产品提供服务的领域数据所有者联合起来(在自助数据平台的支持下,抽象数据产品服务所涉及的技术复杂性);它还必须通过自动化的方式实现一种新的联合治理形式,以支持面向领域的数据产品间的互操作性。去中心化、互操作性以及数据消费者体验,是数据创新民主化的关键。

如果你的组织有大量的领域,包括大量产生数据的系统和团队,或者多种数据驱动的用户场景和访问模式,我们建议你评估数据网格。构建数据网格需要的投资包括构建自服务的数据平台、支持对领域进行组织结构变更以长期维护其数据产品,以及一个激励机制,来奖励将数据作为产品提供和使用的领域团队。

Nov 2019
评估 ? 在了解它将对你的企业产生什么影响的前提下值得探索

数据网格是一种可以解锁大规模数据分析的架构范式;快速解锁对越来越多的分布领域数据集的访问,从而支撑跨组织的大量数据的使用场景,如机器学习、分析或数据密集型应用程序。数据网格解决了传统集中式数据湖或数据平台体系结构的常见故障模式,它改变了数据湖及其前身数据仓库的集中式范式。数据网格的范式借 鉴了现代分布式体系结构:将领域作为首要关注点,应用平台思维来创建自服务的数据基础设施,将数据视为产品,并应用开放标准化,从而实现可交互的分布式数据产品生态系统。

已发布 : Nov 20, 2019
Radar

下载第25期技术雷达

English | Español | Português | 中文

Radar

获取最新技术洞见

 

立即订阅

查看存档并阅读往期内容