菜单
技术

Data integrity at the origin

NOT ON THE CURRENT EDITION
This blip is not on the current edition of the radar. If it was on one of the last few editions it is likely that it is still relevant. If the blip is older it might no longer be relevant and our assessment might be different today. Unfortunately, we simply don't have the bandwidth to continuously review blips from previous editions of the radarUnderstand more
Nov 2019
采纳?

今天,许多组织对如何解锁用于分析的数据的解决方案是建立迷宫般的数据管道。管道从一个或多个数据源检索,清理,然后转换数据并将其移动到另一个位置以供使用。这种数据管理方法通常会让使用数据的管道承担一项困难的任务,即验证入站数据的完整性,并构建复杂的逻辑来清理数据,以满足所需的质量级别。根本的问题是,数据源没有为其消费者提供高质量数据的动机和责任。出于这个原因,我们强烈主张从源头保证数据完整性,我们的意思是,任何提供可消费数据的源头,必须明确地描述其数据质量的标准,并确保这些标准。这背后的主要原因是,原始系统和团队最熟悉他们的数据,并且最适合在源头修复它。数据网格架构更进一步,将可消费数据与产品相比较,其中的数据质量及其目标是每个共享数据集的整体属性。