Databricks Unity Catalog

Databricks Unity Catalog 是一种用于数据治理的解决方案，适用于在lakehouse 中的资产，例如文件、表或机器学习模型。它是开源 Unity Catalog的托管版本，可用于管理和查询存储在外部存储或由 Databricks 管理的数据。过去，我们的团队使用了多种数据管理解决方案，如 Hive metastore或 Microsoft Purview。然而，Unity Catalog 对治理、元数据存储管理和数据发现的综合支持，使其颇具吸引力，因为它减少了管理多个工具的需求。我们团队发现的一个问题是 Databricks 托管的 Unity Catalog 缺乏自动灾难恢复功能。虽然他们能够自行配置备份和恢复功能，但由 Databricks 提供的解决方案会更加便捷。需要注意的是，虽然这些治理平台通常会实施集中化的解决方案，以确保工作空间和工作负载之间的一致性，但可以通过让各个团队管理自己的资产，将治理责任下放，从而实现联邦化的治理模式。

Databricks Unity Catalog 是一种可以用于 lakehouse 中文件、表或者机器学习模型等资产的数据治理方案。尽管你可以在企业数据治理领域中找到很多平台，但如果你已经在使用其他 Databricks 解决方案，那你更应该了解一下 Unity Catalog。我们想强调的是，虽然这些治理平台通常会采用一个集中式的解决方案，以更好地维持不同工作空间和工作负载的一致性，但治理责任应该通过使各个团队分别治理自己的资产而统一起来。