Technology Radar
Databricks Unity Catalog es una solución de gobernanza de datos para recursos, tales como archivos, tablas o modelos de machine learning presentes en un lakehouse. Es una versión administrada de la solución open-source Unity Catalog que puede ser usada para administrar y consultar datos guardados externamente o bajo el entorno de Databricks. Nuestros equipos han trabajado con una variedad de soluciones para administración de datos en el pasado, tales como Hive metastore o Microsoft Purview. Sin embargo, el soporte combinado de Unity Catalog para gobernanza, administración de metastore y data discovery la hacen atractiva, debido a que reduce la necesidad de administrar diferentes herramientas. Una complicación que nuestro equipo pudo descubrir en Unity Catalog administrada por Databricks, fue la falta de recuperación de desastre automática. Si bien se pudo configurar una funcionalidad propia de respaldo y restauración, habría sido más conveniente tener una solución provista por Databricks. Hay que tener en cuenta que a pesar de que estas plataformas de gobernanza usualmente implementan una solución centralizada para asegurar la consistencia entre workspaces y workloads, la responsabilidad de gobernar puede ocurrir de forma federada, habilitando a equipos individuales a administrar sus propios recursos.
Databricks Unity Catalog es una solución de gobierno de datos para activos tales como archivos, tablas, o modelos de aprendizaje automático en un lakehouse. Aunque se encontrarán varias plataformas en el espacio de gobierno de datos, si ya se usan otras soluciones de Databricks, entonces se debería evaluar Unity Catalog. Se quiere resaltar que aunque estas plataformas de gobierno generalmente implementan una solución centralizada para mejorar la consistencia entre los espacios y las cargas de trabajo, la responsabilidad de gobernar debería ser federada hacia equipos individuales permitiéndoles gobiernen sus propios activos.
