Technology Radar
Declarative Automation Bundles (formerly known as Databricks Asset Bundles) has evolved into a primary tool for bringing software engineering and CI/CD practices to the Databricks ecosystem. The tool has matured significantly and now enables our teams to manage most platform resources as code, including clusters, ETL pipelines, jobs, machine-learning models and dashboards. Using the databricks bundle plan command, teams can preview changes and apply repeatable deployment practices to Databricks artifacts, similar to how infrastructure is managed with tools such as Terraform. Treating traditionally mutable assets, such as dashboards and ML pipelines, as code allows them to be version-controlled, tested and deployed with the same rigor as traditional microservices. Based on our experience in production environments, Declarative Automation Bundles has become a reliable approach for managing data and ML workflows on Databricks. Teams working extensively in the Databricks ecosystem should consider adopting it to standardize infrastructure management practices.
Databricks Asset Bundles (DABs), que alcanzó disponibilidad general en abril de 2024, se está convirtiendo en la herramienta predilecta para empaquetar y desplegar recursos de Databricks que facilitan la adopción de técnicas de desarrollo de software en nuestros equipos de datos. DABs soporta el empaquetamiento de la configuración de flujos de trabajo y tareas, al igual que el código a ser ejecutado en dichas tareas, como un paquete que puede ser desplegado a múltiples entornos mediante pipelines de CI/CD. Incluye plantillas para recursos comúnmente utilizados y tiene soporte para plantillas personalizadas, lo que permite la creación de plantillas de servicios a la medida para proyectos de ingeniería de datos y ML. Nuestros equipos están incrementalmente adoptando esta tecnología como una parte clave de sus workflows de ingeniería. A pesar de que DABs incluye plantillas para notebooks y soporta desplegarlos en producción, no recomendamos llevar notebooks a producción. En su lugar impulsamos la creación de código para producción de manera intencional con las prácticas de resiliencia, soporte, escalabilidad y mantenimiento necesarias para este tipo de trabajo.
La reciente versión pública preliminar de Databricks Asset Bundles (DABs), incluida con Databricks CLI versión 0.205 y superiores, se está convirtiendo en la forma recomendada oficialmente de empaquetar activos de Databricks para control de código fuente, pruebas y despliegue. Ha comenzado a reemplazar dbx entre nuestros equipos. DABs soporta el empaquetado de la configuración de flujos de trabajo, trabajos y tareas, así como el código a ser ejecutado en esas tareas, como un paquete que puede ser desplegado en múltiples entornos. Cuenta con plantillas para tipos comunes de activos y soporta plantillas personalizadas. Si bien DABs incluye plantillas para blocs de notas y soporta su despliegue en producción, seguimos recomendando no producir notebooks y en su lugar animamos a escribir intencionadamente código de producción con prácticas de ingeniería que respalden las necesidades de mantenibilidad, resiliencia y escalabilidad de dichas cargas de trabajo.
