O Declarative Automation Bundles (anteriormente conhecido como Databricks Asset Bundles evoluiu para uma ferramenta primária para trazer práticas de engenharia de software e CI/CD para o ecossistema Databricks. A ferramenta amadureceu significativamente e agora permite que nossos times gerenciem a maioria dos recursos da plataforma como código, incluindo clusters, pipelines de ETL, jobs, modelos de machine learning e dashboards. Usando o comando bundle plan` do Databricks, os times podem pré-visualizar mudanças e aplicar práticas de implantação repetíveis aos artefatos do Databricks, de forma semelhante a como a infraestrutura é gerenciada com ferramentas como o Terraform. Tratar ativos tradicionalmente mutáveis, como dashboards e pipelines de ML, como código permite que eles sejam controlados por versão, testados e implantados com o mesmo rigor dos microsserviços tradicionais. Com base em nossa experiência em ambientes de produção, o Declarative Automation Bundles se tornou uma abordagem confiável para gerenciar workflows de dados e ML no Databricks. Times que trabalham extensivamente no ecossistema Databricks devem considerar adotá-lo para padronizar as práticas de gerenciamento de infraestrutura.
Os pacotes de ativos do Databricks (DABs), que atingiram disponibilidade geral em abril de 2024, estão se tornando a ferramenta preferida para empacotamento e implantação de ativos no Databricks, facilitando a adoção de práticas de engenharia de software em nossos times de dados. Os DABs permitem englobar a configuração de fluxos de trabalho e tarefas, além do código a ser executado nessas tarefas, em um pacote que pode ser implantado em diversos ambientes por meio de pipelines de CI/CD. A ferramenta oferece templates para tipos comuns de ativos e também suporta templates personalizados, o que possibilita a criação de modelos de serviços personalizados para projetos de engenharia de dados e aprendizado de máquina. Nossos times têm adotado cada vez mais essa ferramenta como parte essencial de seus fluxos de trabalho de engenharia. Embora os DABs incluam templates para notebooks e suportem sua implantação em produção, não recomendamos a produção de notebooks. Em vez disso, incentivamos a escrita intencional de código de produção utilizando práticas de engenharia que garantam a manutenção, resiliência e escalabilidade dessas cargas de trabalho.
A recente disponibilização em preview público dos Databricks Asset Bundles (DABs) incluídos na versão 0.205 ou superior da Databricks CLI está se tornando a forma oficialmente recomendada para empacotamento de Databircks assets para o controle de versão, testes e implantação. Em nossas equipes, o DABs já começaram a substituir o dbx. Os DABs permitem o empacotamento da configuração de workflows, jobs e tasks, assim como o código a ser executado nessas tasks, como um único bundle que pode ser implantado em múltiplos ambientes. Ele vem com templates para tipos comuns de assets e suporta templates customizados. Embora os DABs incluam templates para notebooks e suportem a implantação deles em produção, continuamos a desaconselhar a produção de notebooks e incentivamos a escrita de código de produção com práticas de engenharia que suportem as necessidades de manutenibilidade, resiliência e escalabilidade desse tipo de carga de trabalho.
