Databricks Overwatch é um projeto do Databricks Labs que habilita os times a analisar várias métricas operacionais de cargas de trabalho do Databricks em relação a custo, governança e desempenho, com suporte para executar experimentos "e se?". É essencialmente um conjunto de pipelines de dados que preenchem tabelas no Databricks, podendo ser analisadas usando ferramentas como notebooks. Overwatch é uma ferramenta poderosa, no entanto, ainda está em seus estágios iniciais e pode exigir algum esforço para configuração — nosso uso exigiu que pessoas arquitetas de soluções Databricks ajudassem a configurar e preencher uma tabela de referência de preços para cálculos de custo —, mas esperamos que a adoção fique mais fácil com o tempo. O nível de análise possibilitado pelo Overwatch é mais profundo do que o permitido pelas ferramentas de análise de custos das provedoras de nuvem. Por exemplo, pudemos analisar o custo de falhas de tarefas — reconhecendo que falhar rapidamente economiza dinheiro em comparação com tarefas que falham somente perto da etapa final — e dividir o custo por vários agrupamentos (espaço de trabalho, cluster, tarefa, notebook, equipe). Também apreciamos a visibilidade operacional aprimorada, já que pudemos auditar facilmente os controles de acesso em torno das configurações do cluster e analisar as métricas operacionais, como encontrar o notebook em execução mais antigo ou o maior volume de leitura/gravação. Overwatch pode analisar dados históricos, mas seu modo em tempo real permite alertas, o que ajuda você a adicionar controles apropriados às suas cargas de trabalho do Databricks.
