Technology Radar
Databricks Overwatch es un proyecto de Databricks Labs que habilita a los equipos a analizar varias métricas operacionales de cargas de trabajo de Databricks en relación al costo, gobierno y desempeño, soportados por la posibilidad de ejecutar experimentos del tipo qué pasa si. Esencialmente es un conjunto de pipelines de datos que pueblan tablas en Databricks, que luego puede ser analizado utilizando herramientas como notebooks. Overwatch es una herramienta muy fuerte, sin embargo, está aún en sus primeras fases por lo que puede tomar cierto esfuerzo para configurarla — nuestro uso de esta herramienta requirió de arquitectos de solución de Databricks para ayudarnos a configurar y poblar una tabla de referencia de precios para cálculos de costos — esperamos, sin embargo, que su adopción se vuelva más fácil en el tiempo. El nivel de análisis que Overwatch hace posible, es más profundo que el permitido por las herramientas de análisis de costo por proveedores de nube. Por ejemplo, pudimos analizar el costo de fallas de jobs — reconociendo que fallar tempranamente ahorra dinero , comparado con los jobs que fallan sólo cerca de los pasos finales — así como descomponer el costo en varios tipos de agrupamientos
