Databricks Overwatch

Databricks Overwatch 是 Databricks 实验室的项目，它让团队能分析 Databricks 负载运行时的各种包括成本、治理、和性能在内的多种运营指标，并且支持运行假设性的试验。 它本质上是一系列在 Databricks 中填充数据表格的数据流水线，这使得它可以被例如计算笔记本（Notebooks）这类工具分析。Overwatch 是一个非常强大的工具，但仍处于试验阶段，并且它需要一定的时间成本进行配置。在使用中我们发现，Overwatch 需要 Databricks 解决方案架构师帮助建立并填充一个用于成本计算的价格参考表——但是我们预计使用它会变得日益轻松。Overwatch 提供了相对于云提供商的成本分析工具进行更深入分析的可能性。例如，我们能分析任务失败的成本——认识到快速失败比在接近最后一步时才失败的任务更省钱——并且将成本划分为各种组别（工作区，集群，任务，计算笔记本，团队）。我们也喜欢它提高的操作可见性，这使得我们可以轻松审计集群设置的访问控制并分析运营指标，例如找到长时间工作的计算笔记本或者是最大的读写卷。Overwatch 可以分析历史数据，但它的实时数据也允许设置警报，这能帮助你对 Databricks 负载添加合适的控制。