Kubeflow

Kubeflow 是一个Kubernetes 原生的机器学习（ML）平台，它能简化模型生命周期中在不同基础设施上的构建、训练和部署流程。 我们已经大量使用它的 Pipelines 来编码多个模型的包括实验、训练、服务用例的 ML 工作流。除 Pipelines 外, Kubeflow 还带有许多其他的组件, 我们发现其中用于超参数调优的 Katib 组件以及多租户组件都是非常有用的。

Kubeflow之所以令人感兴趣，是因为两个原因。首先，它是Kubernetes Operators的创新应用，我们在2019年4月版的技术雷达中对Kubernetes Operators进行了重点介绍。其次，它提供了一种对机器学习工作流进行编码和版本控制的方法，使它可以更容易地从一个执行环境移植到另一个环境。Kubeflow由几个组件组成，包括Jupyter notebooks、数据流水线和控制工具。其中一些组件被打包成为Kubernetes Operators，以利用Kubernetes响应Pod产生的事件的能力，而Pod可以实现工作流的各个阶段。通过将程序和数据打包为容器，可以将整个工作流程从一个环境移植到另一个环境。这有利于将有用但是计算能力要求极高的工作流，从云上转移到自定义超级计算机或者张量处理器（TPU）集群中。