Metaflow

Metaflow 是一个对用户友好的 Python 库和后端服务，可以帮助数据科学家和工程师构建和管理可用于生产的数据处理、机器学习训练及推理的工作流。Metaflow 提供一系列 Python API，将代码组织为由步骤组成的有向图。每一个步骤都可以灵活配置，例如其所需的计算和存储资源。每个步骤执行（也就是任务）的代码和数据副本都被保存起来，并可以在今后的运行或流程的下一步中被检索出来，帮助你从错误中恢复，重新执行任务，还可以追踪模型的版本以及多个运行之间的依赖关系。

Metaflow 的价值主张是其惯用的 Python 库的简洁性：它与构建和运行时的基础设施完全集成，以支持在本地和规模化的生产环境中运行数据工程和科学任务。在撰写本条目时，Metaflow 和 AWS 服务高度集成，例如使用 S3 来做数据存储，step functions 来做编排。除 Python 以外，Metaflow 还支持 R 语言。其核心功能都是开源的。

如果你正在 AWS 上构建和部署生产环境的机器学习和数据处理流水线，作为一个轻量级的全栈框架，Metaflow 可以替代例如 MLflow 这类更复杂的平台。