Enable javascript in your browser for better experience. Need to know to enable it? Go here.
发布于 : Mar 29, 2022
Mar 2022
试验 ? 值得一试。了解为何要构建这一能力是很重要的。企业应当在风险可控的前提下在项目中尝试应用此项技术。

Metaflow 是一个对用户友好的 Python 库和后端服务,可以帮助数据科学家和工程师构建和管理可用于生产的数据处理、机器学习训练及推理的工作流。Metaflow 提供一系列 Python API,将代码组织为由步骤组成的有向图。每一个步骤都可以灵活配置,例如其所需的计算和存储资源。每个步骤执行(也就是任务)的代码和数据副本都被保存起来,并可以在今后的运行或流程的下一步中被检索出来,帮助你从错误中恢复,重新执行任务,还可以追踪模型的版本以及多个运行之间的依赖关系。

Metaflow 的价值主张是其惯用的 Python 库的简洁性:它与构建和运行时的基础设施完全集成,以支持在本地和规模化的生产环境中运行数据工程和科学任务。在撰写本条目时,Metaflow 和 AWS 服务高度集成,例如使用 S3 来做数据存储,step functions 来做编排。除 Python 以外,Metaflow 还支持 R 语言。其核心功能都是开源的。

如果你正在 AWS 上构建和部署生产环境的机器学习和数据处理流水线,作为一个轻量级的全栈框架,Metaflow 可以替代例如 MLflow 这类更复杂的平台。

Radar

下载第26期技术雷达

English | Español | Português | 中文

Radar

获取最新技术洞见

 

立即订阅

查看存档并阅读往期内容