特征库

任何软件都需要正确表示其所应用的那一领域，并且应该始终了解关键的目标。机器学习项目也不例外。特征工程 是机器学习软件系统工程和设计的重要部分。特征库 是一个架构上的概念，能促进识别、发现和监测与给定领域或业务问题有关的特征。 实现这一概念需要结合架构设计，数据工程和基础设施管理，来创建一个可扩展的、高效的、可靠的机器学习系统。 从工具的角度看，您可以找到开源的和完全托管的方案，但这些只包含了这个概念的一部分。在端到端的机器学习系统设计中，实现特征库带来了以下能力：(1) 定义准确特征的能力；(2) 增强数据的可复用性并且让特征在不同模型中保持一致和可用的能力，其中还包括设置特征工程管道，以规划特征库中的数据的能力; (3) 帮助特征发现的能力和 (4) 提供特征服务的能力。我们的团队利用特征库获得了这些对端到端机器学习系统的便利。

Feature Store 是一个服务于机器学习的数据平台，可以解决当前我们在特征工程中所遇到的一些关键问题。它提供了三个基本功能：（1）使用托管的数据管道，以消除新数据与数据管道之间的冲突；（2）对特征数据进行编目和存储，从而促进跨模型的特征的可发现性和协同性；（3）在模型的训练和干扰过程中，持续提供特征数据。

自从 Uber 公开了 Michelangelo 平台 以来，许多组织和初创企业都建立了自己的特征库；例如 Hopsworks、Feast 和 Tecton。 我们看到了 Feature Store 的潜力，并建议仔细对其进行评估。