Weights & Biases

Weights & Biases 持续发展，自上次在技术雷达中提及以来，增加了更多面向 LLM 的功能。他们扩展了 Traces 并推出了 Weave，一个超越 LLM 系统跟踪的完整平台。Weave 支持创建系统评估、定义自定义指标、使用 LLM 作为任务（如摘要）的评判工具，并保存数据集以捕捉不同行为进行分析。这有助于优化 LLM 组件，并在本地和全局层面跟踪性能。该平台还支持迭代开发和高效调试，这对错误难以检测的代理系统尤为重要。此外，它还允许收集宝贵的人类反馈，这些反馈可以用于后续模型微调，从而进一步提升模型的表现和可靠性。

Weights & Biases 是一个机器学习（ML）平台，它通过实验跟踪、数据集版本控制、模型性能可视化和模型管理来帮助更快地构建模型。它可以集成到现有的 ML 代码中，以便将实时指标、终端日志和系统统计数据实时传输到仪表板进行进一步分析。近期，Weights & Biases 扩展到了与大语言模型可观测性相关的 Traces。Traces 可视化了提示链的执行流程以及中间的输入/输出，并提供了关于链执行的元数据（例如使用的 token 和开始与结束时间）。我们的团队发现它对于调试和更深入了解链式架构非常有用。

使用机器学习（ML）平台 Weights & Biases 的实验跟踪、数据集版本控制、模型性能可视化和模型管理功能，能够更快地构建模型。此外还可以将其与现有的机器学习代码集成，从而将实时指标、终端日志和系统统计数据快速传输到仪表盘中，用于进一步分析。我们的团队已经使用了 Weights & Biases ，非常喜欢它在模型构建方面的协作功能。