Technology Radar
NeMo Guardrails 是 NVIDIA 的开源工具包，可以轻松为基于 LLM 的对话应用添加可编程的安全和控制机制。它通过定义和执行行为规则来确保输出保持安全、切题和合规。开发者使用 Colang（一种专用语言）来创建灵活的对话流程和管理对话，执行预定义的路径和操作程序。NeMo Guardrails 还提供了异步优先的 API 以获得更好的性能，并支持内容安全、安全性和输入输出审核的保障措施。我们看到，从简单的聊天机器人到复杂的代理工作流，各个团队都在稳步采用 NeMo Guardrails 构建各种类型的应用程序。随着其功能集的扩展和对常见 LLM 漏洞的成熟覆盖，我们决定将 NeMo Guardrails 移至采用评级。
NeMo Guardrails 是 NVIDIA 提供的一个易于使用的开源工具包，可帮助开发者为用于对话式应用的大型语言模型实施“护栏”。自我们上一次在技术雷达中提到它以来，NeMo 在团队中的应用显著增加，并且不断改进。最近对 NeMo Guardrails 的更新主要集中在扩展集成能力和加强安全性、数据管理及控制方面，与该项目的核心目标保持一致。
NeMo 的文档进行了重大改进，提高了可用性，并新增了多个集成，包括 AutoAlign 和 Patronus Lynx，同时支持 Colang 2.0。关键升级包括增强了内容安全性和安全功能，以及最近发布的支持通过输出轨道流式处理 LLM 内容的功能，从而提高性能。我们还看到新增了对 Prompt Security 的支持。此外，NVIDIA 还发布了三种新的微服务：内容安全微服务、主题控制微服务 和 越狱检测微服务，这些微服务都已集成至 NeMo Guardrails。
基于其不断扩展的功能集和在生产中的日益广泛使用，我们将 NeMo Guardrails 的状态提升至试验（Trial）。建议查看最新的发布说明，以全面了解自我们上次提到以来的所有更新内容。
NeMo Guardrails 是 NVIDIA 的一个易用开源的工具包，它可以使开发人员在会话应用的大语言模型上实现一套防护措施。尽管大语言模型在构建交互式体验上有巨大的潜力，但他们在事实准确性、偏见和潜在的滥用方面上存在一些固有的局限性，这使得我们需要采取一些必要的保护措施。Guardrails 提供了一个有前景的方法来确保大语言模型的责任性和可信性。尽管当谈到大语言模型的保护措施时都会有多种选择，但是我们团队发现 NeMo Guardrails 尤其有用，因为它支持可编程的规则和运行时的集成，并且可以应用到现有的大语言模型的应用上，而不需要大量的代码修改。
