Promptfoo

We put Promptfoo in Assess in 2023 for testing prompts. We still use it for evals, including agent tool calls and CI gates, but now also for red teaming. We recommend trialing it for both. To red-team an app, you describe what it's for, and Promptfoo generates attacks for the risks you choose, applies attack strategies and grades the responses.

We used Promptfoo to red-team a production conversational assistant with domain-specific safety rules. It turned ad hoc manual probing into repeatable tests rerun after every fix. It also works with stateful guardrails: the guardrails are the runtime control, and Promptfoo tests that they hold. Promptfoo is now owned by OpenAI, although it remains MIT-licensed and is model agnostic. Some of Promptfoo's more advanced simulated attacks rely on its hosted service, so make sure you're comfortable with what data leaves your organization.

promptfoo permite la ingeniería de instrucciones basada en pruebas. Cuando integramos Modelos de Lenguaje de Aprendizaje Profundo (LLMs, por sus siglas en inglés) en aplicaciones, ajustar las instrucciones para producir resultados óptimos y consistentes pueden llevar mucho tiempo. Puedes utilizar promptfoo tanto como una interfaz de línea de comandos (CLI) como una biblioteca para probar sistemáticamente instrucciones mediante casos de prueba predefinidos. El caso de prueba, junto con las afirmaciones, se pueden configurar en un archivo de configuración YAML sencillo. Esta configuración incluye las instrucciones que se están probando, el proveedor del modelo, las afirmaciones y los valores de variables que se sustituirán en las instrucciones. promptfoo admite muchas afirmaciones, como verificar la igualdad, la estructura JSON, la similitud, funciones personalizadas e incluso usar un LLM para evaluar las salidas del modelo. Si estás buscando automatizar la retroalimentación sobre la calidad de las instrucciones y el modelo, definitivamente deberías considerar promptfoo.