promptfoo

promptfoo permite la ingeniería de instrucciones basada en pruebas. Cuando integramos Modelos de Lenguaje de Aprendizaje Profundo (LLMs, por sus siglas en inglés) en aplicaciones, ajustar las instrucciones para producir resultados óptimos y consistentes pueden llevar mucho tiempo. Puedes utilizar promptfoo tanto como una interfaz de línea de comandos (CLI) como una biblioteca para probar sistemáticamente instrucciones mediante casos de prueba predefinidos. El caso de prueba, junto con las afirmaciones, se pueden configurar en un archivo de configuración YAML sencillo. Esta configuración incluye las instrucciones que se están probando, el proveedor del modelo, las afirmaciones y los valores de variables que se sustituirán en las instrucciones. promptfoo admite muchas afirmaciones, como verificar la igualdad, la estructura JSON, la similitud, funciones personalizadas e incluso usar un LLM para evaluar las salidas del modelo. Si estás buscando automatizar la retroalimentación sobre la calidad de las instrucciones y el modelo, definitivamente deberías considerar promptfoo.