promptfoo é uma ferramenta que permite testes de engenharia de prompts (prompt engineering) de forma automatizada. Ao integrar LLMs (modelos de linguagens de grande porte) em aplicações, o ajuste dos prompts para produzir saídas ótimas e consistentes pode ser demorado. Você pode usar o promptfoo como CLI (interface de linha de comando) ou uma biblioteca para testar os prompts sistematicamente contra casos de teste predefinidos. O caso de teste, juntamente com as afirmações, pode ser configurado em um arquivo de configuração YAML simples. Essa configuração inclui os comandos que estão sendo testados, o provedor do modelo, as verificações e os valores das variáveis que serão substituídas nos comandos. promptfoo suporta muitas verificações, incluindo verificação de igualdade, estrutura JSON, semelhança, funções personalizadas ou até mesmo o uso de um LLM para classificar as saídas do modelo. Se você está procurando automatizar o feedback sobre a qualidade dos prompts e dos modelos, avalie o promptfoo.
