Colocamos o promptfoo em “Avalie” em 2023 para testar prompts. Ainda o usamos para avaliações (evals), incluindo chamadas de ferramentas por agentes e portões de CI, mas agora também para red teaming. Recomendamos testá-lo para ambos. Para fazer red teaming em uma aplicação, você descreve para o que ela serve, e o Promptfoo gera ataques para os riscos que você escolher, aplica estratégias de ataque e avalia as respostas.
Usamos o Promptfoo para fazer red teaming em um assistente conversacional em produção com regras de segurança específicas de domínio. Ele transformou sondagens manuais ad hoc em testes repetíveis executados novamente após cada correção. Ele também funciona com stateful guardrails: as guardrails são o controle em tempo de execução, e o Promptfoo testa se elas se mantêm firmes. O Promptfoo agora pertence à OpenAI, embora continue sob licença MIT e seja agnóstico quanto ao modelo. Alguns dos ataques simulados mais avançados do Promptfoo dependem de seu serviço hospedado, portanto certifique-se de estar confortável com quais dados saem da sua organização.
promptfoo é uma ferramenta que permite testes de engenharia de prompts (prompt engineering) de forma automatizada. Ao integrar LLMs (modelos de linguagens de grande porte) em aplicações, o ajuste dos prompts para produzir saídas ótimas e consistentes pode ser demorado. Você pode usar o promptfoo como CLI (interface de linha de comando) ou uma biblioteca para testar os prompts sistematicamente contra casos de teste predefinidos. O caso de teste, juntamente com as afirmações, pode ser configurado em um arquivo de configuração YAML simples. Essa configuração inclui os comandos que estão sendo testados, o provedor do modelo, as verificações e os valores das variáveis que serão substituídas nos comandos. promptfoo suporta muitas verificações, incluindo verificação de igualdade, estrutura JSON, semelhança, funções personalizadas ou até mesmo o uso de um LLM para classificar as saídas do modelo. Se você está procurando automatizar o feedback sobre a qualidade dos prompts e dos modelos, avalie o promptfoo.
