O Rhesis é uma plataforma de testes de código aberto para aplicações de LLM e aplicações baseadas em agentes que permite aos times definirem comportamento esperado em linguagem natural, gerar cenários de teste adversariais e avaliar resultados por meio de uma IU e uma SDK ou API. Ele está se tornando mais relevante à medida que as abordagens de teste tradicionais assumem um comportamento determinístico, enquanto os sistemas de IA falham de maneiras mais sutis, incluindo jailbreaks, interações de múltiplos turnos (multi-turn), violações de políticas e edge cases dependentes de contexto. Em nossa avaliação, o Rhesis é uma plataforma útil para times que precisam de mais do que simples avaliações de prompt. Recursos como o simulador de conversas, testes adversariais, tracing baseado em OpenTelemetry e auto-hospedagem via Docker tornam-no uma maneira prática de trazer times de produto, de domínio e de engenharia para um workflow de testes compartilhado. O principal benefício é a melhoria da validação em pré-produção para sistemas não determinísticos. No entanto, os times devem considerar as concessões comuns neste espaço, incluindo o custo de avaliação, os limites das métricas de LLM-como-juiz e a necessidade de requisitos bem definidos antes que a plataforma entregue valor. Nós acreditamos que vale a pena avaliar o Rhesis para times que constroem sistemas de LLMs ou baseados em agentes que exigem testes colaborativos e repetíveis além das verificações básicas de prompt.
