Atualmente, organizações e equipes criam harnesses customizados e adaptados aos seus projetos, incluindo skills de agentes, plugins, AGENTS.md e guardrails determinísticos. A avaliação da qualidade do harness tornou-se uma técnica importante, avaliando a qualidade do próprio harness. Guardrails e harnesses ajudam um agente de programação a corrigir o rumo e a melhorar a qualidade geral, mas apenas se realmente funcionarem.
Um harness geralmente inclui componentes determinísticos e não determinísticos. Para harnesses não determinísticos, nossas equipes usam PluginEval para avaliar plugins ou skills de agente de programação. Para harnesses determinísticos, podemos introduzir uma suíte de testes para permitir o desenvolvimento desses guardrails no estilo TDD, garantindo que cada um funcione de fato e forneça evidências tangíveis para provar sua eficácia. Recomendamos executar a avaliação de qualidade (evals) de forma agendada (como diariamente à noite ou junto com o CI).
