Um harness que se autoaperfeiçoa usa agentes para analisar traces de execução e feedback de avaliação para, então, propor ou implementar melhorias no sistema que envolve o modelo, incluindo prompts, estratégias de contexto, fluxos de trabalho, habilidades, ferramentas, memória e middleware. A ideia não é nova: técnicas como o flywheel de feedback usam acertos e falhas de sessões de agentes de programação para melhorar o harness, mas ainda dependem de pessoas para interpretar o feedback, decidir o que alterar e atualizar o sistema. Pesquisas recentes exploram uma abordagem mais autodirigida. O Meta-Harness e o VERSE usam traces de execução e resultados de avaliação para melhorar o código do harness; o VERSE também evolui as próprias ferramentas e procedimentos do otimizador. A visão geral de Lilian Weng traça essa progressão desde a otimização de prompts até a evolução do harness.
A observabilidade e a programabilidade são essenciais para essa transição. A observabilidade ajuda os agentes a diagnosticar falhas a partir de traces de execução e a conectar mudanças a resultados mensuráveis. A programabilidade oferece aos agentes acesso a componentes que eles podem inspecionar, modificar e testar, expandindo o escopo para o autoaperfeiçoamento. As extensões do Pi, os Claude Code Mods e o DeepSeek Harness (DSH) ilustram essa direção por meio de contexto, fluxos de trabalho, ferramentas e componentes de harness extensíveis. Uma maior abertura cria mais oportunidades de melhoria, mas os ganhos ainda exigem validação. Recomendamos experimentos delimitados com testes de regressão, enquanto pessoas definem objetivos, estabelecem limites de modificação e avaliam se as melhorias se generalizam para novas tarefas.
