Em um Radar anterior, alertamos contra o uso da taxa de transferência de programação como medida de produtividade. À medida que a indústria pressiona pela adoção de IA e busca métricas tangíveis, vemos cada vez mais métricas baseadas em atividade, como a porcentagem de código gerado por IA ou tokens consumidos, sendo tratadas como medalhas de honra. Embora tais métricas possam indicar níveis de adoção, elas são péssimos indicadores para ganhos reais de produtividade.
Para medir a produtividade de forma significativa, continuamos recomendando frameworks consolidados, como as métricas do DORA e qualidade de colaboração, além de vincular as melhorias diretamente aos resultados de negócios. Tratar métricas de atividade como metas, em vez de sinais, aumenta o risco de cair na armadilha da Lei de Goodhart. Já vimos pessoas desenvolvedores gerando trabalho inútil com IA apenas para atingir essas metas.
Assistentes de programação baseados em IA estão entregando ganhos reais de produtividade e tornando-se rapidamente ferramentas padrão no desenvolvimento. No entanto, estamos vendo cada vez mais organizações medirem o sucesso usando indicadores superficiais, como linhas de código geradas ou o número de pull requests (PRs). Quando essas métricas de vazão de código (coding throughput) são usadas isoladamente, elas podem moldar negativamente o comportamento das equipes. O resultado é frequentemente uma enxurrada de código desalinhado que atrasa revisões, prejudica o fluxo de entrega e introduz riscos de segurança. Os tempos de ciclo aumentam à medida que engenheiros abrem PRs repletos de sugestões da IA sem a devida revisão, gerando um vaivém constante com os revisores. Essas métricas falham em capturar o esforço residual necessário para adaptar o código gerado por IA à arquitetura, às convenções e aos padrões de cada equipe. Existem indicadores mais significativos, como a taxa de aceitação de primeira passagem — a frequência com que a saída da IA pode ser utilizada com o mínimo de retrabalho. Medir isso expõe o esforço oculto e torna a melhoria acionável: os times podem refinar prompts, melhorar os documentos de contexto e fortalecer as discussões de design para aumentar progressivamente a aceitação. Isso cria um ciclo virtuoso no qual a IA exige menos correções. A aceitação de primeira passagem também se conecta naturalmente às Métricas DORA: baixas taxas de aceitação tendem a elevar a taxa de falha em mudanças, enquanto ciclos de iteração repetidos estendem o lead time. À medida que assistentes de IA se tornam onipresentes, as organizações devem mudar o foco da vazão de código bruta para métricas que reflitam o impacto real e os resultados da entrega.
