Às vezes nos pegamos definindo por padrão qualquer tarefa que exige um LLM para usar o modelo mais capaz disponível, sem prestar atenção ao custo, à latência ou à capacidade necessária. Chamamos isso de uso indiscriminado de modelos de ponta. Os modelos de ponta podem custar significativamente mais e executar mais lentamente do que seus equivalentes mais ágeis. Trabalhos rotineiros como exploração, edições simples ou resumos são frequentemente melhor atendidos por um modelo menor ou até mesmo modelos open-weight. Mude de nível manualmente, por subagente ou por meio de configurações do harness que alternem automaticamente com base na complexidade ou etapa da tarefa. Cada modelo tem seu próprio cache de prompt, portanto mude em limites naturais — uma nova sessão, um subagente ou na transição do planejamento para a implementação — em vez de por requisição. Um alerta sobre o nosso alerta: modelos mais capazes às vezes concluem tarefas usando menos tokens, então use o perfilamento de contexto para verificar se a sua otimização está funcionando.
