Estrutura de agentes de código pode triplicar custo sem ganho mensurável de precisão

Uma pesquisa relatada pelo VentureBeat comparou três estruturas de execução para agentes de programação mantendo os modelos constantes. O trabalho avaliou Claude Code, OpenCode e mini-SWE-agent em tarefas do SWE-bench Verified, com cinco modelos e execuções isoladas sem acesso à internet. No conjunto de 447 tarefas, a estrutura mais completa e a alternativa minimalista ficaram a menos de dois pontos percentuais entre si e foram consideradas estatisticamente equivalentes dentro de uma margem de cinco pontos. Nas 45 tarefas mais difíceis, trocar a estrutura mudou o resultado de cerca de 13% dos problemas, proporção semelhante à observada ao repetir a mesma configuração. O custo apresentou diferença maior. Com o mesmo modelo, as estruturas variaram em até três vezes por tarefa. Parte da diferença surgiu já na primeira chamada: prompts de sistema e esquemas de ferramentas tinham de 829 a 16.581 tokens, e esse contexto era reenviado ao longo da execução. O resultado indica que mais instruções e ferramentas não produzem automaticamente maior taxa de sucesso. Para equipes de engenharia, a recomendação prática é testar a combinação exata de modelo, ferramentas e orçamento de raciocínio em tarefas representativas. Comparações devem incluir repetições da linha de base, custo por tarefa concluída, tamanho do contexto inicial e número de etapas, em vez de depender apenas de pequenas diferenças em placares públicos.