Definindo a Agent Experience: por que ferramentas para desenvolvedores precisam de avaliação para agentes de IA

Os blogs para desenvolvedores da Microsoft detalharam o campo emergente da Agent Experience (AX) — a experiência do agente —, um conceito idealizado pelo cofundador da Netlify, Mathias Biilmann, em janeiro de 2025 para descrever como os agentes de IA descobrem, selecionam e utilizam ferramentas de software e plataformas de desenvolvimento. À medida que engenheiros de software dependem cada vez mais de agentes de codificação baseados em IA para integrar APIs, construir SDKs e executar ferramentas de linha de comando, avaliar a eficácia com que esses agentes navegam por tais plataformas tornou-se essencial para os criadores de ferramentas.

Medindo propensão, eficácia e custos reais de tarefas

A avaliação de AX baseia-se em dois pilares principais: propensão e eficácia. A propensão mede se um agente de IA encontra e seleciona um produto de forma independente quando recebe uma tarefa que não o menciona explicitamente, enquanto a eficácia avalia se o agente utiliza a ferramenta de maneira correta após a seleção. Avaliar a AX exige pontuar tanto a qualidade dos resultados quanto os custos totais da tarefa, em vez de confiar unicamente em modelos de precificação por token.

A Microsoft destacou que quedas na precificação de tokens nem sempre se traduzem em custos de execução menores. Em testes de atualização de projetos do SharePoint Framework (SPFx) no GitHub Copilot Chat, o Claude Sonnet 5 apresentou um preço por token 33% menor do que o Sonnet 4.6, mas resultou em um custo por execução 3,7 vezes maior ao longo de três cenários e 15 execuções por modelo.

Priorizando a documentação em vez de extensões customizadas

Avaliações de AX demonstram que aprimorar a documentação existente costuma gerar resultados melhores do que disponibilizar extensões especializadas para agentes. Nos testes de atualização de SPFx da Microsoft usando o Claude Sonnet 4.6 no Windows, o agente na linha de base passou em apenas 30 de 80 verificações de configuração. Instruir explicitamente o agente a usar a CLI do Microsoft 365 elevou a taxa de aprovação para 75 de 80, mas exigia que os desenvolvedores soubessem da existência dessa habilidade específica ou a instalassem.

Ao analisar os registros de ações passo a passo do agente, a Microsoft observou que o modelo consultava regularmente as notas de lançamento do SPFx durante a execução. Atualizar diretamente essas notas de lançamento permitiu que o agente utilizasse a CLI em todas as execuções, sem exigir que os desenvolvedores instalassem extensões adicionais ou habilidades customizadas.

Fluxos de trabalho práticos para otimização de AX

Para praticar a AX, equipes técnicas estabelecem uma linha de base inicial ao testar comandos do mundo real sob um perfil de agente fixo, que especifica o sistema operacional, o aplicativo de ambiente de testes, o modelo de IA e as extensões carregadas. As equipes então medem se os ajustes de documentação ou de interface geram melhorias de desempenho, conhecidas como ganho (lift), ou regressões indesejadas, chamadas de perda (drag).

Frameworks e formatos como o llms.txt ou servidores com Model Context Protocol (MCP) servem como potenciais interfaces para agentes, mas a Microsoft recomenda tratá-los como hipóteses a serem testadas. Aprimorar as APIs e a documentação principais continua sendo o ponto de partida prioritário, reservando as extensões customizadas para agentes como uma opção secundária.

Ilustração editorial gerada por IA; não é uma fotografia documental.

Fonte: What is Agent Experience (AX)?