Definición de Agent Experience: por qué las herramientas de desarrollo deben evaluar los agentes de IA

Los blogs para desarrolladores de Microsoft detallaron el campo emergente de Agent Experience (AX), un concepto acuñado por el cofundador de Netlify, Mathias Biilmann, en enero de 2025 para describir cómo los agentes de IA descubren, seleccionan y utilizan herramientas de software y plataformas de desarrollo. A medida que los ingenieros de software confían cada vez más en agentes de código con IA para integrar API, crear SDK y ejecutar herramientas de línea de comandos, evaluar la eficacia con la que los agentes navegan por estas plataformas se ha vuelto esencial para los creadores de herramientas.

Medición de propensión, eficacia y costos reales por tarea

La evaluación de AX se basa en dos pilares principales: propensión y eficacia. La propensión mide si un agente de IA encuentra y selecciona de forma independiente un producto cuando se le asigna una tarea que no lo nombra explícitamente, mientras que la eficacia evalúa si el agente utiliza la herramienta con precisión una vez seleccionada. Evaluar AX requiere puntuar tanto la calidad del resultado como los costos generales de la tarea, en lugar de depender únicamente de los modelos de precios por token.

Microsoft señaló que las reducciones en los precios por token no siempre se traducen en costos de ejecución más bajos. En las pruebas de actualización de proyectos de SharePoint Framework (SPFx) dentro de GitHub Copilot Chat, Claude Sonnet 5 tuvo un precio por token un 33 % más bajo que Sonnet 4.6, pero generó un costo por ejecución 3,7 veces mayor en tres escenarios y 15 ejecuciones por modelo.

Priorizar la documentación sobre las extensiones personalizadas

Las evaluaciones de AX demuestran que perfeccionar la documentación existente suele ofrecer mejores resultados que lanzar extensiones especializadas para agentes. En las pruebas de actualización de SPFx de Microsoft utilizando Claude Sonnet 4.6 en Windows, el agente base superó solo 30 de 80 comprobaciones de configuración. Indicar explícitamente al agente que usara la CLI para Microsoft 365 elevó la tasa de aprobados a 75 de 80, pero requería que los desarrolladores conocieran o instalaran esa habilidad específica.

Al analizar los registros de acciones paso a paso del agente, Microsoft observó que el modelo recuperaba periódicamente las notas de versión de SPFx durante la ejecución. Actualizar directamente esas notas de versión permitió al agente utilizar la CLI en todas las ejecuciones sin necesidad de que los desarrolladores instalaran extensiones adicionales o habilidades personalizadas.

Flujos de trabajo prácticos para la optimización de AX

Para poner en práctica AX, los equipos técnicos establecen una línea base simple mediante la prueba de instrucciones reales bajo un perfil de agente fijo, el cual especifica el sistema operativo, la aplicación del entorno de pruebas, el modelo de IA y las extensiones cargadas. Luego, los equipos miden si los ajustes en la documentación o la interfaz generan mejoras en el rendimiento, conocidas como impulso (lift), o regresiones no deseadas, denominadas arrastre (drag).

Los marcos de trabajo y formatos como llms.txt o los servidores del protocolo MCP (Model Context Protocol) sirven como posibles interfaces para agentes, pero Microsoft aconseja tratarlos como hipótesis que deben ser probadas. Mejorar las API principales y la documentación sigue siendo el punto de partida prioritario, mientras que las extensiones personalizadas para agentes se reservan como una opción secundaria.

Ilustración editorial generada con IA; no es una fotografía documental.

Fuente: What is Agent Experience (AX)?