Amazon CloudWatch Omni incorpora evaluación continua y trazabilidad para agentes de IA

Amazon CloudWatch Omni ya está disponible de forma general como un servicio de observabilidad concebido para explicar el comportamiento de los agentes de IA, no solo para indicar si el sistema que los rodea funciona correctamente. Según SiliconANGLE, combina la evaluación continua de respuestas con trazas de agentes, telemetría de aplicaciones y señales de infraestructura. Así, desarrolladores y operadores pueden investigar por una vía común respuestas incorrectas, llamadas a herramientas y procesos de recuperación de datos.

La evaluación se convierte en monitorización operativa

Omni incluye 17 evaluadores integrados que abarcan criterios como coherencia, utilidad, fidelidad y corrección del enrutamiento. Los equipos pueden comparar versiones de prompts, convertir trazas de producción en conjuntos de datos de prueba y evaluar continuamente el tráfico real para detectar regresiones de calidad. Esto permite identificar fallos que las métricas convencionales de latencia y errores podrían pasar por alto cuando un agente genera una respuesta técnicamente satisfactoria, pero incorrecta.

Desarrollo y operaciones comparten las trazas

Los desarrolladores pueden examinar trazas locales mediante extensiones para Visual Studio Code, Cursor y Kiro sin necesidad de disponer de una cuenta de AWS. Los operadores utilizan una interfaz web independiente que admite inicio de sesión único a través de proveedores de identidad como Okta y Microsoft Entra ID. Ambas experiencias se apoyan en la misma capa de datos, por lo que una traza capturada durante el desarrollo continúa disponible para una investigación operativa.

AWS DevOps Agent está activado de forma predeterminada en las sesiones de investigación para correlacionar señales y conservar el historial del análisis. Como Omni almacena la actividad de los agentes junto con la telemetría de las aplicaciones y la infraestructura, una investigación puede seguir el rastro desde el resultado defectuoso de una herramienta hasta un problema de API y una limitación subyacente de recursos, sin repartir las pruebas entre sistemas inconexos.

Instrumentación abierta, inteligencia de AWS

La instrumentación utiliza OpenInference y AWS Distro for OpenTelemetry, también para agentes que operan fuera de AWS. Entre los frameworks y SDK compatibles se encuentran LangChain, LangGraph, CrewAI, OpenAI Agents SDK, Strands y Vercel AI SDK, mientras que DeepEval puede aportar evaluaciones de terceros. Actualmente se admite la ingesta desde Azure, y los agentes de Amazon Bedrock AgentCore reciben Omni de forma automática.

La capa abierta de telemetría no convierte todo el servicio en una solución portátil. La topología, los evaluadores, los registros de investigación y DevOps Agent de Omni siguen siendo servicios de AWS. Es un aspecto relevante para las organizaciones cuya plataforma principal de observabilidad abarca varias nubes.

El volumen de telemetría condiciona el coste

La extensión para el IDE, los paneles y las alertas son gratuitos, mientras que los clientes pagan por la ingesta y el almacenamiento de telemetría. Se incluyen consultas por un volumen total de hasta cinco veces la ingesta mensual, y las cuentas que cumplan los requisitos reciben una prueba de 30 días con 1.000 dólares en créditos para ingesta de OpenTelemetry. DevOps Agent se factura por separado. Como cada prompt, llamada al modelo, invocación de una herramienta y transferencia entre agentes genera segmentos de traza (spans), los equipos de producción tendrán que gestionar el muestreo, la retención y la frecuencia de evaluación a medida que crezcan los despliegues.

Ilustración editorial generada con IA; no es una fotografía documental.

Fuente: AWS CloudWatch Omni goes after the hardest question in agentic AI: Why did the agent do that?