NVIDIA NeMo Relay integra-se ao Hermes Agent para rastreamento de trajetórias

Avaliar um agente de inteligência artificial apenas pelo resultado final pode ocultar custos operacionais relevantes, como tentativas desnecessárias de execução de ferramentas, chamadas adicionais ao modelo e aumento na latência. Para oferecer transparência sobre o fluxo interno dos agentes, a NVIDIA detalhou a integração do NeMo Relay com o harness do Hermes Agent, demonstrando como os traços de telemetria ajudam a diagnosticar a eficiência da execução além de simples verificações de sucesso ou falha.

Rastreamento estruturado com os formatos ATOF e ATIF

O NeMo Relay captura dados de eventos estruturados de forma nativa no harness do Hermes Agent utilizando duas representações distintas: Agent Trace Event Format (ATOF) e Agent Trace Interchange Format (ATIF). Enquanto a trajetória em ATIF resume as etapas do modelo e as requisições de ferramentas, o fluxo de eventos ATOF fornece um detalhamento preciso do ciclo de vida ao registrar IDs de emparelhamento de execução, uso de tokens, marcações temporais e logs de erro.

Com o uso de um exportador OpenInference, o NeMo Relay transmite dados de telemetria via OpenTelemetry Protocol (OTLP) para plataformas de monitoramento como Arize Phoenix ou LangSmith. Esse registro estruturado permite que desenvolvedores inspecionem entradas e saídas do modelo, verifiquem a execução de ferramentas isoladas em contêineres Docker e auditem dados sensíveis antes do compartilhamento dos traços fora do ambiente corporativo.

Avaliação de desempenho do harness e suas ponderações

Para exemplificar a avaliação prática de fluxos de trabalho, a NVIDIA apresentou um estudo de caso com o benchmark Hermes ToolPerf ao longo de 108 execuções. A análise comparou uma linha de base com correções na camada de ferramentas utilizando os modelos Claude 3.5 Sonnet e Qwen Coder em nove padrões padronizados de falha. O diagnóstico dos traços em ATOF revelou nuances de desempenho que métricas simples de conclusão não conseguiriam capturar.

No caso do Qwen Coder, os ajustes na camada de ferramentas aumentaram a taxa de conclusão de 19 para 22 execuções bem-sucedidas em um total de 27. Contudo, a telemetria mostrou que essa melhoria exigiu maior esforço computacional: a média de chamadas ao modelo subiu de 3,8 para 4,9, as invocações de ferramentas passaram de 2,8 para 3,9 e a duração média das tarefas aumentou de 27 para 42 segundos. Os dados confirmaram que o aumento nos turnos decorreu de etapas válidas de recuperação de erros, e não de loops repetitivos, auxiliando a equipe de engenharia a identificar regressões causadas por retornos específicos das ferramentas.

Ilustração editorial gerada por IA; não é uma fotografia documental.

Fonte: Tracing Agent Harness Behavior with NVIDIA NeMo Relay