NVIDIA NeMo Relay integriert Hermes Agent für Trajektorien-Tracing

Ein KI-Agent lässt sich nicht allein anhand seines finalen Ergebnisses bewerten, da verborgene Betriebskosten wie unnötige Werkzeug-Wiederholungen, zusätzliche Modellaufrufe oder erhöhte Latenzen unbemerkt bleiben können. Um Entwicklern umfassende Einblicke in interne Abläufe zu gewähren, hat NVIDIA eine detaillierte Übersicht zur Integration von NeMo Relay in die Hermes Agent-Testumgebung veröffentlicht. Diese zeigt, wie Telemetrie-Traces genutzt werden können, um die Ausführungseffizienz jenseits einfacher Pass-Fail-Prüfungen zu diagnostizieren.

Strukturiertes Tracing mit den Formaten ATOF und ATIF

NeMo Relay erfasst strukturierte Ereignisdaten direkt in der Hermes Agent-Umgebung über zwei Formate: das Agent Trace Event Format (ATOF) und das Agent Trace Interchange Format (ATIF). Während eine ATIF-Trajektorie die einzelnen Modellschritte und Werkzeuganfragen zusammenfasst, bietet der ATOF-Ereignisdatenstrom eine präzise Detailaufzeichnung durch explizite Lebenszyklus-Ereignisse, eindeutige Ausführungs-IDs, Token-Nutzung, Zeitangaben sowie Fehlerprotokolle.

Über einen OpenInference-Exporter überträgt NeMo Relay Telemetriedaten via OpenTelemetry Protocol (OTLP) an Überwachungsplattformen wie Arize Phoenix oder LangSmith. Diese strukturierte Protokollierung erlaubt es Entwicklern, Modellein- und -ausgaben zu prüfen, isolierte Docker-basierte Werkzeugausführungen zu verifizieren und datenschutzrelevante Informationen vor einer Weitergabe außerhalb der Unternehmens-Sandbox zu auditieren.

Bewertung von Harness-Leistung und Zielkonflikten

Zur Veranschaulichung der praktischen Workflow-Bewertung hob NVIDIA eine Fallstudie auf Basis des Hermes ToolPerf-Benchmarks mit insgesamt 108 Durchläufen hervor. Im Rahmen dieser Studie wurde eine Baseline mit Korrekturen auf Werkzeugebene verglichen, wobei die Modelle Claude 3.5 Sonnet und Qwen Coder über neun standardisierte Fehlermuster hinweg getestet wurden. Die ATOF-Trace-Analyse legte dabei detaillierte Leistungskompromisse offen, die bei reinen Erfolgsquoten verborgen geblieben wären.

Für Qwen Coder verbesserten die Anpassungen auf Werkzeugebene die erfolgreiche Aufgabenfertigstellung von 19 auf 22 von 27 Durchläufen. Die Trace-Auswertung zeigte jedoch, dass dieser höhere Erfolg mit zusätzlichem Aufwand einherging: Die durchschnittlichen Modellaufrufe stiegen von 3,8 auf 4,9, die Werkzeugaufrufe von 2,8 auf 3,9 und die mittlere Aufgabendauer verlängerte sich von 27 auf 42 Sekunden. Die Telemetrie belegte, dass die höhere Anzahl an Interaktionen auf valide Fehlerbehebungsschritte und nicht auf Schleifen zurückzuführen war, was Ingenieuren half, genaue Regressionen durch spezifische Werkzeugausgaben zu lokalisieren.

KI-generierte redaktionelle Illustration; kein Dokumentarfoto.

Quelle: Tracing Agent Harness Behavior with NVIDIA NeMo Relay