NVIDIA NeMo Relay s’intègre à Hermes Agent pour le suivi des trajectoires

Évaluer un agent IA uniquement en fonction de son résultat final peut masquer des coûts opérationnels invisibles, comme des tentatives superflues d'exécutions d'outils, des appels de modèles supplémentaires et une latence accrue. Afin de fournir aux développeurs une visibilité claire sur le flux de travail interne d'un agent, NVIDIA a publié une présentation détaillée sur l'intégration de NeMo Relay avec le banc d'essai Hermes Agent, démontrant comment les traces de télémétrie permettent de diagnostiquer l'efficacité de l'exécution au-delà des simples contrôles de réussite ou d'échec.

Traçage structuré avec les formats ATOF et ATIF

NeMo Relay capture les données d'événements structurées directement au sein du banc d'essai Hermes Agent en utilisant deux représentations distinctes : l'Agent Trace Event Format (ATOF) et l'Agent Trace Interchange Format (ATIF). Alors qu'une trajectoire ATIF résume les étapes du modèle et les requêtes d'outils, le flux d'événements ATOF fournit une comptabilité précise en enregistrant les événements explicites du cycle de vie, les identifiants uniques d'exécution, la consommation de jetons, le chronométrage et les journaux d'erreurs.

À l'aide d'un exportateur OpenInference, NeMo Relay transmet les données de télémétrie via le protocole OpenTelemetry (OTLP) vers des plateformes de surveillance telles qu'Arize Phoenix ou LangSmith. Cette journalisation structurée permet aux développeurs d'inspecter les entrées et sorties des modèles, de vérifier les exécutions d'outils isolées basées sur Docker et d'auditer les données sensibles avant de partager les traces d'exécution hors du bac à sable de l'entreprise.

Évaluation des performances du banc d'essai et compromis

Pour illustrer l'évaluation pratique du flux de travail, NVIDIA a mis en avant une étude de cas s'appuyant sur le benchmark Hermes ToolPerf à travers 108 exécutions. L'étude a comparé une version de référence à des correctifs appliqués à la couche d'outils, en utilisant les modèles Claude 3.5 Sonnet et Qwen Coder sur neuf schémas de défaillance standardisés. L'analyse des traces ATOF a révélé des compromis de performance détaillés que de simples taux de réussite n'auraient pas permis de détecter.

Pour Qwen Coder, les ajustements apportés à la couche d'outils ont amélioré l'accomplissement global des tâches, passant de 19 sur 27 exécutions réussies à 22 sur 27. Cependant, la comptabilité des traces a montré que ce taux de réussite plus élevé nécessitait un travail supplémentaire : le nombre moyen d'appels au modèle est passé de 3,8 à 4,9, les invocations d'outils de 2,8 à 3,9 et la durée moyenne des tâches est passée de 27 secondes à 42 secondes. La télémétrie a prouvé que ce nombre accru d'étapes découlait de procédures valides de récupération d'erreurs plutôt que de boucles répétitives, aidant ainsi les ingénieurs à cibler les régressions exactes causées par des sorties d'outils spécifiques.

Illustration éditoriale générée par IA ; ce n’est pas une photographie documentaire.

Source: Tracing Agent Harness Behavior with NVIDIA NeMo Relay