Expo et le Georgian AI Lab créent un banc d’essai pour évaluer les compétences des agents IA de codage

Expo, en collaboration avec des chercheurs du Georgian AI Lab, a présenté un banc d'essai conçu pour mesurer la façon dont les agents IA de codage localisent et appliquent des compétences de développement spécialisées lors de la création d'applications mobiles. Ce système pallie la limitation des tests d'évaluation isolés en vérifiant si les agents découvrent de manière autonome les directives appropriées durant leurs flux de travail habituels.

Mesurer les trajectoires sur trois niveaux

Le banc d'essai exécute des agents IA de codage, tels que Claude Code et Codex, face à des cahiers des charges réalistes représentant des scénarios de développement d'applications mobiles. Au lieu de juger uniquement le résultat final, le système enregistre la trajectoire complète de l'agent et lance des pipelines d'évaluation parallèles. Des vérifications statiques contrôlent si les compétences attendues ont été chargées et si leurs recommandations apparaissent dans le code généré. En parallèle, un évaluateur basé sur un agent exécute l'application mobile pour vérifier son fonctionnement, divisant l'évaluation en trois phases : le déclenchement des compétences, leur assimilation et l'exécution au moment du fonctionnement.

Améliorer la découverte grâce à une compétence point d'entrée

Les premières données de suivi ont montré que les agents IA de codage achevaient souvent la création d'applications en s'appuyant uniquement sur leurs connaissances internes, sans charger les compétences Expo disponibles. Pour rationaliser la découverte au sein d'un catalogue de plus de vingt compétences spécialisées, l'équipe a créé une compétence point d'entrée nommée expo-overview pour les tâches Expo et EAS. Lors de tests avec Claude Code utilisant sonnet-5-high sur dix scénarios d'applications mobiles, l'ajout de ce point d'entrée a fait passer la proportion de sessions chargeant au moins une compétence secondaire de 9 % à 55 %. Cependant, le rappel des compétences pertinentes a atteint 18 %, car les agents les ont principalement consultées pour l'architecture initiale et la configuration, comptant sur leurs connaissances internes pour les détails d'implémentation ultérieurs.

Contraintes de catalogue et budget de contexte

Le projet a également mis en lumière des défis d'exploration liés à l'allocation de la fenêtre de contexte dans des interfaces en ligne de commande comme Codex. Dans Codex, les descriptions des compétences partagent un budget de catalogue limité à 2 % de la fenêtre de contexte, soit 5 440 tokens. Lorsque le catalogue dépasse ce budget, les descriptions sont tronquées, risquant d'enlever des éléments clés nécessaires à l'agent pour évaluer leur pertinence. En conséquence, il est recommandé aux concepteurs de compétences d'insérer les termes déclencheurs cruciaux dans les titres et les premières lignes pour garantir leur découverte dans un environnement saturé.

Illustration éditoriale générée par IA ; ce n’est pas une photographie documentaire.

Source: Your skills need an evaluation mechanism