GitHub publie ReviewBench pour évaluer les agents IA de revue de code

GitHub et Microsoft ont publié ReviewBench, un jeu de données de référence et un cadre d'évaluation open source conçus pour mesurer les performances des agents IA de revue de code. Disponible en accès anticipé pour la recherche, ce banc de test fournit des métriques standardisées pour évaluer la manière dont les outils d'agent inspectent les pull requests, font émerger les problèmes critiques et gèrent les compromis entre le bruit et la couverture.

Corpus représentatif de pull requests

Pour refléter la charge de travail réelle des ingénieurs plutôt que des ensembles de tests synthétiques, ReviewBench a été construit après l'analyse de 103,9 millions de pull requests publiques sur GitHub. Le jeu de données d'évaluation ainsi obtenu comprend 219 pull requests issues de 187 dépôts open source couvrant 19 langages de programmation. Bien que la taille des dépôts et la répartition des langages reflètent les statistiques globales de GitHub, le banc de test pondère délibérément la sélection des échantillons au profit des pull requests de taille moyenne et supérieure comprenant plusieurs fichiers, afin de concentrer l'évaluation sur des modifications de code substantielles.

Deux familles de métriques et vérification

ReviewBench établit ses observations de référence à travers un processus à plusieurs étapes qui a été contrôlé de manière indépendante par des ingénieurs expérimentés, atteignant un taux d'accord de 96,6 % sur les résultats étiquetés. Le cadre mesure les performances d'évaluation à l'aide de six métriques réparties en deux catégories : les métriques ancrées et les métriques augmentées. Les métriques ancrées suivent la précision standard, le rappel et le score F-bêta par rapport à une vérité terrain fixe, le rappel ancré servant de métrique principale pour comparer les différents systèmes. Les métriques augmentées ajustent le dénominateur d'évaluation lorsque les agents identifient des problèmes valides non capturés dans le jeu de données initial.

Classement configurable et signaux de production

Comme les équipes d'ingénierie maintiennent des priorités de revue de code différentes, ReviewBench permet aux utilisateurs de filtrer les résultats d'évaluation par sévérité et catégorie de problème, ainsi que d'ajuster les paramètres bêta pour favoriser une précision élevée ou un rappel élevé. GitHub a testé le banc de test en interne sur des itérations successives de Copilot Code Review. Dans une expérience avec un ensemble multi-modèles, ReviewBench a prédit avec précision les performances en production avant les tests A/B en ligne, anticipant une hausse de 8,0 % de la précision des commentaires pris en compte, une augmentation de 13,6 % du rappel, une réduction de 8,0 % du coût par revue et une réorientation majeure vers des observations critiques au détriment des remarques mineures.

Illustration éditoriale générée par IA ; ce n’est pas une photographie documentaire.

Source: ReviewBench: An open benchmark for AI code review