ServiceNow présente AutoSynthData pour l’entraînement synthétique d’agents d’entreprise

ServiceNow CoreAI a présenté AutoSynthData, un cadre conçu pour résoudre les écarts de performance des agents d'IA d'entreprise. Plutôt que de s'appuyer sur des jeux de données génériques, le pipeline analyse les points de blocage du modèle cible au sein d'un environnement système spécifique, en utilisant ces échecs pour générer des tâches d'entraînement synthétiques validées et ancrées dans cet environnement.

Stratégie de génération ciblée de tâches

AutoSynthData identifie les faiblesses du modèle en exécutant des évaluations diagnostiques en parallèle d'un modèle enseignant plus puissant. Le système résume ces lacunes de compétences sous forme de fiches de spécification assainies, masquant les requêtes d'évaluation d'origine pour éviter la duplication directe de tâches. Contrôlé par un cadre partagé avec des adaptateurs spécifiques à chaque environnement, le pipeline génère des tâches synthétiques définies par une spécification système, une invite utilisateur et un vérificateur automatisé. La création s'effectue en deux étapes : la génération d'échantillons centraux vérifiés, puis la production de nouvelles variantes tout en évitant la dérive des candidats.

Vérification rigoureuse et boucles de réparation

Pour garantir la fiabilité des jeux de données d'entraînement, AutoSynthData applique une validation en plusieurs étapes à chaque candidat de tâche. Les tâches sont filtrées selon des critères de difficulté de résolution, sélectionnant les candidats pour lesquels le modèle cible échoue mais le modèle enseignant réussit. Les candidats subissent une vérification positive pour confirmer l'exécution de la trajectoire de référence, ainsi qu'une vérification négative pour s'assurer que les mauvais résultats sont correctement rejetés. Si un candidat échoue, un critique automatisé diagnostique le problème et initie des réparations ciblées dans la limite des tentatives autorisées. Un processus de méta-examen équilibre ensuite la couverture des familles de tâches afin d'éviter la redondance des jeux de données.

Résultats des benchmarks d'entreprise

Lors d'évaluations s'appuyant sur le benchmark EnterpriseOps Gym, AutoSynthData s'est ciblé sur le modèle Gemma-4-26B-A4B-it en utilisant des modèles enseignants plus performants. Dans le domaine Hybrid avec Qwen3.8-27B comme enseignant, le pipeline a généré 2 000 échantillons d'entraînement synthétiques en environ 18 heures. Le réglage fin de Gemma sur ce jeu de données a augmenté son score moyen Pass@1 de 7,2 points de pourcentage — une amélioration relative de 35 % — tout en faisant passer les taux de réussite du vérificateur de 63,01 % à 68,55 %. Dans le domaine ITSM avec DeepSeek-V4.1-Flash comme enseignant, 1 994 échantillons synthétiques ont fait passer le Pass@1 moyen de 18,77 % à 27,18 %.

Illustration éditoriale générée par IA ; ce n’est pas une photographie documentaire.

Source: AutoSynthData: Generating Training Data for Enterprise Agents