ServiceNow stellt AutoSynthData für synthetisches Training von Unternehmens-KI-Agenten vor

ServiceNow CoreAI hat AutoSynthData vorgestellt, ein Framework zur Behebung von Leistungslücken bei Unternehmens-KI-Agenten. Anstatt auf generische Datensätze zu setzen, analysiert die Pipeline, an welchen Stellen ein Zielmodell innerhalb einer spezifischen Systemumgebung an seine Grenzen stößt. Aus diesen Schwachstellen generiert das System überprüfte und an die jeweilige Umgebung angepasste synthetische Trainingsaufgaben.

Gezielte Strategie zur Aufgabenerstellung

AutoSynthData identifiziert Modellschwächen durch diagnostische Auswertungen im Vergleich mit einem leistungsfähigeren Lehrer-Modell. Das System fasst diese Fähigkeitslücken in bereinigten Spezifikationskarten zusammen, wobei ursprüngliche Evaluierungs-Prompts verborgen bleiben, um eine direkte Aufgabenduplizierung zu verhindern. Die Pipeline wird über ein gemeinsames Framework mit umgebungsspezifischen Adaptern gesteuert und erzeugt synthetische Aufgaben, die durch eine Systemspezifikation, einen Benutzer-Prompt und einen automatisierten Verifizierer definiert sind. Die Erstellung erfolgt in zwei Phasen: Zunächst werden geprüfte Kernbeispiele generiert, anschließend entstehen neue Varianten, während Abweichungen vom Zielzustand vermieden werden.

Strenges Prüfverfahren und Reparatur-Schleifen

Um die Zuverlässigkeit der Trainingsdatensätze zu gewährleisten, wendet AutoSynthData eine mehrstufige Validierung auf jeden Aufgabenkandidaten an. Die Aufgaben werden nach Schwierigkeitskriterien gefiltert, wobei Kandidaten ausgewählt werden, bei denen das Zielmodell fehlschlägt, das Lehrer-Modell jedoch erfolgreich ist. Die Kandidaten durchlaufen eine positive Verifizierung zur Bestätigung der korrekten Ausführung sowie eine negative Verifizierung, um sicherzustellen, dass fehlerhafte Ergebnisse korrekt zurückgewiesen werden. Schlägt ein Kandidat fehl, analysiert ein automatisierter Kritiker den Fehler und leitet innerhalb festgelegter Grenzen gezielte Reparaturen ein. Ein Meta-Review-Prozess gleicht zudem die Abdeckung über Aufgabenfamilien hinweg aus, um redundante Datensätze zu vermeiden.

Testergebnisse auf Enterprise-Benchmarks

In Evaluierungen mit dem EnterpriseOps Gym-Benchmark zielte AutoSynthData auf das Modell Gemma-4-26B-A4B-it unter Einsatz stärkerer Lehrer-Modelle ab. In der Hybrid-Domäne erzeugte die Pipeline mit Qwen3.8-27B als Lehrer 2.000 synthetische Trainingsbeispiele in etwa 18 Stunden. Das Fine-Tuning von Gemma auf diesem Datensatz steigerte den mittleren Pass@1-Wert um 7,2 Prozentpunkte – eine relative Verbesserung von 35 % – und erhöhte die Erfolgsquote des Verifizierers von 63,01 % auf 68,55 %. In der ITSM-Domäne mit DeepSeek-V4.1-Flash als Lehrer hoben 1.994 synthetische Beispiele den mittleren Pass@1-Wert von 18,77 % auf 27,18 % an.

KI-generierte redaktionelle Illustration; kein Dokumentarfoto.

Quelle: AutoSynthData: Generating Training Data for Enterprise Agents