Expo und Georgian AI Lab entwickeln Test-Harness zur Messung von KI-Agenten-Skills

Expo hat in Zusammenarbeit mit Forschenden des Georgian AI Lab ein Test-Harness entwickelt, um zu messen, wie KI-Agenten zur Code-Generierung spezialisierte Entwickler-Skills bei der Erstellung mobiler Anwendungen finden und anwenden. Das System behebt die Einschränkung, die direkte Skill-Aufrufung nur isoliert zu testen. Stattdessen evaluiert es, ob Agenten passende Anleitungen während regulärer Entwicklungs-Workflows eigenständig entdecken.

Messung von Trajektorien über drei Ebenen hinweg

Das Test-Harness führt KI-Agenten wie Claude Code und Codex anhand realistischer Anforderungsdokumente aus, die Szenarien der mobilen App-Entwicklung repräsentieren. Anstatt nur das finale Ergebnis der Anwendung zu beurteilen, zeichnet das Harness die vollständigen Trajektorien der Agenten auf und führt parallele Bewertungs-Pipelines durch. Statische Prüfungen messen, ob erwartete Skills geladen wurden und ob deren spezifische Empfehlungen in der generierten Codebasis auftauchen. Gleichzeitig baut und startet ein agentischer Evaluator die mobile App, um das funktionale Verhalten zu überprüfen. Damit wird die Evaluierung in Skill-Auslösung, Skill-Übernahme und Ausführung zur Laufzeit unterteilt.

Bessere Entdeckung durch Einstiegspunkt-Skills

Erste Trace-Daten zeigten, dass KI-Agenten App-Builds häufig mit vorhandenem internem Wissen fertigstellten, ohne verfügbare Expo-Skills zu laden. Um die Entdeckung in einem Katalog von mehr als zwanzig spezialisierten Skills zu optimieren, führte das Team einen Router-Skill als Einstiegspunkt namens expo-overview für Expo- und EAS-Aufgaben ein. In Test-Evaluierungen mit Claude Code unter Verwendung von sonnet-5-high über zehn App-Szenarien hinweg steigerte das Hinzufügen des Einstiegspunkt-Skills den Anteil der Agenten-Sitzungen, die mindestens einen nachgelagerten Skill luden, von 9 % auf 55 %. Allerdings erreichte der Recall relevanter Skills 18 %, da die Agenten Skills vor allem für die initiale Architektur und das Setup konsultierten, für spätere Implementierungsdetails jedoch auf internes Wissen zurückgriffen.

Katalog-Beschränkungen und Kontext-Budgets

Das Projekt hob auch Herausforderungen bei der Entdeckung hervor, die durch die Zuordnung von Kontextfenstern in CLI-Schnittstellen wie Codex entstehen. In Codex teilen sich verfügbare Skill-Beschreibungen ein Katalog-Budget, das auf 2 % des Kontextfensters oder 5.440 Token begrenzt ist. Wenn ein Katalog dieses Budget überschreitet, werden Beschreibungen gekürzt, wodurch möglicherweise entscheidender Kontext verloren geht, den ein Agent zur Relevanzprüfung benötigt. Skill-Autoren wird daher geraten, kritische Auslöse-Signale in Titel und Eröffnungszeilen zu platzieren, um die Entdeckung in dicht belegten Umgebungen zu sichern.

KI-generierte redaktionelle Illustration; kein Dokumentarfoto.

Quelle: Your skills need an evaluation mechanism