Stack Overflow Blog beschreibt Determinismus-Schicht für KI-Agenten in der Produktion

Der Stack Overflow Blog hat einen technischen Leitfaden veröffentlicht, der beschreibt, wie Entwickler Agenten auf Basis großer Sprachmodelle (LLM) sicher in kritischen Produktionssystemen einsetzen können. Der architektonische Ansatz, der als Determinismus-Schicht bezeichnet wird, konzentriert sich darauf, nicht-deterministische Modellaufrufe in einem einzigen Knoten zu isolieren, sodass die umliegenden Systemkomponenten aus vorhersehbarem und testbarem Code bestehen.

Reine Vorschläge und Substrat-Ausführung

Die Architektur setzt eine strikte Trennung zwischen Entscheidungsfindung und Ausführung durch. KI-Agenten fungieren als reine Operationen, die den Eingabekontext auswerten und strukturierte Vorschläge ausgeben, ohne den Geschäftszustand direkt zu verändern. Zustandsänderungen bleiben vollständig einer separaten, stark geprüften Komponente vorbehalten, die als Substrat bezeichnet wird. Diese nimmt Anpassungen erst nach erfolgreicher Prüfung der erforderlichen Freigaben vor. Diese Grenze schränkt den Auswirkungsbereich unerwarteter oder fehlerhafter Modellantworten ein und stellt sicher, dass Fehler lediglich zu schlechten Vorschlägen anstatt zu unbefugten Aktionen führen.

Feste Ausführungsgraphen und Ausgabebeschränkungen

Anstatt sich auf uneingeschränkte ReAct-Schleifen zu verlassen, werden einzelne Fähigkeiten als feste Ausführungsgraphen strukturiert. In einem typischen Ablauf mit 12 Knoten, der das Laden des Kontextes, Eingabeprüfungen, Leitplanken, Verifizierungen und Hauptbuch-Protokollierungen abdeckt, ist die nicht-deterministische Beurteilung durch das Modell auf einen einzigen isolierten Schritt beschränkt. Nachgelagerte Logik vermeidet das Parsen natürlicher Sprache, indem sie von den Modellen strikt typisierte Strukturen über JSON Schema, Grammatikbeschränkungen oder Funktionsaufrufe verlangt. Fehlerhafte Ausgaben lösen automatische Wiederholungsversuche aus, bevor das System im Fehlerfall sicher sperrt.

Begrenzte Schleifen und unveränderliche Hauptbücher

Für Aufgaben, die einen dynamischen Datenabruf erfordern, werden iterative Werkzeugschleifen durch harte Iterationsgrenzen, explizite Positivlisten für Werkzeuge pro Fähigkeit und detaillierte Schrittprotokolle eingeschränkt. Jeder Arbeitsablauf endet mit dem Anfügen eines unveränderlichen Datensatzes an ein dediziertes Hauptbuch. Dieses Überwachungsprotokoll speichert Modellversionen, Ausführungs-Routing, Konfidenzwerte und Eingabe-Hashes und hält so überprüfbare Compliance-Aufzeichnungen aufrecht, ohne sensible Rohdaten zu speichern.

KI-generierte redaktionelle Illustration; kein Dokumentarfoto.

Quelle: Part 1: Make your AI agents boring: the determinism layer